Применение тезауруса RuThes и векторных представлений Word2vec в задаче лексической типологии

В статье описывается использование тезауруса RuThes и векторных представлений Word2vec для задачи определения лексической типологии языков. Актуальность работы обусловлена необходимостью проводить типологические исследования языков и слабо развитыми средствами автоматизации данного направления. Сделан обзор существующих методов определения лексической типологии, описаны достоинства и недостатки каждого метода, предложен подход автоматизированного выделения типологий. Также описываются различные виды отношений RuThes. Дано описание используемых корпусов текстов. В качестве примера исследуются семантические зоны “тянуть-толкать” и “чинить-портить”. Получены фреймы для данных семантических зон. Проанализированы извлеченные слова, реализующие семантические зоны, и произведено сравнение с ручным методом. Сравниваются три способа выделения лексической типологии: только с помощью тезауруса, с помощью тезауруса и фильтрации по Word2vec и с помощью тезауруса и добавления ближайших слов по Word2vec. Произведена оценка и сравнение с существующими методами. Для каждого способа посчитана полнота, точность и F-мера. Выявлено, что наилучшие результаты для семантической зоны “тянуть-толкать” дает комбинация использования тезауруса и фильтрации по Word2vec. Добавление же дополнительных ближайших слов по Word2vec ухудшает все метрики кроме F-меры для семантической зоны “толкать”. При этом использование только тезауруса уже дает хорошие результаты, которые могут помочь исследователям языков. Для семантической зоны “чинить-портить” самые лучшие результаты показывает подход с тезаурусом, фильтрацией и добавлением ближайших по Word2vec. Предложено объяснение полученных результатов. Программная реализация выполнена с помощью языка программирования Python3, библиотек Gensim для получения векторов Word2vec, Scikit-learn для сравнения векторов, Numpy для работы с массивами, Pymorphy2 для приведения в начальную форму, NLTK для фильтрации стоп-слов и xml.etree для работы с тезаурусом. Практическая значимость заключается в разработке автоматизированного метода помощи лингвистам и оценке его работы.

1. Савельева А.Ю. Глаголы семантических зон 'ТЯНУТЬ' и 'ТОЛКАТЬ' в типологической перспективе. Проблемы компьютерной лингвистики и типологии: сб. Всерос. конф. № 6, 2017, стр. 142-152.

2. Короткая М.Б. Семантическая структура лексического поля ЧИНИТЬ-ПОРТИТЬ, диссертация на соискание степени бакалавриата, факультет Фундаментальной и компьютерной лингвистики НИУ ВШЭ, 2020, 73 с.

3. Рахилина Е. В., Резникова Т. И.. Фреймовый подход к лексической типологии. Вопросы языкознания, № 2, 2013, стр. 3-31.

4. Berlin B. Kay P. Basic Color Terms: Their Universality and Evolution. University of California Press, 1969. 178 p.

5. Wierzbicka A., Goddard C., Semantic amd lexical universals: Theory and emperical findings, Amsterdam. Lingvisticae Investigationes, vol. 21, no. 1, 1994. pp. 249-261. DOI: 10.1075/LI.21.1.11CHA.

6. Viberg, A., Seeing the lexical profile of Swedish through multilingual corpora. The case of Swedish aka and other vehicle verbs, Advances in corpus-based contrastive linguistics, Amsterdam, vol b, 2013, pp. 25–56. DOI: /10.1075/scl.54.04vib.

7. Дунаева К.О., Маринина В.В. Семантическое поле 'мешать' в типологической перспективе. XXVI Открытая конференция студентов-филологов в СПбГУ, 2023 стр. 34-37.

8. Шешкина Т.Ф. Германо-славянские параллели семантического поля «Домашний скот» в немецких лексикографических источниках. Филологические науки. Вопросы теории и практики. т. 13, № 6, 2020, стр. 303-307. DOI: 10.30853/filnauki.2020.6.57.

9. Влавацкая М.В., Журавлева И.Н. Лексико-семантическое поле «Шахматная игра» в современном русском языке. Мир науки, культуры, образования, №2(93), 2022, стр. 293-297.

10. Холкина Л.С., Наний Л.О., Сы Ц. Семантическое поле ОСТРЫЙ в китайском языке: диахроническое развитие и его отражение в современных диалектах. Journal of Language Relationship, № 20(3-4), 2023, стр. 280-298. DOI: 10.31826/jlr-2023-203-410.

11. Rakhilina E, Reznikova T., Kyuseva M., Parina E., Ryzhova D., Panina A., Kruglyakova V., Kozlov A., Vinogradova O. I., Vyrenkova A. S., Orekhov B. The Typology of Physical Qualities, Amsterdam: John Benjamins Publishing Company, part 2, 2022, pp. 29-55.

12. Григорьева О.Н., Цзян Н., Лексико-семантическая группа “город” в современных российских масс-медиа. Вестник Московского государственного областного университета. Серия: Русская филология, № 5, 2018, стр. 31-37. DOI: 10.18384/2310-7278-2018-5-31-38.

13. Рыжова Д.А. Опыт автоматического построения анкеты для лексико-типологического исследования прилагательных и одноместных глаголов с помощью моделей дистрибутивной семантики. Вестник РГГУ. Сер.: История. Филология. Культурология. Востоковедение, том 18, 2016, стр. 140-150.

14. Kyuseva M., Parina E., Ryzhova D. Automatic data collection in lexical typology. Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2018”. № 2, 2018, стр. 29-55.

15. Loukachevitch N., Dobrov B., RuThes Thesaurus for Natural Language Processing. The Palgrave Handbook of Digital Russia Studies, 2021, pp. 319-334. DOI: 10.1007/978-3-030-42855-6_18.

16. Mikolov T., Sutskever I., Chen K., Corrado G.S., Distributed Representations of Words and Phrases and their Compositionality. Advances in Neural Information Processing Systems, 2013, pp. 1-9.