Сравнительный анализ порождения глагольного эллипсиса большими языковыми моделями (LLMs) и человеком
Ксения Aлександровна НАЙДЁНОВА,
Елена Сергеевна БУЛЫКИНА,
Владимир Андреевич ПАРХОМЕНКО,
Татьяна Aлександровна МАРТИРОВА https://doi.org/10.15514/ISPRAS-2026-38(3)-52
Аннотация
Настоящая работа посвящена сравнительному анализу порождения глагольного эллипсиса большими языковыми моделями (LLM) и человеком. Актуальность исследования обусловлена необходимостью понимания того, насколько современные нейросети способны воспроизводить сложные и контекстно-зависимые лингвистические феномены, характерные для естественной речи. В ходе исследования был проведен серийный эксперимент, в котором модели GigaChat, YandexGPT и Gemini преобразовывали полные предложения в эллиптические. Для коррекции ошибок генерации и улучшения контекстуализации использовался метод RAG (Retrieval-Augmented Generation). Отмечается, что LLM, в отличие от людей, демонстрируют более строгое формальное следование инструкции по исключению глагола. Результаты показывают сходство стратегий LLM и человека. Исследование поднимает вопрос о валидности существующих метрик для оценки подобных лингвистических задач.
Об авторах
Ксения Aлександровна НАЙДЁНОВА
Военно-медицинская академия имени С. М. Кирова
Россия
Россия
Кандидат технических наук, старший научный сотрудник Санкт-Петербургской Военно-медицинской академии имени С.М. Кирова с 1995 года. Сфера научных интересов: машинное обучение, формальный концептуальный анализ, моделирование правдоподобных рассуждений, извлечение знаний из естественно-языковых текстов, когнитивные исследования в лингвистике.
Елена Сергеевна БУЛЫКИНА
Санкт-Петербургский Политехнический университет Петра Великого
Россия
Россия
Студент магистратуры по направлению прикладная информатика Санкт-Петербургского Политехнического университета. Сфера научных интересов: обработка естественного языка, большие языковые модели, дизайн интерфейсов.
Владимир Андреевич ПАРХОМЕНКО
Санкт-Петербургский Политехнический университет Петра Великого
Россия
Россия
Старший преподаватель Высшей школы программной инженерии Санкт-Петербургского Политехнического университета. Сфера научных интересов: машинное обучение, искусственный интеллект, тестирование ПО.
Татьяна Aлександровна МАРТИРОВА
Военно-медицинская академия имени С. М. Кирова
Россия
Россия
Младший научный сотрудник Санкт-Петербургской Военно-медицинской академии имени С.М. Кирова с 1987 года. Сфера научных интересов: гигиена, статистика.
Список литературы
1. Найденова К. А., Булыкина Е. С., Пархоменко В. В., Щукин А. А., Мартирова Т. А. Разработка компьютерной системы тестирования когнитивных способностей респондентов на основе предложений с эллипсисами. Электронные библиотеки, 2023, т. 26, № 3, стр. 340-364. DOI: 10.26907/1562-5419-2023-26-3-340-364.
2. Падучева Е. О семантике синтаксиса. URSS, 2019, 300 с.
3. Кобзарева Т.Ю., Епифанов М.Е., Лахути Д.Г. Восстановление грамматических эллипсисов при синтаксическом анализе. Труды 14-ой национальной конференции по искусственному интеллекту с международным участием, т. 1. Казань: Изд-во РИЦ «ШКОЛА», 2014, стр. 108-116.
4. Fenogenova A., Chervyakov A., Martynov N. MERA: A Comprehensive LLM Evaluation in Russian. arXiv. 2024. arXiv:2401.04531 [cs.CL]. Available at: https://arxiv.org/abs/2401.04531, accessed 12.09.2026.
5. Kaddour J., Harris J., Mozes M., Bradley H., Raileanu R., McHardy R. Challenges and Applications of Large Language Models. arXiv. 2023. arXiv:2307.10169 [cs.CL]. Available at: https://arxiv.org/abs/2307.10169, accessed 06.03.2025.
6. Тимошенко С.В., Иомдин Л.Л., Гладилин С.В., Иншакова Е.Ю. СинТагРус в составе НКРЯ: новые возможности. Корпусная лингвистика. Труды международной конференции, 2021, стр. 31-43.
7. Sahoo P., Singh A.K., Saha S., Jain V., Mondal S., Chadha A. A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications. arXiv. 2024. arXiv:2402.07927 [cs.AI]. Available at: https://arxiv.org/abs/2402.07927, accessed 10.03.2025.
8. Parthasarathy V.B., Zafar A., Khan A., Shahid A. The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities. arXiv. 2024. arXiv:2408.13296 [cs.LG]. Available at: https://arxiv.org/abs/2408.13296, accessed 24.03.2024.
9. Gao Y., Xiong Y., Gao X. et al. Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv. 2024. arXiv:2312.10997 [cs.CL]. Available at: https://arxiv.org/abs/2312.10997, accessed 07.04.2025.
10. Naidenova X., Parkhomenko V., Bulykina E., Schukin A., Lizunov Y., Martirova T. A System of Software Tools for Investigation of the Cognitive Function of Elliptical Sentence Generation. 2023 Ivannikov Ispras Open Conference (ISPRAS), 2023, pp. 112-117. DOI: 10.1109/ISPRAS60948.2023.10508180.
11. Naidenova X.A., Bulykina E.S. Stimulus material of one hundred elliptical sentences in Russian with the results of sentence processing using GigaChat, YandexGPT and Gemini language models. Zenodo, 2025. DOI: 10.5281/zenodo.17200173.
12. Holtzman A., Buys J., Du L., Forbes M., Choi Y. The Curious Case of Neural Text Degeneration. arXiv. 2020. arXiv:1904.09751 [cs.CL]. Available at: https://arxiv.org/abs/1904.09751, accessed 26.10.2025.
Рецензия
Для цитирования:
НАЙДЁНОВА К.A., БУЛЫКИНА Е.С., ПАРХОМЕНКО В.А., МАРТИРОВА Т.A. Сравнительный анализ порождения глагольного эллипсиса большими языковыми моделями (LLMs) и человеком. Труды Института системного программирования РАН. 2026;38(3):145-156. https://doi.org/10.15514/ISPRAS-2026-38(3)-52
For citation:
NAIDENOVA X.A., BULYKINA E.S., PARKHOMENKO V.A., MARTIROVA T.A. A Comparative Analysis of Verb Ellipsis Generation by Large Language Models (LLMs) and Humans. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2026;38(3):145-156. (In Russ.) https://doi.org/10.15514/ISPRAS-2026-38(3)-52
Послать статью по эл. почте 