Возможности распознавания эмоций у больших языковых моделей: сравнительный анализ

Большие языковые модели (LLMs) всё чаще интегрируются в диалоговые системы, где понимание эмоциональных сигналов является ключевым для поддержания связных, увлекательных и безопасных взаимодействий. В этом исследовании оценивается, насколько эффективно современные инструктивные LLM могут распознавать эмоции только по тексту без тонкой настройки под конкретную задачу. Мы тестируем несколько семейств LLM с открытым весом (количество параметров <15B) по четырем стратегиям запроса – базовая, контекстная, на примерах и комбинированная стратегия, объединяющая контекстные данные и примеры с разметкой – на основе двух английских наборов данных (IEMOCAP, MELD) и одного набора данных на русском языке (RESD). Результаты экспериментов показывают, что оптимальная стратегия поиска подсказок зависит от набора данных: семантически избыточные данные, такие как IEMOCAP, больше всего выигрывают от демонстрации нескольких кадров, в то время как MELD выигрывает в основном от включения истории диалога (лучшее значение 60.3% WF1 с контекстом). Эксперименты с надежностью показывают, что LLM-системы в значительной степени нечувствительны к изменению порядка нескольких примеров, но производительность существенно снижается при повреждении пространства меток, что указывает на то, что согласованное пространство меток имеет большее значение, чем порядок примеров или их правильных классов. Кросс-языковая оценка выявляет заметное снижение качества на русскоязычном RESD, что подчёркивает устойчивый разрыв между пониманием эмоций на английском и русском языках в современных LLM. Полученные выводы свидетельствуют о том, что LLM без дообучения выступают в качестве сильных базовых решений, основанных только на промптах, для распознавания эмоций, однако всё ещё заметно уступают специализированным системам, обученным с учителем.

1. Wu C., Cai Y., Liu Y., Zhu P., Xue Y., Gong Z., et al. Multimodal emotion recognition in conversations: A survey of methods, trends, challenges and prospects. arXiv preprint arXiv:2505.20511, 2025.

2. Kalateh S., Estrada-Jimenez L. A., et al. A systematic review on multimodal emotion recognition: building blocks, current state, applications, and challenges. IEEE Access, 2024, 12, 103976-104019.

3. Peng L., Zhang Z., Pang T., Han J., Zhao H., Chen H., Schuller B.W. Customising general large language models for specialised emotion recognition tasks. In ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing – ICASSP, April, 2024, IEEE, pp. 11326-11330.

4. Hu E.J., Shen Y., Wallis P., Allen-Zhu Z., Li Y., et al. Lora: low-rank adaptation of large language models. ICLR, 2022, 1(2):3.

5. Lei S., Dong G., Wang X., Wang K., Qiao R., Wang S. Instructerc: reforming emotion recognition in conversation with multi-task retrieval-augmented large language models. arXiv preprint arXiv:2309.11911, 2023.

6. Fu Y., Wu J., Wang Z., Zhang M., Shan L., Wu Y., Li B. Laerc-s: improving llm-based emotion recognition in conversation with speaker characteristics. arXiv preprint arXiv:2403.07260, 2024.

7. Xue J., Nguyen M.-P., Matheny B., Nguyen L.-M. Bioserc: integrating biography speakers supported by llms for erc tasks. In International Conference on Artificial Neural Networks, Springer, 2024, pp. 277 292.

8. Hong X., Gong Y., Sethu V., Dang T. Aer-llm: ambiguity-aware emotion recognition leveraging large language models. In ICASSP 2025-2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), IEEE, 2025, pp. 1-5.

9. Zhang Y., Wang M., Wu Y., Tiwari P., Li Q., Wang B., Qin J. Dialoguellm: context and emotion knowledge-tuned large language models for emotion recognition in conversations. arXiv preprint arXiv:2310.11374, 2023.

10. Z. Wu, Z. Gong, L. Ai, P. Shi, K. Donbekci, and J. Hirschberg. Beyond silent letters: amplifying llms in emotion recognition with vocal nuances. arXiv preprint arXiv:2407.21315, 2024.

11. T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901, 2020.

12. J. Wei, X. Wang, D. Schuurmans, M. Bosma, F. Xia, E. Chi, Q. V. Le, D. Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in neural information processing systems, 35:24824–24837, 2022.

13. J. Murzaku and O. Rambow. Omnivox: zero-shot emotion recognition with omni-llms. arXiv preprint arXiv:2503.21480, 2025.

14. K. Hama, A. Otsuka, and R. Ishii. Emotion recognition in conversation with multi-step prompting using large language model. In International Conference on Human-Computer Interaction, pages 338–346. Springer, 2024.

15. Grattafiori, A. Dubey, A. Jauhri, A. Pandey, A. Kadian, A. Al-Dahle, A. Letman, A. Mathur, A. Schelten, A. Vaughan, et al. The llama 3 herd of models. arXiv preprint arXiv:2407.21783, 2024.

16. W.-L. Chiang, Z. Li, Z. Lin, Y. Sheng, Z. Wu, H. Zhang, L. Zheng, S. Zhuang, Y. Zhuang, J. E. Gonzalez, et al. Vicuna: an open-source chatbot impressing gpt-4 with 90%* chatgpt quality. See https://vicuna. lmsys. org (accessed 14 April 2023), 2(3):6, 2023.

17. Z. Zhao, E. Wallace, S. Feng, D. Klein, and S. Singh. Calibrate before use: improving few-shot performance of language models. In International conference on machine learning, pages 12697–12706. PMLR, 2021.

18. Y. Lu, M. Bartolo, A. Moore, S. Riedel, and P. Stenetorp. Fantastically ordered prompts and where to find them: overcoming few-shot prompt order sensitivity. arXiv preprint arXiv:2104.08786, 2021.

19. S. Min, X. Lyu, A. Holtzman, M. Artetxe, M. Lewis, H. Hajishirzi, and L. Zettlemoyer. Rethinking the role of demonstrations: what makes in-context learning work? arXiv preprint arXiv:2202.12837, 2022.

20. D. Zmitrovich, A. Abramov, A. Kalmykov, M. Tikhonova, E. Taktasheva, D. Astafurov, M. Baushenko, A. Snegirev, T. Shavrina, S. Markov, V. Mikhailov, and A. Fenogenova. A family of pretrained transformer language models for russian, 2023. arXiv: 2309.10931 [cs.CL].

21. Z. Ma, Z. Zheng, J. Ye, J. Li, Z. Gao, S. Zhang, and X. Chen. Emotion2vec: self-supervised pre-training for speech emotion representation. arXiv preprint arXiv:2312.15185, 2023.

22. C. Wang, M. Liao, Z. Huang, J. Wu, C. Zong, and J. Zhang. Blsp-emo: towards empathetic large speech-language models. arXiv preprint arXiv:2406.03872, 2024.

23. H. Zou, F. Lv, D. Zheng, E. S. Chng, and D. Rajan. Large language models meet contrastive learning: zero-shot emotion recognition across languages. arXiv preprint arXiv:2503.21806, 2025.

24. C. Busso, M. Bulut, C.-C. Lee, A. Kazemzadeh, E. Mower, S. Kim, J. N. Chang, S. Lee, and S. S. Narayanan. Iemocap: interactive emotional dyadic motion capture database. Language resources and evaluation, 42(4):335–359, 2008.

25. S. Poria, D. Hazarika, N. Majumder, G. Naik, E. Cambria, and R. Mihalcea. Meld: a multimodal multi-party dataset for emotion recognition in conversations. arXiv preprint arXiv:1810.02508, 2018.

26. Н. Д. Артем Аментес Илья Лубенец. Открытая библиотека искусственного интеллекта для анализа и выявления эмоциональных оттенков речи человека. https://huggingface.com/aniemore/Aniemore, 2022.

27. Mai, J., Xing, X., Li, Y., & Xu, X. (2025). Chain-of-Thought Distillation with Fine-Grained Acoustic Cues for Speech Emotion Recognition. In Proc. Interspeech 2025 (pp. 5438-5442).

28. N. Reimers and I. Gurevych. Sentence-bert: sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, Nov. 2019. URL: https://arxiv.org/abs/1908.10084

29. G. Team, A. Kamath, J. Ferret, S. Pathak, N. Vieillard, R. Merhej, S. Perrin, T. Matejovicova, A. Ramé, M. Rivière, et al. Gemma 3 technical report. arXiv preprint arXiv:2503.19786, 2025.

30. A. Q. Jiang, A. Sablayrolles, A. Mensch, C. Bamford, D. S. Chaplot, D. de las Casas, F. Bressand, G. Lengyel, G. Lample, L. Saulnier, L. R. Lavaud, M.-A. Lachaux, P. Stock, T. L. Scao, T. Lavril, T. Wang, T. Lacroix, and W. E. Sayed. Mistral 7b, 2023. arXiv: 2310.06825 [cs.CL]. URL: https://arxiv.org/abs/2310.06825.

31. Abdin, M., Aneja, J., Behl, H., Bubeck, S., Eldan, R., Gunasekar, S., ... & Zhang, Y. Phi-3 technical report: a highly capable language model locally on your phone, 2024. arXiv: 2404.14219 [cs.CL]. URL: https://arxiv.org/abs/2404.14219.

32. Qwen, : A. Yang, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Li, D. Liu, F. Huang, H. Wei, H. Lin, J. Yang, J. Tu, J. Zhang, J. Yang, J. Yang, J. Zhou, J. Lin, K. Dang, K. Lu, K. Bao, K. Yang, L. Yu, M. Li, M. Xue, P. Zhang, Q. Zhu, R. Men, R. Lin, T. Li, T. Tang, T. Xia, X. Ren, X. Ren, Y. Fan, Y. Su, Y. Zhang, Y. Wan, Y. Liu, Z. Cui, Z. Zhang, and Z. Qiu. Qwen2.5 technical report, 2025. eprint: 2412.15115.

33. W. Shen, J. Chen, X. Quan, and Z. Xie. Dialogxl: all-in-one xlnet for multi-party conversation emotion recognition. In Proceedings of the AAAI conference on artificial intelligence, volume 35 of number 15, pages 13789–13797, 2021.

34. Y. Shou, W. Ai, J. Du, T. Meng, H. Liu, and N. Yin. Efficient long-distance latent relation-aware graph neural network for multi-modal emotion recognition in conversations. arXiv preprint arXiv:2407.00119, 2024.

35. W. Shen, S. Wu, Y. Yang, and X. Quan. Directed acyclic graph network for conversational emotion recognition. arXiv preprint arXiv:2105.12907, 2021.

36. D. Ghosal, N. Majumder, S. Poria, N. Chhaya, and A. Gelbukh. Dialoguegcn: a graph convolutional neural network for emotion recognition in conversation. arXiv preprint arXiv:1908.11540, 2019.

37. A. Joshi, A. Bhat, A. Jain, A. Singh, and A. Modi. Cogmen: contextualized gnn based multimodal emotion recognition. In Proceedings of the 2022 conference of the North American chapter of the association for computational linguistics: human language technologies, pages 4148–4164, 2022.

38. C.-V. T. Nguyen, A.-T. Mai, T.-S. Le, H.-D. Kieu, and D.-T. Le. Conversation understanding using relational temporal graph neural networks with auxiliary cross-modality interaction. arXiv preprint arXiv:2311.04507, 2023.

39. AI-Forever. FRIDA. Hugging Face. Available at: https://huggingface.co/ai-forever/FRIDA (accessed April 21, 2026).