Оценка языковой способности нейронных моделей на материале предикативного согласования в русском языке

Исследование нацелено на то, чтобы изучить способность нейронных сетей моделировать грамматику, которая проявляется в функции автоматической оценки грамматичности языковых выражений. В данной работе моделируются правила предикативного согласования по числу в русском языке. Для обучения языковых моделей был создан датасет, включающий искусственно сгенерированные грамматичные и неграмматичные предложения. Мы используем трансферное обучение предобученных нейронных сетей.  Результаты показывают, что все рассмотренные модели демонстрируют высокие результаты при дообучении на задачу оценки грамматичности. Точность классификации снижается для предложений с неодушевленными существительными, поскольку для них, в отличие от одушевленных существительных, наблюдается совпадение форм именительного и винительного падежа. Сложность синтаксической структуры оказывается значимой для русскоязычных моделей и модели для славянских языков, но не влияет на распределение ошибок для мультиязычных моделей.

1. Shavrina T., Fenogenova A. et al. RussianSuperGLUE: A Russian language understanding evaluation benchmark. In Proc. of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020, pp. 4717-4726.

2. Panchenko A., Lopukhina A. et al. RUSSE'2018: a shared task on word sense induction for the Russian language. In Proc. of the International Conference “Dialogue 2018”, 2018, pp. 547-564.

3. De Marneffe M. C., Simons M., Tonhauser J. The CommitmentBank: Investigating projection in naturally occurring discourse. Proceedings of Sinn und Bedeutung, vol. 23, issue 2, 2019, pp. 107-124.

4. Glushkova T., Machnev A. et al. DaNetQA: A Yes/No Question Answering Dataset for the Russian Language. Lecture Notes in Computer Science, vol. 12602, 2020, pp. 57–68.

5. Chomsky N. Aspects of the theory of syntax. MIT Press, 1969, 251 p.

6. Mikhailov V., Shamardina T. et al. RuCoLA: Russian Corpus of Linguistic Acceptability. In Proc. of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022, pp. 5207-5227.

7. Marvin R., Linzen T. Targeted syntactic evaluation of language models. In Proc. of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018, pp. 1192-1202.

8. Warstadt A., Parrish A. et al. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Computational Linguistics, vol. 8, 2020, pp. 377-392.

9. Kuratov Y., Arkhipov M. Adaptation of deep bidirectional multilingual transformers for Russian language. In Proc. of the International Conference “Dialogue 2019”, 2019, pp. 333-339.

10. Blinov P., Avetisian M. Transformer models for drug adverse effects detection from tweets. In Proc. of the Fifth Social Media Mining for Health Applications Workshop & Shared Task, 2020, pp. 110-112.

11. Devlin J., Chang M.W. et al. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proc. of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language, 2018, pp. 4171-4186.

12. Arkhipov M., Trofimova M. et al. Tuning multilingual transformers for language-specific named entity recognition. In Proc. of the 7th Workshop on Balto-Slavic Natural Language Processing, 2019, pp. 89-93.

13. Lample G., Conneau A. Cross-lingual language model pretraining. In Proc. of the 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), 2019, 11 p.