Обнаружение человеческих правок в русскоязычных сгенерированных научных текстах
https://doi.org/10.15514/ISPRAS-2026-38(3)-26
Аннотация
Большие языковые модели (LLMs) быстро развиваются и всё активнее внедряются в различные сферы жизни. Тексты, создаваемые этими моделями, становятся всё менее отличимыми от написанных человеком, что создаёт серьёзные трудности при выявлении синтетического контента. В данной работе мы исследуем методы обнаружения человеческих правок и корректировок в аннотациях научных статей на русском языке, изначально сгенерированных различными LLM. Помимо построения мощной модели детектирования на основе энкодеров, использующей архитектуры BERT и RoBERTa с современными методами обучения, мы также сосредоточены на анализе устойчивости к смещению домена, стремясь к обобщению на модели, не встречавшиеся при обучении. Мы показываем, что наш подход превосходит базовые решения на основе LLM в режиме обучения по нескольким примерам даже на небольших выборках, и исследуем, в каких сценариях добавление слоя CRF улучшает метрики, а в каких – нет.
Ключевые слова
При поддержке: Авторы выражают благодарность организаторам соревнования в рамках конференции “Artificial Intelligence and Natural Language” (AINL) за предоставленные данные: Татьяне Батуре (Институт систем информатики им. А.П. Ершова СО РАН), Елене Бручес (Институт систем информатики им. А.П. Ершова СО РАН, Новосибирский государственный университет) и Милане Швенк (Новосибирский государственный университет).
Об авторах
Мишель ДОРОШ
Университет ИТМО
Россия
Россия
Аспирант университета ИТМО. Научные интересы: обработка естественного языка, большие языковые модели, глубокое обучение, временные ряды.
Валентин Андреевич МАЛЫХ
Университет ИТМО
Россия
Россия
Кандидат технических наук, руководитель исследований в области обработки естественного языка в компании MTS AI, сотрудничающий с ИТМО. Его научные интересы включают генерацию естественного языка, глубокое обучение и применение ИИ в компьютерном зрении и медицинской визуализации.
Список литературы
1. Jannai D., Meron A., Lenz B., Levine Y., Shoham Y. Human or Not? A Gamified Approach to the Turing Test. 2023. arXiv:2305.20010. Available at: https://arxiv.org/abs/2305.20010, accessed 05.11.2025.
2. Ji J., Li R., Li S., Guo J., Qiu W., Huang Zh., Chen Ch., Jiang X., Lu X. Detecting Machine-Generated Texts: Not Just “AI vs Humans” and Explainability is Complicated. 2025. arXiv:2406.18259. Available at: https://arxiv.org/abs/2406.18259, accessed 05.11.2025.
3. Emi B., Spero M. Technical Report on the Pangram AI-Generated Text Classifier. 2024. arXiv:2402.14873. Available at: https://arxiv.org/abs/2402.14873, accessed 05.11.2025.
4. Prova N. Detecting AI Generated Text Based on NLP and Machine Learning Approaches. 2024. arXiv:2404.10032. Available at: https://arxiv.org/abs/2404.10032, accessed 05.11.2025.
5. Zhang Sh., Song Y., Yang J., Li Yu., Han B., Tan M. Detecting Machine-Generated Texts by Multi-Population Aware Optimization for Maximum Mean Discrepancy. 2024. arXiv:2402.16041. Available at: https://arxiv.org/abs/2402.16041, accessed 05.11.2025.
6. Wang P., Linyang Li, Ren Kю, Jiang B., Zhang D., Qiu X.. SeqXGPT: Sentence-Level AI-Generated Text Detection. 2023. arXiv:2310.08903. Available at: https://arxiv.org/abs/2310.08903, accessed 05.11.2025.
7. Orel D., Azizov D., Nakov P. CoDet-M4: Detecting Machine-Generated Code in Multi-Lingual, Multi-Generator and Multi-Domain Settings. 2025. arXiv:2503.13733. Available at: https://arxiv.org/abs/2503.13733, accessed 05.11.2025.
8. Souza F., Nogueira R., Lotufo R. Portuguese Named Entity Recognition using BERT-CRF. 2020. arXiv:1909.10649. Available at: https://arxiv.org/abs/1909.10649, accessed 05.11.2025.
9. Chakraborty S., Bedi A.S., Zhu S., An B., Manocha D., Huang F. On the Possibilities of AI-Generated Text Detection. 2023. arXiv:2304.04736. Available at: https://arxiv.org/abs/2304.04736, accessed 05.11.2025.
10. Weber-Wulff D., Anohina-Naumeca A., Bjelobaba S., et al. Testing of Detection Tools for AI-Generated Text. International Journal of Educational Integrity, 19:26, 2023. DOI: 10.1007/s40979-023-00146-z.
11. OpenAI and Achiam J. et al. GPT-4 Technical Report. 2024. arXiv:2303.08774. Available at: https://arxiv.org/abs/2303.08774, accessed 05.11.2025.
12. Gemma Team and Riviere M. et al. Gemma 2: Improving Open Language Models at a Practical Size. 2024. arXiv:2408.00118. Available at: https://arxiv.org/abs/2408.00118, accessed 05.11.2025.
13. Grattafiori A. et al. The Llama 3 Herd of Models. 2024. arXiv:2407.21783. Available at: https://arxiv.org/abs/2407.21783, accessed 05.11.2025.
14. GigaChat team, Mamedov V. et al. GigaChat Family: Efficient Russian Language Modeling Through Mixture of Experts Architecture. 2025. arXiv:2506.09440. Available at: https://arxiv.org/abs/2506.09440, accessed 05.11.2025.
15. DeepSeek-AI, Liu A. et al. DeepSeek-V3 Technical Report. 2025. arXiv:2412.19437. Available at: https://arxiv.org/abs/2412.19437.
16. DeepSeek-AI, Guo D. et al. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. 2025. arXiv:2501.12948. Available at: https://arxiv.org/abs/2501.12948, accessed 05.11.2025.
17. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. Attention Is All You Need. 2023. arXiv:1706.03762. URL: https://arxiv.org/abs/1706.03762, accessed 05.11.2025.
18. Sutton Ch., McCallum A. An Introduction to Conditional Random Fields. 2010. arXiv:1011.4088. Available at: https://arxiv.org/abs/1011.4088, accessed 05.11.2025.
19. Huang W., Cheng X., Wang T., Chu W. BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction. 2019. arXiv:1908.05908. Available at: https://arxiv.org/abs/1908.05908, accessed 05.11.2025.
20. Kingma D.P., Ba J. Adam: A Method for Stochastic Optimization. 2017. arXiv:1412.6980. Available at: https://arxiv.org/abs/1412.6980, accessed 05.11.2025.
21. Mao A., Mohri M., Zhong Yu. Cross-Entropy Loss Functions: Theoretical Analysis and Applications. 2023. arXiv:2304.07288. Available at: https://arxiv.org/abs/2304.07288, accessed 05.11.2025.
22. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2019. arXiv:1810.04805. Available at: https://arxiv.org/abs/1810.04805, accessed 05.11.2025.
23. Liu Y., Ott M., Goyal N., Du J., Joshi M., Chen D., Levy O., Lewis M., Zettlemoyer M., Stoyanov V. RoBERTa: A Robustly Optimized BERT Pretraining Approach. 2019. arXiv:1907.11692. Available at: https://arxiv.org/abs/1907.11692, accessed 05.11.2025.
Рецензия
Для цитирования:
ДОРОШ М., МАЛЫХ В.А. Обнаружение человеческих правок в русскоязычных сгенерированных научных текстах. Труды Института системного программирования РАН. 2026;38(3):149-160. https://doi.org/10.15514/ISPRAS-2026-38(3)-26
For citation:
DOROSH M., MАLYKH V.A. Detection of Human Edits in Russian Scientific Machine-Generated Texts. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2026;38(3):149-160. https://doi.org/10.15514/ISPRAS-2026-38(3)-26
Послать статью по эл. почте 