Исследование влияния сетевых деградаций на модели распознавания речи
https://doi.org/10.15514/ISPRAS-2026-38(3)-49
Аннотация
Несмотря на успехи моделей автоматического распознавания речи на различных наборах данных и языках, применение моделей в повседневной жизни не позволяет использовать их в различных сценариях, например, звонки с нестабильным сетевым соединением или телефонные каналы с помехами. В данной работе был разработан и представлен специализированный тестовый набор русскоязычной речи, ключевой особенностью которого является репрезентативный набор данных с контролируемыми деградациями сигнала, вызванными нестабильным интернет-соединением. На предложенном наборе была проведена апробация и сравнительный анализ современных подходов к распознаванию речи. Для количественной оценки степени искажений использовался автоматизированный метод, основанный на анализе совокупности акустических характеристик сигнала и нейросетевых метрик. Полученные результаты позволяют выявить методы, наиболее устойчивые к акустическим деградациям.
Об авторах
Антон Вячеславович ПОЛЕВОЙ
Московский государственный университет им. М.В. Ломоносова
Россия
Россия
Аспирант Московского государственного университета им. М.В. Ломоносова на факультете вычислительной математики и кибернетики. Сфера научных интересов: цифровая обработка сигналов, машинное обучение для задач обработки звука, распознавания речи.
Наталья Валентиновна ЛУКАШЕВИЧ
Московский государственный университет им. М.В. Ломоносова, факультет ВМК,
Научно-исследовательский вычислительный центр МГУ им. М.В. Ломоносова
Россия
Россия
Доктор технических наук, сотрудник научно-исследовательского вычислительного центра Московского государственного университета им. М.В. Ломоносова. Сфера научных интересов: автоматическая обработка языка, искусственный интеллект.
Список литературы
1. Feng Y., Devillers L. End-to-end continuous speech emotion recognition in real-life customer service call center conversations. В: 2023 11th International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW). IEEE, 2023.
2. Norda M., et al. Evaluating the efficiency of voice control as human machine interface in production. IEEE Transactions on Automation Science and Engineering, vol. 21, no. 3, 2023, pp. 4817-4828.
3. Venkatraman S., Overmars A., Thong M. Smart home automation – use cases of a secure and integrated voice-control system. Systems, vol. 9, no. 4, 2021: 77.
4. Russell S. O’Connor, et al. What automatic speech recognition can and cannot do for conversational speech transcription. Research Methods in Applied Linguistics, vol. 3, no. 3, 2024: 100163.
5. Pearsell S. M., Niebuhr O. Lost in the Noise: Evaluating ASR Performance in Industrial and Environment Noise. В: 2025 IEEE 8th International Conference on Industrial Cyber-Physical Systems (ICPS). IEEE, 2025.
6. Shah M. A., Raj B. Revisiting Acoustic Features for Robust ASR. В: ICASSP 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2025, pp. 1–5.
7. Benesty J., et al. (ред.) Springer Handbook of Speech Processing. Berlin: Springer, 2008, vol. 1.
8. Gulati A., Qin J., Chiu C.-C., Parmar N., Zhang Y., Yu J., Han W., Wang S., Zhang Z., Wu Y., Pang R. Conformer: Convolution-augmented Transformer for Speech Recognition. arXiv preprint arXiv:2005.08100, 2020. Доступно по ссылке: https://arxiv.org/abs/2005.08100, accessed 25.12.2025.
9. Yao Z., Guo L., Yang X., Kang W., Kuang F., Yang Y., Jin Z., Lin L., Povey D. Zipformer: A faster and better encoder for automatic speech recognition. arXiv preprint arXiv:2310.11230, 2023. Доступно по ссылке: https://arxiv.org/abs/2310.11230, accessed 25.12.2025.
10. Kim S., Gholami A., Shaw A., Lee N., Mangalam K., Malik J., Mahoney M. W., Keutzer K. Squeezeformer: An efficient transformer for automatic speech recognition. Advances in Neural Information Processing Systems, vol. 35, 2022, pp. 9361-9373.
11. Peng Y., Dalmia S., Lane I., Watanabe S. Branchformer: Parallel MLP-attention architectures to capture local and global context for speech recognition and understanding. In Proceedings of the International Conference on Machine Learning (ICML). PMLR, 2022, pp. 17627-17643.
12. Rekesh D., et al. Fast Conformer with linearly scalable attention for efficient speech recognition. В: 2023 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). IEEE, 2023.
13. Radford A., et al. Robust speech recognition via large-scale weak supervision. В: Proceedings of ICML, PMLR, 2023.
14. Barański M., et al. Investigation of whisper ASR hallucinations induced by non-speech audio. ICASSP 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2025.
15. Fang Q., et al. Llama-omni: Seamless speech interaction with large language models. arXiv preprint arXiv:2409.06666, 2024. Доступно по ссылке: https://arxiv.org/abs/2409.06666, accessed 25.12.2025.
16. Rubenstein P. K., et al. Audiopalm: A large language model that can speak and listen. arXiv preprint arXiv:2306.12925, 2023. Доступно по ссылке: https://arxiv.org/abs/2306.12925, accessed 25.12.2025.
17. Xu J., et al. Qwen3-omni technical report. arXiv preprint arXiv:2509.17765, 2025. Доступно по ссылке: https://arxiv.org/abs/2509.17765, accessed 25.12.2025.
18. Barker J., Watanabe S., Vincent E., Trmal J. The Fifth ‘CHiME’ Speech Separation and Recognition Challenge: Dataset, Task and Baselines. В: Proc. Interspeech 2018, 2018, pp. 1561–1568. DOI: 10.21437/Interspeech.2018-1768.
19. Richey C., Barrios M. A., Armstrong Z., Bartels C., Franco H., Graciarena M., Lawson A., Nandwana M. K., Stauffer A., van Hout J., Gamble P., Hetherly J., Stephenson C., Ni K. Voices Obscured in Complex Environmental Settings (VOiCES) Corpus. В: Proc. Interspeech 2018, 2018, pp. 1566–1570. DOI: 10.21437/Interspeech.2018-1454.
20. Hartpence B. Packet Guide to Voice over IP: A system administrator’s guide to VoIP technologies. O’Reilly Media, Inc., 2013.
21. Kinoshita K., Delcroix M., et al. The REVERB challenge: A common evaluation framework for dereverberation and recognition of reverberant speech. EURASIP Journal on Advances in Signal Processing, 2016, Article 30. DOI: 10.1186/s13634-016-0306-6.
22. Reddy Ch. K. A., Gopal V., Cutler R., Beyrami E., Cheng R., Dubey H., Matusevych S., Aichner R., Aazami A., Braun S., Rana P., Srinivasan S., Gehrke J. The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Testing Framework, and Challenge Results. В: Proc. INTERSPEECH 2020, 2020, pp. 1036-1040.
23. Mittag G., Naderi B., Chehadi A., Möller S. NISQA: A Deep CNN-Self-Attention Model for Multidimensional Speech Quality Prediction with Crowdsourced Datasets. В: Proc. Interspeech 2021, 2021, pp. 2127–2131. DOI: 10.21437/Interspeech.2021-299.
24. Park D. S., Chan W., Zhang Y., Chiu C.-C., Zoph B., Cubuk E. D., Le Q. V. Specaugment: A simple data augmentation method for automatic speech recognition. arXiv preprint arXiv:1904.08779, 2019. Доступно по ссылке: https://arxiv.org/abs/1904.08779, accessed 25.12.2025.
25. Fernández-Gallego M. P., Toledano D. T. A study of data augmentation for increased ASR robustness against packet losses. IberSPEECH, 2021.
26. Kumalija E., Elhard J., Nakamoto Y. Performance evaluation of automatic speech recognition systems on integrated noise-network distorted speech. Frontiers in Signal Processing, 2022, vol. 2, Article ID 999457. DOI: 10.3389/frsip.2022.999457.
27. Li, N., Zheng, X., Zhang, C., Guo, L., Yu, B. (2022) End-to-End Multi-Loss Training for Low Delay Packet Loss Concealment. Proc. Interspeech 2022, 585-589, DOI: 10.21437/Interspeech.2022-11439.
28. L. Diener, S. Sootla, S. Branets, A. Saabas, R. Aichner, and R. Cutler, “Interspeech 2022 audio deep packet loss concealment challenge,” in INTERSPEECH 2022 - 23rd Annual Conference of the International Speech Communication Association, 2022.
29. Shi H., Shi X., Dogan S. Speech inpainting based on multi-layer long short-term memory networks. Future Internet, vol. 16, no. 2, 2024: 63.
30. Dissen Y., et al. Enhanced ASR robustness to packet loss with a front-end adaptation network. arXiv preprint arXiv:2406.18928, 2024. Доступно по ссылке: https://arxiv.org/abs/2406.18928, accessed 25.12.2025.
31. Gong Y., et al. Whisper-AT: Noise-robust automatic speech recognizers are also strong general audio event taggers. arXiv preprint arXiv:2307.03183, 2023. Доступно по ссылке: https://arxiv.org/abs/2307.03183, accessed 25.12.2025.
32. Ali, Ahmed, and Steve Renals. "Word error rate estimation for speech recognition: e-WER." Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Association for Computational Linguistics (ACL), 2018.
33. Polevoi A., Kragin A., Loukachevitch N. Ground Truth-Free WER Prediction for ASR via Audio Quality and Model Confidence Features. International Conference on Speech and Computer. Cham: Springer Nature Switzerland, 2025.
34. Kim C., Stern R. Robust signal-to-noise ratio estimation based on waveform amplitude distribution analysis. В: INTERSPEECH 2008, 2008, pp. 2598–2601. DOI: 10.21437/Interspeech.2008-644.
35. Subakan C., Ravanelli M., Cornell S., Grondin F. REAL-M: Towards Speech Separation on Real Mixtures. arXiv preprint arXiv:2110.10812, 2021. Доступно по ссылке: https://arXiv.org/abs/2110.10812, accessed 25.12.2025.
36. Prokhorenkova L., Gusev G., Vorobev A., Dorogush A. V., Gulin A. CatBoost: unbiased boosting with categorical features. arXiv preprint arXiv:1706.09516, 2019. Доступно по ссылке: https://arXiv.org/abs/1706.09516, accessed 25.12.2025.
37. Panayotov V., Chen G., Povey D., Khudanpur S. LibriSpeech: an ASR corpus based on public domain audio books. В: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), South Brisbane (Australia), 2015, pp. 5206-5210. DOI: 10.1109/ICASSP.2015.7178964.
38. Conneau A., et al. Fleurs: Few-shot learning evaluation of universal representations of speech. 2022 IEEE Spoken Language Technology Workshop (SLT), IEEE, 2023.
39. Goyal N., et al. The flores-101 evaluation benchmark for low-resource and multilingual machine translation. Transactions of the Association for Computational Linguistics, vol. 10, 2022, pp. 522–538.
40. Hu E. J., et al. LoRA: Low-rank adaptation of large language models. Proceedings of ICLR, 2022.
Рецензия
Для цитирования:
ПОЛЕВОЙ А.В., ЛУКАШЕВИЧ Н.В. Исследование влияния сетевых деградаций на модели распознавания речи. Труды Института системного программирования РАН. 2026;38(3):101-118. https://doi.org/10.15514/ISPRAS-2026-38(3)-49
For citation:
POLEVOI A.V., LOUKACHEVITCH N.V. Research on the Impact of Network Degradation on Automatic Speech Recognition Models. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2026;38(3):101-118. (In Russ.) https://doi.org/10.15514/ISPRAS-2026-38(3)-49
Послать статью по эл. почте 