Адаптивное восстановление фрагментов видеопотока на основе машинного обучения с учётом динамики сцены
https://doi.org/10.15514/ISPRAS-2026-38(1)-17
Аннотация
Предложен теоретически обоснованный подход к адаптивному восстановлению видеофрагментов на стороне клиента с использованием методов машинного обучения и анализа сцены. Метод включает формальную постановку задачи, модель конечного автомата для принятия решений, функцию стоимости восстановления, а также новый этап в подготовке видео – оценку динамики сцены с последующей записью признака в HLS-плейлист. Такой признак позволяет повысить точность выбора методов восстановления фрагментов видео. Описана архитектура алгоритма, предложены правила выбора стратегии восстановления и теоретически обосновано использование дополнительных признаков в формализованной модели. Работа носит преимущественно теоретико-методический характер: формализуется стратегия восстановления и предлагается расширение плейлиста. Дополнительно приведена ограниченная симуляционная оценка, цель которой – проверить внутреннюю согласованность правил модели и чувствительность к пороговым параметрам, а не продемонстрировать превосходство над существующими методами.
Ключевые слова
адаптивный видеостриминг,
восстановление видеоконтента,
интерполяция видеокадров,
суперразрешение видео,
клиентские алгоритмы восстановления,
стандарт HLS.
При поддержке: Работа выполнена при поддержке Научно-учебной лаборатории облачных и мобильных технологий Национального исследовательского университета «Высшая школа экономики».
Об авторах
Никита Алексеевич ДУМКИН
Национальный исследовательский университет «Высшая школа экономики»
Россия
Россия
Преподаватель Национального исследовательского университета «Высшая школа экономики», департамента программной инженерии факультета компьютерных наук. Область профессиональных и научных интересов включает программную инженерию, потоковую передачу видео, методы машинного обучения, обработку мультимедийных данных и разработку высокопроизводительных клиентских систем.
Дмитрий Владимирович АЛЕКСАНДРОВ
Национальный исследовательский университет «Высшая школа экономики»
Россия
Россия
Доктор технических наук, профессор факультета компьютерных наук Национального исследовательского университета «Высшая школа экономики», департамента программной инженерии. Сфера научных интересов включает программную инженерию, распределённые и высоконагруженные вычислительные системы, архитектуру программного обеспечения, сетевые технологии и методы повышения надёжности и производительности программных систем.
Михаил Алексеевич ПРОЗОРСКИЙ
Национальный исследовательский университет «Высшая школа экономики»
Россия
Россия
Студент бакалавриата Национального исследовательского университета «Высшая школа экономики» по направлению «Программная инженерия». Область учебных и профессиональных интересов включает разработку программного обеспечения, основы программной инженерии и современные технологии создания информационных систем.
Список литературы
1. Peroni L., Gorinsky S. An End-to-End Pipeline Perspective on Video Streaming in Best-Effort Networks: A Survey and Tutorial. ACM Computing Surveys, vol. 57, no. 12, article 322, 2025, pp. 1-47. DOI: 10.1145/3742472.
2. Qi Y., Dai M. The Effect of Frame Freezing and Frame Skipping on Video Quality. In Proc. Int. Conf. Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), Jakarta, Indonesia, 2006, pp. 423-426. Available at https://ieeexplore.ieee.org/document/4041752, accessed 16.06.2025.
3. Spiteri K., Sitaraman R. K., Sparacio D. From Theory to Practice: Improving Bitrate Adaptation in the DASH Reference Player. ACM Transactions on Multimedia Computing, Communications, and Applications, vol. 15, no. 2s, 2019, article 15, pp. 1-29. DOI: 10.1145/3336497.
4. Mao H., Netravali R., Alizadeh M., et al. Neural Adaptive Video Streaming with Pensieve. In Proc. ACM SIGCOMM, 2017. DOI: 10.1145/3098822.3098843.
5. Sani Y., et al. SMASH: A Supervised Machine Learning Approach to Adaptive Video Streaming over HTTP. In Proc. QoMEX, 2020, pp. 1-6. DOI: 10.1109/QoMEX48832.2020.9123139. Available at https://ieeexplore.ieee.org/document/9123139, accessed 22.06.2025.
6. Petrangeli S., De Cock J., Van Wallendael G., et al. A Machine Learning-based Framework for Preventing Video Freezes in HTTP Adaptive Streaming. Journal of Network and Computer Applications, vol. 94, 2017, pp. 78-92. DOI: 10.1016/j.jnca.2017.07.009.
7. Wang Y., Zhu Q.-F. Error Control and Concealment for Video Communication: A Review. Proceedings of the IEEE, vol. 86, no. 5, 1998, pp. 974-997. Available at https://ieeexplore.ieee.org/document/664283, accessed 24.07.2025.
8. Bao W., Lai W.-S., Ma C., et al. Depth-Aware Video Frame Interpolation. In Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), 2019, pp. 3703-3712. DOI: 10.48550/arXiv.1904.00830.
9. Tran Q. N., Yang S.-H. Efficient Video Frame Interpolation Using Generative Adversarial Networks. Applied Sciences, vol. 10, no. 18, 2020, article 6245. DOI: 10.3390/app10186245.
10. Lu Y., Bajić I., et al. ABUV: Adaptive bitrate and upsampling for video streaming on mobile devices. Computer Networks, 2024, article 110994. DOI: 10.1016/j.comnet.2024.110994.
11. Wang F., et al. Reparo: QoE-Aware Live Video Streaming in Low-Rate Networks by Intelligent Frame Recovery. Preprint (OpenReview), 2025. DOI: 10.1145/3581783.3613441.
12. Ge L., Jiang D. Z., Bao W. 3RE-Net: Joint Loss-Recovery and Super-Resolution Neural Network for Real-Time Video. Lecture Notes in Computer Science, 2023, pp. 165-177. DOI: 10.1007/978-981-99-8388-9_14.
13. He Z., et al. Real-Time Neural Video Recovery and Enhancement on Mobile Devices. arXiv:2307.12152, 2023. DOI: 10.48550/arXiv.2307.12152.
14. Pantos R., May W. HTTP Live Streaming. RFC 8216, 2017. Available at https://datatracker.ietf.org/doc/html/rfc8216, accessed 10.08.2025.
15. Bradner S. Key words for use in RFCs to Indicate Requirement Levels. RFC 2119, 1997. Available at https://datatracker.ietf.org/doc/html/rfc2119, accessed 10.08.2025.
Рецензия
Для цитирования:
ДУМКИН Н.А., АЛЕКСАНДРОВ Д.В., ПРОЗОРСКИЙ М.А. Адаптивное восстановление фрагментов видеопотока на основе машинного обучения с учётом динамики сцены. Труды Института системного программирования РАН. 2026;38(1):255-274. https://doi.org/10.15514/ISPRAS-2026-38(1)-17
For citation:
DUMKIN N.A., ALEXANDROV D.V., PROZORSKIY M.A. Machine Learning-based Adaptive Reconstruction of Video Stream Fragments Taking into Account Scene Dynamics. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2026;38(1):255-274. (In Russ.) https://doi.org/10.15514/ISPRAS-2026-38(1)-17
Послать статью по эл. почте 