Сбор данных для обучения и тестирования моделей сверхразрешения, работающих в реальном времени
Евгений Николаевич БОГАТЫРЕВ,
Иван Андреевич МОЛОДЕЦКИХ,
Халед Набиль АБУД,
Дмитрий Сергеевич ВАТОЛИН https://doi.org/10.15514/ISPRAS-2026-38(1)-15
Аннотация
Современные модели сверхразрешения (SR) реального времени плохо справляются с особенностями сжатого видео. Часто используемые наборы данных не отражают в полной мере характеристики стримингового контента, что снижает релевантность существующих бенчмарков. Авторами предложен новый набор данных StreamSR, собранный из видеороликов с платформы YouTube и охватывающий широкий спектр жанров и разрешений видео, характерных для реальных сценариев. Протестировано 11 современных моделей сверхразрешения, работающих в реальном времени, оценена их эффективность для задач стримингового вещания. В работе демонстрируется, что дообучение других моделей на представленном наборе данных приводит к значительному повышению качества, которое хорошо обобщается на стандартные бенчмарки. Предлагается EfRLFN – эффективная модель сверхразрешения, в которую интегрированы Efficient Channel Attention и гиперболический тангенс в качестве функции активации, что является новым решением в контексте сверхразрешения в реальном времени. Архитектура оптимизирована для максимизации эффективности, также разработана составная функция потерь, улучшающая сходимость обучения. EfRLFN объединяет преимущества существующих архитектур, одновременно улучшая как визуальное качество, так и производительность.
При поддержке: Работа выполнена при финансовой поддержке Министерства экономического развития Российской Федерации (соглашение № 139-15-2025-012 от 20.06.2025). Работа выполнялась с использованием суперкомпьютера «МГУ-270» МГУ имени М.В. Ломоносова.
Об авторах
Евгений Николаевич БОГАТЫРЕВ
Московский государственный университет имени М.В. Ломоносова
Россия
Россия
Получил степень бакалавра по прикладной математике и информатике в Московском государственном университете имени М. В. Ломоносова в 2023 году. В настоящее время является студентом магистратуры в лаборатории компьютерной графики и мультимедиа МГУ. В область его научных интересов входят суперразрешение, оценка качества видео, методы сжатия видео и мультимодальное видео-языковое моделирование.
Иван Андреевич МОЛОДЕЦКИХ
Московский государственный университет имени М.В. Ломоносова,
Центр искусственного интеллекта МГУ
Россия
Россия
Окончил аспирантуру по специальности математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей в Московском государственном университете имени М. В. Ломоносова в 2024 году. В настоящее время работает над диссертацией и является научным сотрудником в центре искусственного интеллекта МГУ, лаборатории компьютерной графики и мультимедиа. В область его научных интересов входят суперразрешение, семантическое матирование видео и машинное обучение. Иван курировал разработку бенчмарка методов суперразрешения для улучшения качества видео и был одним из организаторов соревнований по оценке качества суперразрешения видео на ECCV-AIM 2024 и ICCV-AIM 2025.
Халед Набиль АБУД
Московский государственный университет имени М.В. Ломоносова,
Центр искусственного интеллекта МГУ,
Институт перспективных исследований проблем искусственного интеллекта и интеллектуальных систем МГУ имени М.В. Ломоносова
Россия
Россия
Получил степень бакалавра компьютерных наук в Московском государственном университете имени М. В. Ломоносова в 2024 году. В настоящее время продолжает обучение в магистратуре МГУ в Лаборатории компьютерной графики и мультимедиа. Его научные интересы включают обработку изображений, оценку качества изображений и видео, состязательное машинное обучение и глубокое обучение. Халед также является одним из ключевых участников проекта «Доверенный ИИ» ИСП РАН, занимаясь анализом устойчивости методов оценки качества изображений и нейросетевых кодеков сжатия изображений к состязательным атакам.
Дмитрий Сергеевич ВАТОЛИН
Московский государственный университет имени М.В. Ломоносова,
Центр искусственного интеллекта МГУ,
Институт перспективных исследований проблем искусственного интеллекта и интеллектуальных систем МГУ имени М.В. Ломоносова,
Институт системного программирования им. В.П. Иванникова РАН
Россия
Россия
Закончил ВМК МГУ в 1996, защитил диссертацию в 2000, кандидат физико-математических наук, заведующий лабораторией компьютерной графики ВМК МГУ. Специализируется на исследованиях в области алгоритмов сжатия видео, современных методах измерения качества и обработке цифрового видео. Читает курсы по компьютерной графике и методам сжатия и обработки видео с 1997 года. Создатель популярных сайтов, посвященных алгоритмам обработки и сжатия видео.
Список литературы
1. Grand View Research. Video Streaming Market Size & Share Industry Report, 2030. Available at: https://www.grandviewresearch.com/industry-analysis/video-streaming-market, 2025, accessed 08.11.2025.
2. Bogatyrev E., Molodetskikh I., Vatolin D.S. SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction. 35th British Machine Vision Conference 2024, BMVC 2024, Glasgow, UK, November 25-28, 2024. BMVA, 2024.
3. Li Y. et al. Comisr: Compression-informed video super-resolution. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 2543-2552.
4. Conde M.V. et al. Efficient Deep Models for Real-Time 4K Image Super-Resolution. NTIRE 2023 Benchmark and Report. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2023, pp. 1495-1521.
5. Ren B. et al. The ninth NTIRE 2024 efficient super-resolution challenge report. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 6595-6631.
6. Agustsson E., Timofte R. NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2017.
7. Xue T. et al. Video enhancement with task-oriented flow. International Journal of Computer Vision. Springer, 2019, vol. 127, isssue 8, pp. 1106-1125.
8. Choi B. Pixel Perfect: RTX Video Super Resolution Now Available for GeForce RTX 40 and 30 Series GPUs. Available at: https://blogs.nvidia.com/blog/rtx-video-super-resolution/, 2023, accessed 08.11.2025.
9. Wan C. et al. Swift parameter-free attention network for efficient super-resolution. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 6246-6256.
10. Kong F. et al. Residual local feature network for efficient super-resolution. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 766-776.
11. Bilecen B.B., Ayazoglu M. Bicubic++: Slim, slimmer, slimmest-designing an industry-grade super-resolution network. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 1623-1632.
12. Guo J. et al. Asconvsr: Fast and lightweight super-resolution network with assembled convolutions. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2023, pp. 1582-1592.
13. Zamfir E., Conde M.V., Timofte R. Towards real-time 4k image super-resolution. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 1522-1532.
14. Zhang Z. et al. Tmp: Temporal motion propagation for online video super-resolution. IEEE Transactions on Image Processing. IEEE, 2024.
15. Liang J. et al. Swinir: Image restoration using swin transformer. Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 1833-1844.
16. Zhang X., Zhang Y., Yu F. HiT-SR: Hierarchical transformer for efficient image super-resolution. European Conference on Computer Vision. Springer, 2025, pp. 483-500.
17. Wang Y. et al. Compression-aware video super-resolution. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 2012-2021.
18. Wang X. et al. Real-esrgan: Training real-world blind super-resolution with pure synthetic data. Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 1905-1914.
19. Wang Y., Inguva S., Adsumilli B. YouTube UGC dataset for video compression research. 2019 IEEE 21st International Workshop on Multimedia Signal Processing (MMSP). IEEE, 2019, pp. 1-5.
20. Zeyde R., Elad M., Protter M. On single image scale-up using sparse-representations. Curves and Surfaces: 7th International Conference, Avignon, France, June 24-30, 2010, Revised Selected Papers 7. Springer, 2012, pp. 711-730.
21. Silva A. BSD100 dataset. Available at: https://www.kaggle.com/datasets/asilva1691/bsd100, 2001, accessed 08.11.2025.
22. Huang J.-B., Singh A., Ahuja N. Single image super-resolution from transformed self-exemplars. Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 5197-5206.
23. Nah S. et al. Ntire 2019 challenge on video deblurring and super-resolution: Dataset and study. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, 2019, pp. 1-10.
24. Achiam J. et al. Gpt-4 technical report. arXiv preprint. Available at: https://arxiv.org/abs/2303.08774, accessed 08.11.2025.
25. Li D., Jiang T., Jiang M. Unified quality assessment of in-the-wild videos with mixed datasets training. International Journal of Computer Vision. Springer, 2021, vol. 129, issue 4, pp. 1238-1257.
26. Zhai X. et al. Sigmoid loss for language image pre-training. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 11975-11986.
27. Talab M.A., Awang S., Najim S.A.M. Super-low resolution face recognition using integrated efficient sub-pixel convolutional neural network (ESPCN) and convolutional neural network (CNN). 2019 IEEE international conference on automatic control and intelligent systems (I2CACIS). IEEE, 2019, pp. 331-335.
28. Zheng M. et al. SMFANet: A Lightweight Self-Modulation Feature Aggregation Network for Efficient Image Super-Resolution. ECCV. 2024.
29. Ayazoglu M. Extremely lightweight quantization robust real-time single-image super resolution for mobile devices. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 2472–2479.
30. Sun L. et al. Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution. ICCV. 2023.
31. Wang Z. et al. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing. IEEE, 2004, vol. 13, issue 4, pp. 600-612.
32. Zhang R. et al. The unreasonable effectiveness of deep features as a perceptual metric. Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 586-595.
33. Ke J. et al. Musiq: Multi-scale image quality transformer. Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 5148–5157.
34. Wang J., Chan K.C., Loy C.C. Exploring clip for assessing the look and feel of images. Proceedings of the AAAI conference on artificial intelligence. 2023, vol. 37, pp. 2555-2563.
35. Huynh-Thu Q., Ghanbari M. Scope of validity of PSNR in image/video quality assessment. Electronics letters. IET, 2008, vol. 44, no. 13, pp. 800–801.
36. Subjectify.us: Crowd-sourced subjective quality evaluation platform, 2025. Available at: https://subjectify.us/, accessed 08.11.2025.
37. Bradley R.A., Terry M.E. Rank analysis of incomplete block designs: I. The method of paired comparisons. Biometrika. JSTOR, 1952, vol. 39, issue 3/4, pp. 324-345.
38. Fleiss, J. L. Measuring nominal scale agreement among many raters. Psychological bulletin 76.5, 1971, p. 378.
39. Clevert D.-A., Unterthiner T., Hochreiter S. Fast and accurate deep network learning by exponential linear units (elus). arXiv preprint, 2015. Available at: https://arxiv.org/abs/1511.07289v5, accessed 08.11.2025. vol. 4, issue 5. p. 11.
40. Isola P. et al. Image-to-image translation with conditional adversarial networks. Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 1125-1134.
41. Wang X. et al. Esrgan: Enhanced super-resolution generative adversarial networks. Proceedings of the European conference on computer vision (ECCV) workshops, 2018, pp. 1-16.
42. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv preprint, 2014. Available at: https://arxiv.org/abs/1409.1556, accessed 08.11.2025.
43. EfRLFN real-time Super-Resolution. Available at: https://github.com/EvgeneyBogatyrev/EfRLFN, accessed 08.11.2025.
Рецензия
Для цитирования:
БОГАТЫРЕВ Е.Н., МОЛОДЕЦКИХ И.А., АБУД Х.Н., ВАТОЛИН Д.С. Сбор данных для обучения и тестирования моделей сверхразрешения, работающих в реальном времени. Труды Института системного программирования РАН. 2026;38(1):221-240. https://doi.org/10.15514/ISPRAS-2026-38(1)-15
For citation:
BOGATYREV E.N., MOLODETSKIKH I.A., ABUD Kh.N., VATOLIN D.S. Data Collection for Training and Testing Real-Time Super-Resolution Models. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2026;38(1):221-240. (In Russ.) https://doi.org/10.15514/ISPRAS-2026-38(1)-15
Послать статью по эл. почте 