Анализ и оптимизация задержек видеотрансляции удалённых рабочих столов

Для повышения эффективности работы удалённых рабочих столов ключевое значение имеет оптимизация передачи видеоданных, обеспечивающая стабильность и качество изображения при ограниченных ресурсах сети и клиента. Современные подходы включают использование специализированных протоколов передачи данных и видеокодеков, оптимизированных для работы в реальном времени. Целью данной работы является исследование и оптимизация задержек в процессе передачи видео в системе предоставления доступа к удалённым рабочим столам с использованием GStreamer для обработки видео и WebRTC для передачи данных по сети. В результате работы выявлены основные источники задержек внутри конвейеров подготовки видео удалённого рабочего стола. Проведён сравнительный анализ поведения различных конвейеров в различных сценариях и выявлены их преимущества и недостатки в контексте оптимизации трансляции изображения рабочего стола. В ходе анализа эффективности и предсказуемости рассматриваемых GStreamer-конвейеров иллюстрируются подходы и инструменты оценки данного класса конвейеров подготовки кадров. Отдельным результатом являются полученные методы оптимизации, перечисленные в разделе 3.

1. World Wide Web Consortium (W3C). WebRTC 1.0: Real-Time Communication Between Browsers. Available at: http://www.w3.org/TR/webrtc/, accessed 13.05.2025.

2. Sheikholeslami A., Graffi K. A systematic quality analysis of virtual desktop infrastructure technologies // Euro-Par 2015: Parallel Processing Workshops. Lecture Notes in Computer Science, vol. 9523. Cham: Springer, 2015, pp. 335-346. DOI: 10.1007/978-3-319-27308-2_26.

3. Chang C.-H., Yang C.-T., Lee J.-Y., Lai C.-L., Kuo C.-C. On construction and performance evaluation of a virtual desktop infrastructure with GPU accelerated // IEEE Access. 2020, vol. 8, pp. 170162-170173. DOI: 10.1109/ACCESS.2020.3023924.

4. Li S., Xiao L., Shi C. et al. Boosting performance of virtualized desktop infrastructure with physical GPU and SPICE // Science China Information Sciences. 2020, vol. 63. Art. 179102. DOI: 10.1007/s11432-018-9914-5.

5. Blakley J. R., Haas S., Firoiu V., Iyer M. B., Beveridge D., Narkhede G., George S. A., Eiszler T., Harkes J., Scott J. R., Satyanarayanan M. Deploying edge-based virtual desktop infrastructure. 2023.

6. Simoens P., De Turck F., Dhoedt B., Demeester P. Design and implementation of a hybrid remote display protocol to optimize multimedia experience on thin client devices // Proceedings of the Australasian Telecommunication Networks and Applications Conference (ATNAC), 2008, pp. 391-396.

7. Alliance for Open Media. AV1 Tool Description. Version 1.1. Available at: https://aomedia.org/docs/AV1_ToolDescription_v11-clean.pdf, accessed: 19.08.2025.

8. ITU-T and ISO/IEC JTC 1. Recommendation ITU-T H.265 (09/2023): High Efficiency Video Coding | ISO/IEC 23008-2:2020, Information technology – High efficiency coding and media delivery in heterogeneous environments – Part 2: High Efficiency Video Coding. Version 9 (Edition 9). Geneva: International Telecommunication Union (ITU) and International Organization for Standardization (ISO), 2023.

9. Xu X., Liu S. Overview of Screen Content Coding in Recently Developed Video Coding Standards. IEEE Transactions on Circuits and Systems for Video Technology, 2022, vol. 32, no. 2, pp. 839-852. DOI: 10.1109/TCSVT.2021.3064210.

10. Bentaleb A., Lim M., Akcay M. N., Begen A. C., Hammoudi S., Zimmermann R. Toward One-Second Latency: Evolution of Live Media Streaming. IEEE Communications Surveys & Tutorials, DOI: 10.1109/COMST.2025.3555514.

11. WebRTC Hacks. WebCodecs, WebTransport, and WebRTC: The Future Is Now. Available at: http://webrtchacks.com/webcodecs-webtransport-and-webrtc, accessed: 19.08.2025.

12. Iyengar J., Thomson M. QUIC: A UDP-Based Multiplexed and Secure Transport. RFC 9000, Internet Engineering Task Force (IETF), 2021.

13. Internet Engineering Task Force (IETF). Interactive Connectivity Establishment (ICE): A Protocol for Network Address Translator (NAT). Available at: http://datatracker.ietf.org/doc/html/rfc8445, accessed: 03.05.2025.

14. Internet Engineering Task Force (IETF). Session Traversal Utilities for NAT (STUN). Available at: http://datatracker.ietf.org/doc/html/rfc8489, accessed: 03.05.2025.

15. Internet Engineering Task Force (IETF). Traversal Using Relays around NAT (TURN): Relay Extensions to Session Traversal Utilities for NAT (STUN). Available at: http://datatracker.ietf.org/doc/html/rfc8656, accessed: 03.05.2025.

16. Frindell A., Kinnear E., Vasiliev V. WebTransport over HTTP/3. Internet-Draft draft-ietf-webtrans-http3-12, Internet Engineering Task Force (IETF). Available at: http://datatracker.ietf.org/doc/html/draft-ietf-webtrans-http3-12, accessed: 19.08.2025.

17. Google Chrome Developers. WebTransport API Overview. Available at: http://developer.chrome.com/docs/capabilities/web-apis/webtransport, accessed: 19.08.2025.

18. Cloudflare, Inc. Radar 2024 Year in Review. Available at: https://blog.cloudflare.com/radar-2024-year-in-review/, accessed: 19.08.2025.

19. Li, B., Zou, J. (2019). Screen Content Coding: A Survey. In: Sun, S., Fu, M., Xu, L. (eds) Signal and Information Processing, Networking and Computers. ICSINC 2018. Lecture Notes in Electrical Engineering, vol 550. Springer, Singapore. DOI: 10.1007/978-981-13-7123-3_68.

20. Advanced Micro Devices, Inc. AMF Video Encode API Documentation. Available at: http://github.com/GPUOpen-LibrariesAndSDKs/AMF/blob/master/amf/doc/AMF_Video_Encode_API.md, accessed: 19.08.2025.

21. NVIDIA Corporation. NVENC Video Encoder API Programming Guide. Available at: http://docs.nvidia.com/video-technologies/video-codec-sdk/12.2/nvenc-video-encoder-api-prog-guide/index.html, accessed: 19.08.2025.

22. Matrox Graphics Inc. Matrox M264 Family: Multi-Channel 8- and 10-Bit H.264 Codec Cards. Available at: http://video.matrox.com/en/products/broadcast-media/H.264-codec-cards/m264, accessed: 19.08.2025.

23. Intel Corporation. Intel Media Driver for VAAPI. Available at: https://github.com/intel/media-driver, accessed: 19.08.2025.

24. Microsoft Corporation. Getting Started with DirectX Graphics. Available at: http://learn.microsoft.com/en-us/windows/win32/getting-started-with-directx-graphics, accessed: 19.08.2025.

25. Khronos Group. An Introduction to Vulkan Video. Available at: http://www.khronos.org/blog/an-introduction-to-vulkan-video, accessed: 19.08.2025.

26. Carlucci G., De Cicco L., Holmer S., Mascolo S. Analysis and design of the google congestion control for web real-time communication (WebRTC). Proceedings of the 7th International Conference on Multimedia Systems, 2016, pp. 1-12.

27. Zhu X., Pan R., Ramalho M.A., Mena S. Network-Assisted Dynamic Adaptation (NADA): A Unified Congestion Control Scheme for Real-Time Media. RFC 8698, IETF, 2020. Available at: https://datatracker.ietf.org/doc/rfc8698/, accessed: 19.08.2025.

28. Johansson I., Westerlund M. Self-Clocked Rate Adaptation for Multimedia (Internet-Draft). IETF, 2024. Available at: https://datatracker.ietf.org/doc/draft-johansson-ccwg-rfc8298bis-screamv2/, accessed: 19.08.2025.

29. GStreamer. queue: Data queue. GStreamer Documentation. Available at: https://gstreamer.freedesktop.org/documentation/coreelements/queue.html, accessed 20.08.2025.

30. RidgeRun. GstShark: Performance Analysis & Tracing for GStreamer Developers. Available at: https://developer.ridgerun.com/wiki/index.php/GstShark, accessed 20.08.2025.

31. VideoLAN. x264: Free software library and application for encoding video streams into the H.264/MPEG-4 AVC compression format. Available at: https://www.videolan.org/developers/x264.html, accessed: 20.08.2025.

32. YouTube Engineering. VP9: Faster, better, buffer-free YouTube. Available at: https://web.archive.org/web/20150410001205/https://youtube-eng.blogspot.com/2015/04/vp9-faster-better-buffer-free-youtube.html, publication date: april 2015, archiving date: 10.04.2015, accessed: 20.08.2025.

33. Alliance for Open Media. AV1 Bitstream and Decoding Process Specification / Alliance for Open Media. — Wakefield, MA, USA: Alliance for Open Media, 2019. — Version 1.0.0 with Errata 1. Available at: https://aomediacodec.github.io/av1-spec/av1-spec.pdf, accessed: 13.05.2025.