Технология и методы отложенного синтеза 4K-стереороликов для сложных динамических виртуальных сцен

В статье рассматривается задача записи управляемой исследователем стереовизуализации сложной динамической виртуальной сцены в видеопоследователь­ность стереопар (стереоролика) сверхвысокого разрешения. Предлагается технология отложенного синтеза стереороликов, которая позволяет создавать такие стереоролики, не нарушая масштаб реального времени визуализации. Технология включает в себя построение в масштабе реального времени сценария процесса визуализации и офлайн-преобразование сценария в стереоролик. В работе рассматриваются методы реализации этих этапов на примере задачи стереовизуализации изоповерхности насыщенности вытесняющей жидкости. В исследовании предлагается разработанный оригинальный файловый формат «scr» сценария визуализации, основанный на чанковой структуре данных, который реализует компактное представление соседних одинаковых кадров. Преобразование файла сценария в последовательность 4K-стереопар выполняется с помощью технологии внеэкранного рендеринга виртуальной сцены, а добавление стереопар в стереоролик – с помощью набора открытых библиотек FFmpeg обработки цифровых видеозаписей. В основе стереоролика используется медиаконтейнер MP4 и стандарт H.264 сжатия видео (оба являются частями международного стандарта MPEG-4). Предложенные технология и методы отложенного синтеза 4K-стереороликов реализованы в программном комплексе визуализации результатов моделирования неустойчивого вытеснения нефти из пористых сред. С помощью данного программного комплекса был синтезирован 4K-стереоролик, иллюстрирующий процесс изменения изоповерхности насыщенности вытесняющей жидкости на стадии развития процесса неустойчивого вытеснения нефти. Проведенная апробация подтвердила адекватность созданных решений поставленной задаче. Разработанные решения могут быть использованы в виртуальных лабораториях, при построении систем виртуального окружения, систем научной визуализации, в образовательных приложениях и др.

1. Puzyrkov D.V., Podryga V.O., Polyakov S.V. Parallel processing and visualization for results of molecular simulation problems. Trudy ISP RAN/Proc. ISP RAS, vol. 28, issue 2, 2016, pp. 221-242. DOI: 10.15514/ISPRAS-2016-28(2)-15.

2. В.И. Гонахчян. Алгоритм удаления невидимых поверхностей на основе программных проверок видимости. Труды ИСП РАН, том 30, вып. 2, 2018 г., стр. 81-98. DOI: 10.15514/ISPRAS-2018-30(2)-5 / Gonakhchyan V.I. Occlusion culling algorithm based on software visibility checks. Trudy ISP RAN/Proc. ISP RAS, vol. 30, issue. 2, 2018, pp. 81-98 (in Russian).

3. V.F. Nikitin, L.I. Stamov, E.I. Skryleva, V.V. Tyurenkova, M.V. Mikhailyuk. Computer visualization of fluid displacement instability in porous medium. In Proc. of the 68th International Astronautical Congress (IAC 2017), 2017, pp. 1-5.

4. Mikhaylyuk M., Timokhin P. Effective GPU-based section visualization in isosurface of saturation of displacing liquid in a porous medium. In Proc. of the 2018 International Conference on Engineering Technologies and Computer Science EnT 2018 (IEEE Computer Society), 2018, pp. 57-60.

5. И.В. Козлов, Е.И. Скрылева. Математическое моделирование и обработка эксперимента по вытеснению нефти водой из неокомских песчаников. Вестник кибернетики, 2016, № 2, стр. 138-145 / Kozlov I.V., Skryleva E.I. Mathematical modeling and data processing of water-oil displacement in neocomian sandstone. Proceedings in Cybernetics, 2016, issue 2, pp. 138-145 (in Russian).

6. М.В. Михайлюк, А.В. Мальцев, П.Ю. Тимохин. Методы стереовизуализации результатов моделирования неустойчивого вытеснения нефти из пористых сред. Труды НИИСИ РАН, том 8, № 2, 2018, стр. 125-129 / Mikhaylyuk M.V., Maltsev A.V., Timokhin P.Yu. The methods for 3D stereo visualization of data obtained in simulation of unstable oil displacement from porous media. Trudy NIISI RAN/Proc. of SRISA RAS, vol. 8, issue 2, 2018, pp. 125-129 (in Russian).

7. Stereoscopic Player. Available at: www.3dtv.at, accessed 25.06.2019.

8. Open Broadcaster Software. Available at: https://obsproject.com/, accessed 25.06.2019.

9. NVIDIA VIDEO CODEC SDK. Available at: https://developer.nvidia.com/nvidia-video-codec-sdk, accessed 25.06.2019.

10. А.Г. Кушниренко, А.В. Мальцев, М.В. Михайлюк, А.А. Прилипко, П.Ю. Тимохин, М.А. Торгашев. Сжатие разделенных видео потоков в задачах дистанционного обучения. Известия Академии инженерных наук им. А.М. Прохорова, 2015, № 2, стр. 3-10 / Kushnirenko A.G., Maltsev A.V., Mikhaylyuk M.V., Prilipko A.A., Timokhin P.Yu., Torgashev M.A. The compression of separated video streams for distance education tasks. News Academy of Engineering Sciences A.M. Prokhorov, 2015, issue 2, pp. 3-10 (in Russian).

11. Гук И. Особенности сжатия видеоданных по рекомендации H.264. Компоненты и технологии, 2006, № 2, стр. 1-10 / Guk I. Features of video data compression under H. 264/MPEG 4 part 10 recommendation. Components & Technologies, 2006, issue 2, pp. 1-10 (in Russian).

12. FFmpeg. A complete, cross-platform solution to record, convert and stream audio and video. Available at: https://ffmpeg.org/, accessed 25.06.2019.

13. Программный комплекс визуализации результатов моделирования неустойчивого вытеснения нефти из пористых сред (ПО «Визуализатор неустойчивого вытеснения»). РФ, № 2019614787, дата заявки 30.04.2019, дата опубликования 13.05.2019. Доступно по ссылке: https://www1.fips.ru/registers-web/action?acName=clickRegister&regName=EVM, дата обращения: 25.06.2019 / Program complex for visualization of simulation results of unstable oil displacement («Vizualizator of unstable oil displacement»). Russian Federation, № 2019614787, request 30.04.2019, publication 13.05.2019 (in Russian). Available at: https://www1.fips.ru/registers-web/action?acName=clickRegister &regName=EVM, accessed 25.06.2019.