Обзор современных методов гауссова сплэтинга в приложениях компьютерной графики
Константин Сергеевич ПЕТРИЩЕВ,
Никита Константинович МОРОЗКИН,
Виталий Адольфович СЕМЕНОВ,
Олег Анатольевич ТАРЛАПАН,
Василий Николаевич ШУТКИН https://doi.org/10.15514/ISPRAS-2025-37(6)-59
Аннотация
Недавно появившиеся трёхмерные гауссовы сплэтинги (3D Gaussian Splatting) привлекли внимание огромного количества исследователей и имеют потенциал стать одним из основных подходов к реалистичному рендерингу трехмерных сцен. Работа посвящена обзору современных методов и технологий гауссова сплэтинга, который, как мы надеемся, позволит исследователям и практикам быстрее освоиться в этой новой и стремительно развивающейся дисциплине компьютерной графики. Краткий экскурс в историю гауссовых сплэтингов, а также анализ недостатков оригинальных методов помогают лучше разобраться в особенностях современных методов, которые в работе систематизированы по прикладным задачам и основным принципам их решения.
Об авторах
Константин Сергеевич ПЕТРИЩЕВ
Институт системного программирования им. В.П. Иванникова РАН
Россия
Россия
Инженер ИСП РАН. Сфера научных интересов: компьютерная графика, методы пространственного индексирования, информационное моделирование в области архитектуры и строительства, планирование движения и навигация.
Никита Константинович МОРОЗКИН
Институт системного программирования им. В.П. Иванникова РАН
Россия
Россия
Научный сотрудник ИСП РАН. Сфера научных интересов: компьютерная графика, рендеринг трехмерных сцен, игровые движки, технологии виртуальной и смешанной реальности.
Виталий Адольфович СЕМЕНОВ
Институт системного программирования им. В.П. Иванникова РАН,
Московский физико-технический институт
Россия
Россия
Доктор физико-математических наук, профессор, заведующий отделом системной интеграции и прикладных программных комплексов Института системного программирования им. В.П. Иванникова РАН. Сфера научных интересов: модельно-ориентированные технологии программной инженерии, системная интеграция, визуализация и компьютерная графика, вычислительная геометрия, информационное моделирование в области архитектуры и строительства, проектное управление и календарно-сетевое планирование.
Олег Анатольевич ТАРЛАПАН
Институт системного программирования им. В.П. Иванникова РАН,
Московский физико-технический институт,
Московский государственный университет имени М.В. Ломоносова
Россия
Россия
Кандидат физико-математических наук, ведущий научный сотрудник ИСП РАН, доцент кафедры системного программирования МГУ им. М.В. Ломоносова. Сфера научных интересов: компьютерная графика и научная визуализация, системы управления базами данных, информационное моделирование в области архитектуры и строительства.
Василий Николаевич ШУТКИН
Институт системного программирования им. В.П. Иванникова РАН
Россия
Россия
Старший научный сотрудник ИСП РАН. Сфера научных интересов: компьютерная графика, рендеринг трехмерных сцен, полигональные упрощения, информационное моделирование в области архитектуры и строительства.
Список литературы
1. Mildenhall B., Srinivasan P.P., Tancik M., Barron J.T., Ramamoorthi R., Ng R. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Communications of the ACM, Volume 65, Issue 1, pp. 99 - 106 DOI: 10.1145/3503250.
2. Chen S.E., Williams L. View interpolation for image synthesis. Conference on Computer Graphics and Interactive Techniques, 1993.
3. Green R. Spherical Harmonic Lighting: The Gritty Details. Archives of the game developers confer-ence, Vol. 56, 2003, p. 4.
4. Chen G., Wang W. A Survey On 3D Gaussian Splatting. Preprint available at: https://arxiv.org/abs/2401.03890, accessed 07.03.2025.
5. Zwicker M., Pfister H., Van Baar J., Gross M. EWA Volume Splatting. Proceedings Visualization, VIS'01, 2001, pp. 29-538.
6. Tang J., Zhou H., Chen X., Hu T., Ding E., Wang J., Zeng G. Delicate textured mesh recovery from NeRF via adaptive surface refinement. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 17739-17749. DOI: 10.1109/ICCV51070.2023.01626.
7. Guo Y.C., Cao Y.P., Wang C., He Y., Shan Y., Zhang S.H. Vmesh: Hybrid volume-mesh representa-tion for efficient view synthesis. SIGGRAPH Asia 2023 Conference Papers, pp. 1-11. DOI: 10.1145/3610548.3618161.
8. Kerbl B., Kopanas G., Leimkühler T. and Drettakis G. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Trans. Graph., 42(4), 2023, pp.139-1.
9. Snavely N., Seitz S.M., Szeliski R. Photo tourism: exploring photo collections in 3D. ACM SIGGRAPH 2006, pp. 835-846.
10. Bao Y., Ding T., Huo J., Liu Y., Li Y., Li W., Gao Y., Luo J. 3D Gaussian Splatting: Survey, Tech-nologies, Challenges, and Opportunities. IEEE Transactions on Circuits and Systems for Video Tech-nology, 2025. DOI: 10.1109/TCSVT.2025.3538684.
11. D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities. https://github.com/qqqqqqy0227/awesome-3DGS, accessed 11.06.2025.
12. Papantonakis P., Kopanas G., Kerbl B., Lanvin A., Drettakis G. Reducing the Memory Footprint of 3D Gaussian Splatting. Proceedings of the ACM on Computer Graphics and Interactive Techniques 7, no. 1 (2024), pp. 1-17. DOI:10.1145/3651282.
13. Sun X., Lee J.C., Rho D., Ko J.H., Ali U., Park E. F-3DGS: Factorized Coordinates and Representa-tions for 3D Gaussian Splatting. Proceedings of the 32nd ACM International Conference on Multime-dia, 2024, pp. 7957-7965. DOI:10.1145/3664647.3681116.
14. Fan Z., Wang K., Wen K., Zhu Z., Xu D., Wang Z. LightGaussian: Unbounded 3D Gaussian Com-pression with 15x Reduction and 200+ FPS. Advances in neural information processing systems, 37 (2024), pp.140138-140158.
15. Fang G., Wang B. Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians. Eu-ropean Conference on Computer Vision, pp. 165-181. Cham: Springer Nature Switzerland, 2024.
16. Zhang Y., Jia W., Niu W., Yin M. GaussianSpa: An "Optimizing-Sparsifying" Simplification Frame-work for Compact and High-Quality 3D Gaussian Splatting. Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, pp. 26673-26682.
17. Mallick S.S., Goel R., Kerbl B., Steinberger M., Carrasco F.V., De La Torre F. Taming 3DGS: High-Quality Radiance Fields with Limited Resources. SIGGRAPH Asia 2024 Conference Papers, pp. 1-11. DOI: 10.1145/3680528.3687694.
18. Liu W., Guan T., Zhu B., Xu L., Song Z., Li D., Wang Y., Yang W. EfficientGS: Streamlining Gaussi-an Splatting for Large-Scale High-Resolution Scene Representation. IEEE MultiMedia, vol. 32, no. 1, pp. 61-71, Jan.-March 2025. DOI: 10.1109/MMUL.2025.3543224.
19. Yu Z., Chen A., Huang B., Sattler T., Geiger A. Mip-Splatting: Alias-free 3D Gaussian Splatting. Pro-ceedings of the IEEE/CVF conference on computer vision and pattern recognition (CVPR), 2024, pp. 19447-19456.
20. Kerbl B., Meuleman A., Kopanas G., Wimmer M., Lanvin A., Drettakis G. A Hierarchical 3D Gaussi-an Representation for Real-Time Rendering of Very Large Datasets. ACM Transactions on Graphics (TOG), 43(4), 2024, pp.1-15. DOI: 10.1145/3658160.
21. Liu Y., Luo C., Fan L., Wang N., Peng J., Zhang Z. CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians. European Conference on Computer Vision, 2024 Sep 29, pp. 265-282. Cham: Springer Nature Switzerland. DOI: 10.1007/978-3-031-72640-8_15.
22. Cui J., Cao J., Zhao F., He Z., Chen Y., Zhong Y., Xu L., Shi Y., Zhang Y., Yu J. LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives. ACM Transactions on Graphics (TOG) 43(6), 2024 pp.1-8. DOI: 10.1145/3687762.
23. Lu T., Yu M., Xu L., Xiangli Y., Wang L., Lin D., Dai B. Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 20654-20664.
24. Ren K., Jiang L., Lu T., Yu M., Xu L., Ni Z., Dai B. Octree-GS: Towards Consistent Real-time Ren-dering with LOD-Structured 3D Gaussians. Preprint available at: https://arxiv.org/abs/2403.17898, ac-cessed 17.10.2024.
25. Steven Gao. 3DGS.cpp, available at: https://github.com/shg8/3DGS.cpp, accessed 11.06.2025.
26. WebGL 3D Gaussian Splatting Renderer, available at: https://github.com/kishimisu/Gaussian-Splatting-WebGL, accessed 11.06.2025.
27. Kevin Kwok. Splat, available at: https://github.com/antimatter15/splat, accessed 11.06.2025.
28. Hou Q., Rauwendaal R., Li Z., Le H., Farhadzadeh F., Porikli F., Bourd A., Said A. Sort-free Gaussi-an Splatting via Weighted Sum Rendering. Preprint available at: https://arxiv.org/abs/2410.18931, ac-cessed 09.04.2025.
29. Meshkin, H. Sort-Independent Alpha Blending. GDC Talk, 2(4), 2007.
30. McGuire M., Bavoil L. Weighted Blended Order-Independent Transparency. Journal of Computer Graphics Techniques, 2(4), 2013.
31. Hamdi A., Melas-Kyriazi L., Mai J., Qian G., Liu R., Vondrick C., Ghanem B., Vedaldi A. GES: Gen-eralized Exponential Splatting for Efficient Radiance Field Rendering. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 19812-19822. DOI: 10.1109/CVPR52733.2024.01873.
32. Waczyńska J., Borycki P., Tadeja S., Tabor J., Spurek P. GaMeS: Mesh-Based Adapting and Modifi-cation of Gaussian Splatting. Preprint available at: https://arxiv.org/pdf/2402.01459, accessed 02.12.2024.
33. Choi J., Lee Y., Lee H., Kwon H., Manocha D. MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering. Proceedings of the Asian Conference on Computer Vision, 2024, pp. 3310-3326. DOI: 10.1007/978-981-96-0969-7_16.
34. Yariv L., Hedman P., Reiser C., Verbin D., Srinivasan P.P., Szeliski R., Barron J.T., Mildenhall B. BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis. ACM SIGGRAPH 2023 Conference Proceedings, 2023 Jul 23, pp. 1-9. DOI: 10.1145/3588432.3591536.
35. Lin A., Xiang Y., Kennedy P., Li J. Direct Learning of Mesh and Appearance via 3D Gaussian Splat-ting. Preprint available at: https://arxiv.org/abs/2405.06945, accessed 21.04.2025.
36. Shen T., Munkberg J., Hasselgren J., Yin K., Wang Z., Chen W., Gojcic Z., Fidler S., Sharp N., Gao J. Flexible Isosurface Extraction for Gradient-Based Mesh Optimization. ACM Transactions on Graphics (TOG), 42(4), pp.1-16. DOI: 10.1145/3592430.
37. Cai H., Xiao Y., Wang X., Li J., Guo Y., Fan Y., Gao S., Zhang J. Hybrid Explicit Representation for Ultra-Realistic Head Avatars. Preprint available at: https://arxiv.org/abs/2403.11453, accessed 19.02.2025.
38. Qian S., Kirschstein T., Schoneveld L., Davoli D., Giebenhain S., Nießner M. GaussianAvatars: Pho-torealistic Head Avatars with Rigged 3D Gaussians. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 20299-20309. DOI: 10.1109/CVPR52733.2024.01919.
39. Li T., Bolkart T., Black M.J., Li H., Romero J. Learning a model of facial shape and expression from 4D scans. ACM Trans. Graph. 36(6), 2017, pp.194-1. DOI: 10.1145/3130800.3130813.
40. Ma S., Luo Y., Yang Y. Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting. Preprint available at: https://arxiv.org/abs/2406.01593, accessed 22.11.2024.
41. Kindlmann, G. Superquadric Tensor Glyphs. Proceedings of the Sixth Joint Eurographics-IEEE TCVG conference on Visualization, 2004, pp. 147-154.
42. Pentland, A. Parts: Structured descriptions of shape. Proc. of the Conf. on Artificial Intelligence (AAAI), 1986, pp. 695–701.
43. Chevalier L., Jaillet F., Baskurt A. Segmentation and superquadric modeling of 3D objects. Journal of Winter School of Computer Graphics, 2003.
44. Solina F., Bajcsy R. Recovery of parametric models from range images: The case for superquadrics with global deformations. IEEE transactions on pattern analysis and machine intelligence, 12(2), 1990, pp.131-147. DOI: 10.1109/34.44401.
45. Paschalidou D., Ulusoy A.O., Geiger A. Superquadrics Revisited: Learning 3D Shape Parsing beyond Cuboids. Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2019.
46. Tulsiani S., Su H., Guibas L.J., Efros A.A., Malik J. Learning shape abstractions by assembling volu-metric primitives. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 2635-2643.
47. Gao Z., Yi R., Huang Y., Chen W., Zhu C., Xu K. PartGS: Learning Part-aware 3D Representations by Fusing 2D Gaussians and Superquadrics. Preprint available at: https://arxiv.org/abs/2408.10789, ac-cessed 02.12.2024.
48. Monnier T., Austin J., Kanazawa A., Efros A., Aubry M. Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives. Advances in Neural Information Processing Systems, 36, 2023, pp.5791-5807.
49. Alaniz S., Mancini M., Akata Z. Iterative Superquadric Recomposition of 3D Objects from Multiple Views. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 18013-18023. DOI: 10.1109/ICCV51070.2023.01651.
50. Liu W., Wu Y., Ruan S., Chirikjian G.S. Robust and accurate superquadric recovery: A probabilistic approach. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 2676-2685. DOI: 10.1109/CVPR52688.2022.00270.
51. Wu Y., Liu W., Ruan S., Chirikjian G.S. Primitive-based shape abstraction via nonparametric bayesi-an inference. European Conference on Computer Vision, 2022, pp. 479-495. Cham: Springer Nature Switzerland. DOI:10.1007/978-3-031-19812-0_28.
52. Gao X., Li X., Zhuang Y., Zhang Q., Hu W., Zhang C., Yao Y., Shan Y., Quan L. Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh. Proceedings of the Computer Vision and Pattern Recog-nition Conference, 2025, pp. 21392-21402.
53. Wang P., Liu L., Liu Y., Theobalt C., Komura T., Wang W. NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction. Preprint available at: https://arxiv.org/abs/2106.10689, accessed 01.02.2023.
54. Xie T., Zong Z., Qiu Y., Li X., Feng Y., Yang Y., Jiang C. PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 4389-4398. DOI: 10.1109/CVPR52733.2024.00420.
55. Hu Y., Fang Y., Ge Z., Qu Z., Zhu Y., Pradhana A., Jiang C. A moving least squares material point method with displacement discontinuity and two-way rigid body coupling. ACM Transactions on Graphics (TOG), 37(4), 2018, pp.1-14. DOI: 10.1145/3197517.3201293.
56. Guédon A., Lepetit V. SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruc-tion and High-Quality Mesh Rendering. Proceedings of the IEEE/CVF Conference on Computer Vi-sion and Pattern Recognition, 2024, pp. 5354-5363. DOI: 10.1109/CVPR52733.2024.00512.
57. Lorensen W.E., Cline H.E. Marching cubes: A high resolution 3D surface construction algorithm. ACM SIGGRAPH Computer Graphics, 21(4), 1987, pp.163-169.
58. Kazhdan M., Bolitho M., Hoppe H. Poisson Surface Reconstruction. Eurographics, 2006.
59. Zhang B., Fang C., Shrestha R., Liang Y., Long X., Tan P. RaDe-GS: Rasterizing Depth in Gaussian Splatting. Preprint available at: https://arxiv.org/abs/2406.01467, accessed 24.06.2024.
60. Gao J., Gu C., Lin Y., Li Z., Zhu H., Cao X., Zhang L., Yao Y. Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing. European Conference on Computer Vision, 2024, pp. 73-89. DOI: 10.1007/978-3-031-72995-9_5.
Рецензия
Для цитирования:
ПЕТРИЩЕВ К.С., МОРОЗКИН Н.К., СЕМЕНОВ В.А., ТАРЛАПАН О.А., ШУТКИН В.Н. Обзор современных методов гауссова сплэтинга в приложениях компьютерной графики. Труды Института системного программирования РАН. 2025;37(6):201-226. https://doi.org/10.15514/ISPRAS-2025-37(6)-59
For citation:
PETRISHCHEV K.S., MOROZKIN N.K., SEMENOV V.A., TARLAPAN O.A., SHUTKIN V.N. Modern Methods of 3D Gaussian Splatting in Computer Graphics Applications: A Survey. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2025;37(6):201-226. (In Russ.) https://doi.org/10.15514/ISPRAS-2025-37(6)-59
Послать статью по эл. почте 