Интеграция подхода к визуализации данных на основе онтологии и визуализации на основе ИИ с использованием Plotly

В данном исследовании представлен прототип ассистента, управляемого искусственным интеллектом, который автоматизирует генерацию скриптов визуализации данных на основе запросов на естественном языке, устраняя необходимость пользователей владеть навыками программирования. В статье рассматриваются исследования, направленные на разработку средств для эффективной визуализации данных, проводится сравнение систем визуализации данных, основанных на использовании искусственного интеллекта, показаны ограничения существующих средств. Предлагаемый подход к визуализации данных основан на интеграции DSM-платформы (языкового инструментария), управляемого знаниями, и инструментов генеративного искусственного интеллекта. Предлагаемая методология разделяет задачи визуализации данных на два типа: стандартные и нестандартные. Стандартные задачи решаются с помощью генерации кода на основе подсказок в визуальной среде. Нестандартные задачи обрабатываются путем расширения существующих библиотек с помощью определяемых пользователем пакетов. Языково-ориентированный подход с использованием средств DSM эффективно объединяет обе категории: для стандартных задач пользователи работают с существующими DSL и настраивают параметры по мере необходимости, тогда как для нестандартных задач пользователи разрабатывают новые DSL с помощью языкового инструментария, автоматизирующего создание визуальных DSL и генерацию кода. Ядром языкового инструментария является многоаспектная онтология. Благодаря интеграции большой языковой модели (LLM) с фреймворком, управляемым знаниями, и многоаспектной онтологией, система обеспечивает динамические, контекстно-ориентированные рабочие процессы визуализации, которые гарантируют семантическую прослеживаемость и воспроизводимость. Онтология не только хранит описания задач визуализации данных, но и облегчает повторное использование сгенерированных скриптов, повышая тем самым адаптивность системы и способствуя совместной аналитической работе сообществ пользователей. Набор данных, содержащий записи и переменные, охватывающие различные предметные области, используется для демонстрации функциональности прототипа. В статье приведены примеры разработки нескольких вариантов визуализаций, демонстрирующие применение предлагаемого подхода. Приведённые примеры демонстрируют эффективность прототипа в создании гистограмм, точечных диаграмм и других методов визуализации и снижении технических барьеров для пользователей. В перспективе функциональность ассистента будет расширена за счёт поддержки пользовательских пакетов визуализации и дополнительного обучения LLM для решения нестандартных задач и сложных сценариев визуализации.

1. Sawicki J., Burdukiewicz M. VisQualdex: a Comprehensive Guide to Good Data Visualization. Scientific Visualization, 2023, vol. 15, no. 1, pp. 127–149. DOI: 10.26583/sv.15.1.11.

2. Qin X., Luo Y., Tang N., Li G. Making Data Visualization More Efficient and Effective: A Survey. The VLDB Journal, 2020, vol. 29, no. 1, pp. 93–117. DOI: 10.1007/s00778-019 00588-3.

3. Goldsberry K. Courtvision: New Visual and Spatial Analytics for the NBA. In Proc. of the 2012 MIT Sloan Sports Analytics Conference, 2012, pp. 12–15.

4. Singh A. Democratizing Data Visualization and Insights Extraction with Pandas, Generative AI, and CSV Data. International Journal of Scientific Research in Engineering and Management, 2024, vol. 8, no. 5, pp. 1–5. DOI: 10.55041/ijsrem33437.

5. Dzheiranian A. D., Ermakov I. D., Proskuryakov K. A., Lyadova L. N. Designing Data Visualization System Based on Language-Oriented Approach. Proceedings of the Institute for System Programming of the RAS, 2024, vol. 36, no. 2, pp. 127–140. DOI: 10.15514/ISPRAS-2024-36(2)-10.

6. Dzheiranian A. D., Ermakov I. D., Proskuryakov K. A., Lyadova L. N. Development of Data Visualization Tools Based on Domain Specific Modeling. In Proc. of the 34th International Conference on Computer Graphics and Machine Vision (GraphiCon 2024), 2024, pp. 300–314.

7. DOI: 10.25206/978-5-8149-3873-2-2024 300-314.

8. Dzheiranian A. D., Ermakov I. D., Proskuryakov K. A., Lyadova L. N. An Approach to Developing Data Visualization Tools Based on Domain Specific Modeling. Scientific Visualization, 2024, vol. 16, no. 4, pp. 82–101. DOI: 10.26583/sv.16.4.08.

9. Shakeel H. M., Iram S., Al-Aqrabi H., Alsboui T., Hill R. A Comprehensive State-of-the-Art Survey on Data Visualization Tools: Research Developments, Challenges and Future Domain Specific Visualization Framework. IEEE Access, 2022, vol. 10, pp. 96581–96601. DOI: 10.1109/ACCESS.2022.3205115.

10. Shi D., Xu X., Sun F., Shi Y., Cao N. Calliope: Automatic Visual Data Story Generation from a Spreadsheet. IEEE Transactions on Visualization and Computer Graphics, 2021, vol. 27, no. 2,

11. pp. 453–463. DOI: 10.1109/TVCG.2020.3030403.

12. Wang X., Wu Z., Huang W., Wei Y., Huang Z., Xu M., Chen W. VIS+AI: Integrating Visualization with Artificial Intelligence for Efficient Data Analysis. Frontiers of Computer Science, 2023, vol. 17, no. 6. DOI: 10.1007/s11704-023-2691-y.

13. Wu A., Wang Y., Shu X., Moritz D., Cui W., Zhang H., Zhang D., Qu H. AI4VIS: Survey on Artificial Intelligence Approaches for Data Visualization. IEEE Transactions on Visualization and Computer Graphics, 2021, vol. 28, no. 12, pp. 5049–5070. DOI: 10.1109/tvcg.2021.3099002.

14. Maddigan P., Susnjak T. Chat2VIS: Generating Data Visualisations via Natural Language using ChatGPT, Codex and GPT-3 Large Language Models. IEEE Access, 2023, vol. 11, pp. 45181–45193. DOI: 10.1109/access.2023.3274199.

15. Mallick T., Yildiz O., Lenz D., Peterka T. ChatVis: Automating Scientific Visualization with a Large Language Model. In Proc. of the SC24-W: Workshops of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2024, pp. 49–55. DOI: 10.1109/SCW63240.2024.00014.

16. Wang C., Lee B., Drucker S., Marshall D., Gao J. Data Formulator 2: Iteratively Creating Rich Visualizations with AI. arXiv preprint, 2024. arXiv: 2408.16119.

17. Hong J., Seto C., Fan A., Maciejewski R. Do LLMs Have Visualization Literacy? An Evaluation on Modified Visualizations to Test Generalization in Data Interpretation. IEEE Transactions on Visualization and Computer Graphics, 2025. DOI: 10.1109/TVCG.2025.3536358.

18. Alves T. FAIR Data: What It Is and How We Can Support Its Principles. Science Editor, 2024. DOI: 10.36591/se-4703-04.

19. Midway S. R. Principles of Effective Data Visualization. Patterns, 2020, vol. 1, no. 9. DOI: 10.1016/j.patter.2020.100141.

20. Midway S. R., Brum J. R., Robertson M. Show and Tell: Approaches for Effective Figures. Limnology and Oceanography Letters, 2023, vol. 8, no. 2, pp. 213–219. DOI: 10.1002/lol2.10288.