Исследование методов оптимизации вычислительной сложности моделей машинного обучения с использованием тензорных поездов

Рассмотрены методы оптимизации вычислительной сложности современных моделей машинного обучения, с акцентом на глубокие нейронные сети (DNN). Особое внимание уделено проблемам, связанным с экспоненциальным ростом числа параметров в нейросетевых архитектурах, которые ограничивают их практическое применение, особенно в условиях ограниченных вычислительных ресурсов. Одним из предложенных решений является использование тензорного разложения в формате Tensor Train (TT). Этот метод позволяет эффективно сжимать параметры нейронных сетей, снижая вычислительные затраты и требования к памяти при минимальной потере точности. Методы на основе Tensor Train (TT) демонстрируют высокую эффективность в задачах робототехнической оптимизации, включая инверсную кинематику и планирование движения, обеспечивая компактное представление для мультимодальных вычислений. Описаны основные математические принципы TT-разложения, его преимущества по сравнению с традиционными методами, такими как обрезка параметров (pruning), квантизация и дистилляция знаний. В статье приведены экспериментальные результаты применения TT-разложения к сверточным и полносвязным нейронным сетям, демонстрирующие значительное сокращение объема данных и ситуативное ускорение вычислений при контролируемом уровне точности.

1. Оселедец И.В. Тензорное разложение в формате поезда. М.: Наука, 2017. 320 с.

2. Иванова Н.Е., Гусев В.И. Применение тензорных разложений для сжатия весов нейронных сетей. Математическое моделирование и анализ данных, 2022, т. 33, № 5, с. 243-251. DOI: 10.1109/ICCSME.2022.0098.

3. Тонков М.А., Петров П.С., Иванов В.В. Применение тензорных разложений для оптимизации глубинных нейронных сетей. Моделирование и анализ сложных систем, 2021, т. 45, № 2, с. 79-88. DOI: 10.31261/ams.2021.45.02.079.

4. Khan S., Islam R., Cheng Y. A Comprehensive Survey of Model Compression and Acceleration for Deep Learning. Neurocomputing. 2022, vol. 511, pp. 229-261. DOI: 10.1016/j.neucom.2022.08.057.

5. Кузнецов А.В. Оптимизация вычислительных графов с использованием тензорных разложений. Программная инженерия, 2023, № 5. с. 32-40.

6. Shetty S. et al. Tensor train for global optimization problems in robotics. The International Journal of Robotics Research, 2024, vol. 43, no. 6, pp. 811-839.

7. Gorodetsky A. A., Karaman S., Marzouk Y. M. Efficient High-Dimensional Stochastic Optimal Motion Control using Tensor-Train Decomposition. Robotics: Science and Systems, 2015.

8. Shetty S., Silvério J., Calinon S. Ergodic exploration using tensor train: Applications in insertion tasks, IEEE Transactions on Robotics, 2021, vol. 38, no. 2, pp. 906-921.

9. Рыбаков А.Г. Применение тензорных разложений для сжатия данных в задачах глубокого обучения. М.: ВМК МГУ, 2020. 284 с.

10. Жданов Н.С., Лобанов В.П. Основы вычислительных методов и их применение в машинном обучении. М.: Физматлит, 2021. 240 с.

11. Günnemann S., Zhang L., Song Y. Tensor Decompositions and Low-Rank Approximations in Deep Learning. ACM Transactions on Machine Learning, 2021, vol. 4, no. 3 (27). DOI: 10.1145/3403681.

12. Vinodha, D., Mary Anita, E.A. (2023). Integrity assured multi-functional multi-application secure data aggregation in wireless sensor networks (IAMFMA-SDA). Journal of Intelligent & Fuzzy Systems, vol. 45, no. 1, pp. 1453-1472.

13. Петров Д.С., Иванов И.В. Методы оптимизации вычислительных затрат нейронных сетей. М.: Изд-во МФТИ, 2023. 250 с.

14. Коротаев В.В., Соколов А.В., Шишкин В.А. Методы оптимизации и их применение. Москва: Наука, 2015. 320 с.

15. Фролов С.В. Алгоритмы оптимизации и нейронные сети: методы и подходы. М.: Юрайт, 2022. 320 с.

16. Куликов С.Ю., Ковалев Р.Н. Тензорные разложения и их приложения в анализе данных. СПб.: БХВ-Петербург, 2020. 320 с.

17. Kotlyarov, D.V., Dyudyun, G.D., Rzhevskaya, N.V., Lapina, M.A., Babenko, M.G. Investigation of Adversarial Attacks on Pattern Recognition Neural Networks. Proceedings of the Institute for System Programming of the RAS, 35(2), pp. 35-48.

18. Смирнов И.М., Соколова А.Б. Оптимизация нейросетей и тензорные методы: Теория и практика. М.: Физматлит, 2021. 312 с.

19. Иванов Д.А., Савельев А.В. Применение тензорных разложений для ускорения нейросетевых вычислений на графических процессорах. Вестник Московского университета. Серия 19: Математика и механика, 2023, т. 78, № 1, с. 14-22. DOI: 10.1134/S0075462823010036.

20. Mary Anita, E.A., Jenefa, J., Vinodha, D., Lapina, M. (2024). An Efficient Compressive Data Collection Scheme for Wireless Sensor Networks. Lecture Notes in Networks and Systems, 1207 LNNS, pp. 31-47.

21. Михайлов П.А., Савельев И.А., Дмитриев С.С. Алгоритмы сжатия нейронных сетей с применением тензорных разложений для ускорения вычислений. Вопросы вычислительной техники и математического моделирования, 2022, т. 14, № 3, с. 45-54. DOI: 10.21121/computer.2022.14.03.045.

22. Герценштейн И.П. Тензорные разложения и их приложения в машинном обучении. М.: Наука, 2022. 400 с.

23. Han S., Pool J., Tran J., Dally W. Learning both Weights and Connections for Efficient Neural Networks. Advances in Neural Information Processing Systems, 2015, vol. 28, pp. 1135-1143. DOI: 10.1109/TNNLS.2019.2904314.

24. Козлов А.Н., Петров С.М. Применение тензорных поездов (Tensor Train) для сжатия весов нейронных сетей. Математические методы в машинном обучении, 2021, т. 19, № 3, с. 97-105.

25. Поляков А.Н., Иванов С.В. Использование тензорных разложений для уменьшения вычислительных затрат в глубоких нейронных сетях. Журнал вычислительной математики и математической физики, 2022, т. 62, № 4, с. 532-543.

26. Lapina, M., Sajid, M., Bagautdinova, A., Lapin, V., Tokmakova, M. (2024). Comparative Characteristics of the Methods of Using Digital Watermarks to Protect Text Information. In: Raza, Z., Babenko, M., Sajid, M., Lapina, M., Zolotarev, V. (eds) *AISMA-2023. Lecture Notes in Networks and Systems*, vol 1207. Springer, Cham.

27. Горшков А.М., Данилова Н.В. Тензорное разложение для оптимизации скорости обучения в нейронных сетях. Информационные системы и технологии, 2022, т. 27, № 6, с. 125-132. DOI: 10.21255/ist.2022.06.125

28. Федоров А.Ю., Михайлова О.В. Модели глубокого обучения с использованием тензорных разложений для оптимизации вычислительных затрат. Вопросы информатики и вычислительных технологий, 2021, т. 29, № 4, с. 43–51.

29. Куликов В.М., Михайлова И.В. Методы оптимизации нейронных сетей на основе сжатия параметров с использованием тензорных разложений. Вестник Сибирского государственного университета телекоммуникаций и информатики, 2021, т. 24, № 2, с. 115–124.

30. Lapina, M., Neelakandan, S., Borodulin, I., Koronskiy, A., Martemyanov, M. Research and Modification of Montgomery Multiplication Algorithm. In: Raza, Z., Babenko, M., Sajid, M., Lapina, M., Zolotarev, V. (eds) *AISMA-2023: International Workshop on Advanced Information Security Management and Applications. AISMA 2023. Lecture Notes in Networks and Systems*, vol 1207. Springer, Cham.

31. Тимофеев В.В., Артемьева Н.В. Тензорные разложения в контексте сжатия нейронных сетей и оптимизации их вычислительных характеристик. Вестник ВГУ. Серия "Информатика и вычислительная техника", 2023, т. 47, № 2, с. 78-85. DOI: 10.17344/vvgu.2023.02.078.

32. Петров Д.А., Смирнов И.П. Тензорные методы сжатия глубоких нейронных сетей. Информационные технологии, 2022, т. 28, № 4, с. 210-219.

33. Novikov A. et al. Tensorizing neural networks. Advances in neural information processing systems, 2015, vol. 28.

34. Novikov A. et al. Tensor train decomposition on tensorflow (t3f). Journal of Machine Learning Research, 2020, vol. 21, no. 30, pp. 1-7.