Research into Methods for Optimizing the Computational Complexity of Machine Learning Models Using Tensor Trains

Methods for optimizing the computational complexity of modern machine learning models are considered, with a focus on deep neural networks (DNNs). Particular attention is paid to problems associated with the exponential growth of the number of parameters in neural network architectures, which limit their practical application, especially in conditions of limited computational resources. One of the proposed solutions is the use of tensor decomposition in the Tensor Train (TT) format. This method allows for the effective compression of neural network parameters, reducing computational costs and memory requirements with minimal loss of accuracy. Tensor Train (TT)-based methods demonstrate high efficiency in robotic optimization problems, including inverse kinematics and motion planning, by providing a compact representation that enables efficient multimodal computations. The main mathematical principles of TT decomposition are described, along with its advantages over traditional methods such as pruning, quantisation, and knowledge distillation. The article presents experimental results of applying TT decomposition to convolutional and fully connected neural networks, demonstrating a significant reduction in data volume and acceleration of computations with a controlled level of accuracy.

1. Оселедец И.В. Тензорное разложение в формате поезда. М.: Наука, 2017. 320 с.

2. Иванова Н.Е., Гусев В.И. Применение тензорных разложений для сжатия весов нейронных сетей. Математическое моделирование и анализ данных, 2022, т. 33, № 5, с. 243-251. DOI: 10.1109/ICCSME.2022.0098.

3. Тонков М.А., Петров П.С., Иванов В.В. Применение тензорных разложений для оптимизации глубинных нейронных сетей. Моделирование и анализ сложных систем, 2021, т. 45, № 2, с. 79-88. DOI: 10.31261/ams.2021.45.02.079.

4. Khan S., Islam R., Cheng Y. A Comprehensive Survey of Model Compression and Acceleration for Deep Learning. Neurocomputing. 2022, vol. 511, pp. 229-261. DOI: 10.1016/j.neucom.2022.08.057.

5. Кузнецов А.В. Оптимизация вычислительных графов с использованием тензорных разложений. Программная инженерия, 2023, № 5. с. 32-40.

6. Shetty S. et al. Tensor train for global optimization problems in robotics. The International Journal of Robotics Research, 2024, vol. 43, no. 6, pp. 811-839.

7. Gorodetsky A. A., Karaman S., Marzouk Y. M. Efficient High-Dimensional Stochastic Optimal Motion Control using Tensor-Train Decomposition. Robotics: Science and Systems, 2015.

8. Shetty S., Silvério J., Calinon S. Ergodic exploration using tensor train: Applications in insertion tasks, IEEE Transactions on Robotics, 2021, vol. 38, no. 2, pp. 906-921.

9. Рыбаков А.Г. Применение тензорных разложений для сжатия данных в задачах глубокого обучения. М.: ВМК МГУ, 2020. 284 с.

10. Жданов Н.С., Лобанов В.П. Основы вычислительных методов и их применение в машинном обучении. М.: Физматлит, 2021. 240 с.

11. Günnemann S., Zhang L., Song Y. Tensor Decompositions and Low-Rank Approximations in Deep Learning. ACM Transactions on Machine Learning, 2021, vol. 4, no. 3 (27). DOI: 10.1145/3403681.

12. Vinodha, D., Mary Anita, E.A. (2023). Integrity assured multi-functional multi-application secure data aggregation in wireless sensor networks (IAMFMA-SDA). Journal of Intelligent & Fuzzy Systems, vol. 45, no. 1, pp. 1453-1472.

13. Петров Д.С., Иванов И.В. Методы оптимизации вычислительных затрат нейронных сетей. М.: Изд-во МФТИ, 2023. 250 с.

14. Коротаев В.В., Соколов А.В., Шишкин В.А. Методы оптимизации и их применение. Москва: Наука, 2015. 320 с.

15. Фролов С.В. Алгоритмы оптимизации и нейронные сети: методы и подходы. М.: Юрайт, 2022. 320 с.

16. Куликов С.Ю., Ковалев Р.Н. Тензорные разложения и их приложения в анализе данных. СПб.: БХВ-Петербург, 2020. 320 с.

17. Kotlyarov, D.V., Dyudyun, G.D., Rzhevskaya, N.V., Lapina, M.A., Babenko, M.G. Investigation of Adversarial Attacks on Pattern Recognition Neural Networks. Proceedings of the Institute for System Programming of the RAS, 35(2), pp. 35-48.

18. Смирнов И.М., Соколова А.Б. Оптимизация нейросетей и тензорные методы: Теория и практика. М.: Физматлит, 2021. 312 с.

19. Иванов Д.А., Савельев А.В. Применение тензорных разложений для ускорения нейросетевых вычислений на графических процессорах. Вестник Московского университета. Серия 19: Математика и механика, 2023, т. 78, № 1, с. 14-22. DOI: 10.1134/S0075462823010036.

20. Mary Anita, E.A., Jenefa, J., Vinodha, D., Lapina, M. (2024). An Efficient Compressive Data Collection Scheme for Wireless Sensor Networks. Lecture Notes in Networks and Systems, 1207 LNNS, pp. 31-47.

21. Михайлов П.А., Савельев И.А., Дмитриев С.С. Алгоритмы сжатия нейронных сетей с применением тензорных разложений для ускорения вычислений. Вопросы вычислительной техники и математического моделирования, 2022, т. 14, № 3, с. 45-54. DOI: 10.21121/computer.2022.14.03.045.

22. Герценштейн И.П. Тензорные разложения и их приложения в машинном обучении. М.: Наука, 2022. 400 с.

23. Han S., Pool J., Tran J., Dally W. Learning both Weights and Connections for Efficient Neural Networks. Advances in Neural Information Processing Systems, 2015, vol. 28, pp. 1135-1143. DOI: 10.1109/TNNLS.2019.2904314.

24. Козлов А.Н., Петров С.М. Применение тензорных поездов (Tensor Train) для сжатия весов нейронных сетей. Математические методы в машинном обучении, 2021, т. 19, № 3, с. 97-105.

25. Поляков А.Н., Иванов С.В. Использование тензорных разложений для уменьшения вычислительных затрат в глубоких нейронных сетях. Журнал вычислительной математики и математической физики, 2022, т. 62, № 4, с. 532-543.

26. Lapina, M., Sajid, M., Bagautdinova, A., Lapin, V., Tokmakova, M. (2024). Comparative Characteristics of the Methods of Using Digital Watermarks to Protect Text Information. In: Raza, Z., Babenko, M., Sajid, M., Lapina, M., Zolotarev, V. (eds) *AISMA-2023. Lecture Notes in Networks and Systems*, vol 1207. Springer, Cham.

27. Горшков А.М., Данилова Н.В. Тензорное разложение для оптимизации скорости обучения в нейронных сетях. Информационные системы и технологии, 2022, т. 27, № 6, с. 125-132. DOI: 10.21255/ist.2022.06.125

28. Федоров А.Ю., Михайлова О.В. Модели глубокого обучения с использованием тензорных разложений для оптимизации вычислительных затрат. Вопросы информатики и вычислительных технологий, 2021, т. 29, № 4, с. 43–51.

29. Куликов В.М., Михайлова И.В. Методы оптимизации нейронных сетей на основе сжатия параметров с использованием тензорных разложений. Вестник Сибирского государственного университета телекоммуникаций и информатики, 2021, т. 24, № 2, с. 115–124.

30. Lapina, M., Neelakandan, S., Borodulin, I., Koronskiy, A., Martemyanov, M. Research and Modification of Montgomery Multiplication Algorithm. In: Raza, Z., Babenko, M., Sajid, M., Lapina, M., Zolotarev, V. (eds) *AISMA-2023: International Workshop on Advanced Information Security Management and Applications. AISMA 2023. Lecture Notes in Networks and Systems*, vol 1207. Springer, Cham.

31. Тимофеев В.В., Артемьева Н.В. Тензорные разложения в контексте сжатия нейронных сетей и оптимизации их вычислительных характеристик. Вестник ВГУ. Серия "Информатика и вычислительная техника", 2023, т. 47, № 2, с. 78-85. DOI: 10.17344/vvgu.2023.02.078.

32. Петров Д.А., Смирнов И.П. Тензорные методы сжатия глубоких нейронных сетей. Информационные технологии, 2022, т. 28, № 4, с. 210-219.

33. Novikov A. et al. Tensorizing neural networks. Advances in neural information processing systems, 2015, vol. 28.

34. Novikov A. et al. Tensor train decomposition on tensorflow (t3f). Journal of Machine Learning Research, 2020, vol. 21, no. 30, pp. 1-7.