Создание распределенных искусственных нейронных сетей на основе ортогональных преобразований

В статье рассматривается вопрос разделения входной информации искусственных нейронных сетей на модули с помощью ортогональных преобразований. Благодаря такому разделению становится возможным модульная организация нейронных сетей с разделением слоев, что, в свою очередь, позволяет использовать предлагаемый подход для организации распределенных вычислений. Такой подход требуется при организации работы нейронных сетей в среде туманных и периферийных вычислений, организации высокопроизводительных вычислений на множестве вычислительных узлов невысокой производительности. Теоретически обоснована возможность поперечнослойного разделения искусственных нейронных сетей с помощью ортогональных преобразований и приведены примеры практической реализации такого подхода. Проведено сравнение характеристик модульных нейронных сетей с применением различных видов ортогональных преобразований, в том числе с помощью вейвлет-преобразования Хаара.

1. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения, Докл. АН СССР, 1957, том 114, номер 5, с. 953–956 / Kolmogorov A. N. On the representation of continuous functions of several variables as superpositions of continuous functions of one variable and addition. Reports of the Academy of Sciences, 1957, vol. 5, pp. 953-956 (In Russian).

2. Арнольд В. И. О представлении функций нескольких переменных в виде суперпозиции функций меньшего числа переменных. Мат. Просвещение, 1958, Вып. 3, с. 41-61 / Arnol'd V. I. On the representation of functions of several variables as a superposition of functions of a smaller number of variables. Mathematical education, 1958, vol. 3, pp. 41-61 (In Russian).

3. Горбань А. Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей, Сиб. журн. вычисл. матем., 1998, 1:1, c. 11-24 / Gorban' A. N. Generalised approximation theorem and computational capabilities of neural networks. Siberian Journal of Computational Mathematics, 1998, vol. 1, pp. 11-24 (In Russian).

4. Мак-Каллок У., Питтс У. Логическое исчисление идей, относящихся к нервной активности. Автоматы. М.: Изд. иностр. лит., 1956, вып. 5, с. 115-133 / McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 1943, vol. 5, issue.4, pp. 115-133.

5. Hecht-Nielsen R. Neurocomputing. Addison-Wesley, 1989.

6. Кирсанова А.А., Радченко Г.И., Черных А.Н. Обзор технологий организации туманных вычислений. Вестник ЮУрГУ. Серия: Вычислительная математика и информатика, 2020, т. 9, № 3. с. 35–63. doi: 10.14529/cmse200303. / Kirsanova A.A., Radchenko G.I., Chernykh A.N. Review of technologies of fog computing organization. Bulletin of the South Ural State University, 2020, vol. 9, no. 3, pp. 35-63, doi: 10.14529/cmse200303 (In Russian).

7. Mao, J., Chen, X., Nixon, K.W., Krieger, C., Chen. MoDNN: Local distributed mobile computing system for deep neural network. Design, Automation & Test in Europe Conference & Exhibition (DATE), 2017, Lausanne, Switzerland, 2017, pp. 1396-1401, doi: 10.23919/DATE.2017.7927211.

8. Бахтин В.В. Алгоритм разделения монолитной нейронной сети для реализации туманных вычислений в устройствах на программируемой логике. Вестник ПНИПУ. Серия: Электротехника, информационные технологии, системы управления, 2022, № 41, c. 123-145. doi: 10.15593/2224-9397/2022.1.06 / Bakhtin V.V. Algoritm razdeleniya monolitnoj nejronnoj seti dlya realizacii tumannyh vychislenij v ustrojstvah na programmiruemoj logike [Separation algorithm of the monolithic neural network for realization of fog computing in devices on programmable logic], Vestnik PNIPU. Elektrotekhnika, informacionnye tekhnologii, sistemy upravleniya [Bulletin of PNIPU. Series: Electrical engineering, information technologies, control systems, 2022, vol. 41, pp. 123-145, doi: 10.15593/2224-9397/2022.1.06 (In Russian).

9. Ushakov Y.A., Polezhaev P.N., Shukhman A.E., Ushakova M.V. Distribution of the neural network between mobile device and cloud infrastructure services. Research and development in the field of new IT and their applications, 2018, vol. 14, no.4. pp. 903-910, doi: 10.25559/SITITO.14.201804.903-910.

10. Ахмед Н., Рао К.Р. Ортогональные преобразования при обработке цифровых сигналов: Пер. с англ. Под ред. И.Б. Фоменко. М.: Связь, 1980 / Ahmed N., Rao K.R. Orthogonal transforms for digital signal processing. Moscow, Svjaz' publ., 1980. (In Russian).

11. А.В. Солодов. Теория информации и ее применение к задачам автоматического управления и контроля. – М.: Издательство «Наука» Главная редакция физико-математической литературы, 1967 / Solodov A.V. Information theory and its application to the tasks of automatic control and monitoring. Publishing house "Science", 1967 (In Russian).

12. Burges C.J.C. Dimension reduction: A guided tour. Foundetions and Trends in Machine Learning, 2010, vol.2, no. 4, pp. 275-365, DOI: 10.1561/2200000002.

13. Ерохин С.Д., Борисенко Б.Б., Мартишин И.Д., Фадеев А.С. Анализ существующих методов снижения размерности входных данных. // T-Comm: Телекоммуникации и транспорт. 2022. том 16. № 1. с. 30-37 / Erohin S.D., Borisenko B.B., Martishin I.D., Fadeev A.S. Analysis of existing methods to reduce the dimensionality of input data. T-Comm: Telecommunications and Transport, 2022, vol. 16, no. 1. pp. 30-37 (In Russian).

14. Jolliffe I.T. Principal component analisis // Second Edition, Springer, 2007, 487 p.

15. Mardia K.V., Kent J.T., Bibby J.M. Multivariate analysis (Probability and mathematical statistics). Academic Press Limited, 1995, 521 p.

16. Stewart G.W. On the early history on the singular value decomposition. SIAM Review, 1993, vol. 35, no. 4, pp. 551-566. DOI: 10.1137//1035134.

17. Van Der Maaten L., Postm, E. O., Van den Herik H. J. Dimensionality reduction: A comparative review. Journal of Machine Learning Research, 2009, vol. 10, 13 p.

18. Hyvarinen A., Karhunen J., Oja E. Independent component analysis. John Wiley and Sons, 2001, 504 p.

19. Snasel V., Horak Z., Kocibova J., Abraham A. Reducing social network dimensions using matrix factorization analysis. Proceedings of the 2009 International Conference on Advances in Social Network Analysis and Mining, 2009, pp. 348-351. DOI: 10.1109/ASONAM.2009.48

20. Джерри А. Дж. Теория отсчетов Шеннона, ее различные приложения и обобщения. Обзор. ТИИЭР, 1977, т.65, № 11, с.53 - 89. / Jerry A. J. Shannon's reference theory, its various applications and generalisations. Review TIIER, 1977, vol. 65, no. 11, pp. 53-89 (In Russian).

21. Дедус Ф.Ф., Куликова Л.И., Панкратов А.Н., Тетуев Р.К. Классические ортогональные базисы в задачах аналитического описания и обработки информационных сигналов: учеб. пособие к спецкурсу. Фак. вычисл. математики и кибернетики (МГУ, ВМК). М.: Издат. отд. Фак. вычисл. математики и кибернетики МГУ им. М.В. Ломоносова, 2004, c. 168 / Dedus F.F., Kulikova L.I., Pankratov A.N., Tetuev R.K. Classical orthogonal bases in problems of analytical description and processing of information signals. FCMIC OF MSU, 2004, 168 p. (In Russian).

22. Зорич В. А. Математический анализ: Учебник. Ч. II. М.: Наука Главная редакция физико-математической литературы, 1984. / Zorich V. A. Mathematical analysis. Nauka Publishing House, Main Editorial Office of Physical and Mathematical Literature, 1984, pp. 637 (In Russian).

23. Vershkov N.A., Kuchukov, V.A., Kuchukova, N.N., Babenko M., The Wave Model of Artificial Neural Network. Proceedings of the 2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, EIConRus, 2020, pp. 542-547, DOI: 10.1109/EIConRus49466.2020.9039172

24. Vershkov, N., Babenko, M., Tchernykh, A., Kuchukov, V., Kucherov, N., Kuchukova, N., Drozdov, A. Y. Optimization of Artificial Neural Networks using Wavelet Transforms. Programming and Computer Software, vol. 48, no. 6, pp. 376-384, https://doi.org/10.1134/S036176882206007X

25. Смоленцев Н.К. Основы теории вейвлетов. Вейвлеты в MATLAB. М.: ДМК Пресс, 2019 / Smolencev N.K. Fundamentals of wavelet theory. Wavelets in MATLAB. DMK Press, 2019. (In Russian).

26. Haar A. Zur theorie der orthogonalen funktionensysteme. Georg-August-Universitat, Gottingen, 1909.

27. Vershkov N.A., Babenko M.G., Kuchukova N.N., Kuchukov V.A., Kucherov N.N. Transverse-layer partitioning of artificial neural networks for image classification. Computer Optics, 2024, vol. 48, no. 2, pp. 312-320. DOI: 10.18287/2412-6179-CO-1278.

28. PyTorch. Source: https://pytorch.org/

29. PyWavelets. Source: https://pypi.org/project/PyWavelets/

30. Qiao Y. THE MNIST DATABASE of handwritten digits. 2007. Source: http://www.gavo.t.utokyo.ac.jp/qiao/database.html.