Теоретический подход к поиску глобального экстремума при обучении нейронных сетей
https://doi.org/10.15514/ISPRAS-2019-31(2)-4
Аннотация
В статье рассматривается вопрос поиска глобального экстремума при обучении искусственных нейронных сетей с помощью корреляционного показателя. Предложенный метод базируется на математической модели искусственной нейронной сети, представленной в виде системы передачи информации. Эффективность предлагаемой модели подтверждается широким применением ее в системах передачи информации для анализа и восстановления полезного сигнала на фоне различных помех: гауссовых, сосредоточенных, импульсных и т.п. Проводится анализ сходимости обучающей и полученной экспериментально последовательностей на основе корреляционного показателя. Подтверждается возможность оценки сходимости обучающей и экспериментально полученной последовательностей на основе взаимно-корреляционной функции как мере их энергетической схожести (различия). Для оценки предложенного метода проводится сравнительный анализ с используемыми в настоящее время целевыми показателями. Исследуются возможные источники ошибок метода наименьших квадратов и возможности предлагаемого показателя по их преодолению.
При поддержке: Стипендия Президента РФ молодым ученым и аспирантам СП-2236.2018
Об авторах
Николай Анатольевич Вершков
Ставропольский краевой институт развития образования, повышения квалификации и переподготовки работников образования
Россия
Россия
Виктор Андреевич Кучуков
Северо-Кавказский федеральный университет
Россия
Россия
Наталья Николаевна Кучукова
Северо-Кавказский федеральный университет
Россия
Россия
Список литературы
1. . Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения. Доклады Академии наук, Российская академия наук, том 114, № 5, 1957 г., стр. 953-956.
2. . Арнольд В.И. О представлении функций нескольких переменных в виде суперпозиции функций меньшего числа переменных. Математическое просвещение, вып. 3, 1958 г., стр. 41—61.
3. . Hecht-Nielsen R. Neurocomputing: picking the human brain. IEEE spectrum, vol. 25, no. 3, 1988, pp. 36-41
4. . Дзядык В.К. Введение в теорию равномерного приближения функций полиномами. Наука, 1977.
5. . Hebb D. O. The organization of behavior. New York: Wiley, 1949.
6. . Hinton G.E. Training products of experts by minimizing contrastive divergence. Neural computation, vol. 14, no. 8, 2002, pp. 1771-1800.
7. . Sreenivasulu D., Krishna P.V. Deep Learning Based Efficient Channel Allocation Algorithm for Next Generation Cellular Networks. Programming and Computer Software, vol. 44, no. 6, 2018, 428-434.
8. . Hinton,G.E. Learning multiple layers of representation. Trends in cognitive sciences, vol. 11, no. 10) 2007, pp. 428-434.
9. . Николенко С.И., Кадурин А.А., Архангельская Е.О. Глубокое обучение. Питер, 2018, 480 с.
10. . Шеннон К. Работы по теории информации и кибернетике. Издательство иностранной литературы, 1963.
11. . Сикарев А.А., Лебедев О.Н. Микроэлектронные устройства формирования и обработки сложных сигналов. Радио и связь, 1983.
12. . Widrow B. Adaptive sampled-data systems—a statistical theory of adaptation. IRE Wescon Convention Record, vol. 4, 1959, pp. 74-85.
13. . Айфичер Э.С., Джервис Б.У. Цифровая обработка сигналов: практический подход, 2-е издание. Издательский дом «Вильямс», 2008 г., 992 с.
14. . Dorogov A.Y. Implementation of spectral transformations in the class of fast neural networks. Programming and Computer Software, vol. 29, no. 4, 2003, pp.187-198.
15. . Хайкин С. Нейронные сети: полный курс, 2-е издание. Издательский дом Вильямс, 2006 г., 1104 с.
16. . Adjemov S.S., Klenov N.V., Tereshonok M.V., Chirov D.S. The use of artificial neural networks for classification of signal sources in cognitive radio systems. Programming and Computer Software, vol. 42, no. 3, 2016, pp 121–128.
17. . Солодов А.В. Теория информации и ее применение к задачам автоматического управления и контроля. Наука, глав. ред. физико-математической литературы, 1967 г.
18. . Линник Ю. В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. Государственное изд-во физико-математической литературы, 1958 г.
Рецензия
Для цитирования:
Вершков Н.А., Кучуков В.А., Кучукова Н.Н. Теоретический подход к поиску глобального экстремума при обучении нейронных сетей. Труды Института системного программирования РАН. 2019;31(2):41-52. https://doi.org/10.15514/ISPRAS-2019-31(2)-4
For citation:
Vershkov N.A., Kuchukov V.A., Kuchukova N.N. The Theoretical Approach to the Search for a Global Extremum in the Training of Neural Networks. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2019;31(2):41-52. (In Russ.) https://doi.org/10.15514/ISPRAS-2019-31(2)-4
Послать статью по эл. почте 