Оценка неопределенности в задаче регрессии при байесовской регуляризации решения

Рассматривается проблема оценки неопределенности в задаче регрессии. Решение задачи регрессии в данной работе ищется в виде ряда из базисных функций. Коэффициенты при базисных функциях подбираются путем минимизации суммы среднеквадратичной ошибки аппроксимации искомой функцией данных обучающего множества и регуляризационного слагаемого, смысл которого в наложении ограничений на множество решений. Добавление регуляризационного слагаемого – один из способов борьбы с математической некорректностью задачи. Регуляризационное слагаемое состоит из штрафного функционала и регуляризационного множителя, который является дополнительным параметром регрессионной модели. Байесовский подход к оценке оптимального значения регуляризационного множителя дает возможность получить его непосредственно из данных, как наиболее правдоподобное. Выбор регрессионной модели в виде ряда базисных функций из заданного набора позволяет сократить высокую вычислительную стоимость байесовского подхода за счет замены итерационной процедуры, используемой для модели общего вида, аналитическими выражениями. В процессе поиска регуляризационного множителя байесовский подход вычисляет оценку неопределенности получаемого решения. Корректность данной оценки является предметом текущего исследования. Предложенный подход к оценке неопределенности тестируется на модельных данных, зашумленных искусственным шумом. Показывается, что полученная предлагаемым методом оценка величины шума, дает хорошее совпадение со значением, заданным при генерации данных. Точность предлагаемого метода превзошла на модельных примерах точность используемого для оценки неопределенности набора данных Гамма-теста.

1. Нужный А.С. Регуляризация Байеса при подборе весовых коэффициентов в ансамблях предикторов. Труды ИСП РАН, том 31, вып. 4, 2019 г., стр. 113-120. DOI: 10.15514/ISPRAS2019-31(4)-7 / Nuzhny A.S. Bayes regularization in the selection of weight coefficients in the predictor ensembles. Trudy ISP RAN/Proc. ISP RAS, vol. 31, issue 4, 2019. pp. 113-120 (in Russian). DOI: 10.15514/ISPRAS-2019-31(4)-7

2. Antonia J. Jones, Dafydd Evans, Steve Margetts, Peter M. Durrant. The Gamma Test. Chapter IX in Heuristic and Optimization for Knowledge Discovery. Edited by by Ruhul Sarker, Hussein Abbass and Charles Newton. Idea Group Publishing, Hershey, PA. 2002.

3. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение / пер. с анг. А. А. Слинкина. – 2-е изд., испр. – М.: ДМК, Пресс, 2018., 652c. / Ian Goodfellow, Yoshua Bengio, and Aaron Courville: Deep learning: The MIT Press, 2016, 800 pp, ISBN: 0262035618

4. Friedman J.H. Greedy function approximation: a gradient boosting machine // The Annals of Statistics. – 2001. – Vol. 29, no. 5. – P. 1189–1232.

5. Hastie, T., Tibshirani R., Friedman J. Chapter 15. Random Forests // The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2nd ed. — Springer-Verlag, 2009. — 746 p.

6. В. В. Демьянов, Е. А. Савельева, ГЕОСТАТИСТИКА теория и практика, Москва, Наука, 2010, 227c. / V.V. Demyanov, E.A. Saveleva, GEOSTATISTICS theory and practice, Moscow, Nauka, 2010, 227p (in Russian)

7. Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.

8. Z. Chen, B. Wang, How priors of initial hyperparameters affect Gaussian process regression models, Neurocomputing 275 (2018) 1702–1710.

9. А.Н. Тихонов, В.Я. Арсенин. Методы решения некорректных задач. Изд. 2-е. – М.: Наука, 1979, 285c. / A.N. Tichonov, V.Ya. Arsenin. The methods for solving ill-passed problems, Moscow, Nauka, 1979, 285p. (in Rassian)

10. А.С. Нужный. Байесовский подход к регуляризации задачи обучения сети функций радиального базиса // Искусственный интеллект и принятие решений, 2015, №2, cc. 18-24. / A.S. Nuzhny, Bayesian approach to regularization for training task of radial basic function network // Artificial intelligent and decision making, 2015, №2, pp. 18-24. (in Russian)

11. D. MacKay. Bayesian interpolation // Neural Computation, 1992, v.4, p.415–447.