Preview

Труды Института системного программирования РАН

Расширенный поиск

Регуляризация Байеса при подборе весовых коэффициентов в ансамблях предикторов

https://doi.org/10.15514/ISPRAS-2019-31(4)-7

Полный текст:

Аннотация

В статье рассматривается задача обучения с учителем: требуется восстановить зависимость, отображающую векторное множество в скалярное по конечному набору примеров такого отображения – обучающей выборке. Данная задача относится к классу обратных задач, и, как и большинство обратных задач, является математически некорректной. Это выражается в том, что если строить решение методом наименьших квадратов по точкам обучающей выборки, то можно столкнуться с переобучением – ситуацией, когда модель хорошо описывает обучающее множество, но дает большую ошибку на тестовом. Нами применяется подход, когда решение ищется в виде ансамбля предиктивных моделей. Ансамбли строятся с использованием метода бэггинга. В качестве базовых обучаемых моделей в работе используются персептроны и деревья решений. Конечное решение получается путем взвешенного голосования предикторов. Весовые коэффициенты подбираются путем минимизации ошибки ансамбля на обучающей выборке. Для борьбы с переобучением при подборе весовых коэффициентов применяется байесовская регуляризация решения. Чтобы подобрать параметры регуляризации, в работе предложено использовать метод ортогонализованных базисных функций, который позволяет получить их оптимальные значения без использования ресурсоемких итерационных процедур.

Об авторе

Антон Сергеевич Нужный
Институт проблем безопасного развития атомной энергетики РАН
Россия
Кандидат физико-математических наук, научный сотрудник


Список литературы

1. H.Zhu, R.Rohwer. No free lunch for cross-validation. Neural Computation, vol. 8, issue 7, 1996, pp. 1421-1426.

2. David J. C. MacKay. Bayesian Interpolation. Neural Computation, vol. 4, issue 3, 1992, pp. 415-447.

3. Breiman L. Bagging predictors. Machine Learning, vol. 24, no. 2, 1996, pp. 123–140.

4. А.С. Нужный, С.А. Шумский. Регуляризация Байеса в задаче аппроксимации функции многих переменных. Математическое моделирование, 2003, том 15, №9, стр. 55-63 / A.S. Nuzhny, S.A. Shumsky. The Вayes regularization in the problem of function of many variables approximation. Matematical Modeling, vol. 15, no. 9, pp. 2003, pp. 55–63 (in Russian).

5. A.S. Nuzhny. Bayesian regularization in the problem of point-by-point function approximation using orthogonalized basis. Mathematical Models and Computer Simulations, vol. 4, issue 2, 2012, pp. 203-209.

6. Simon Haykin. Neural Networks: A Comprehensive Foundation (2nd Edition). Prentice Hall, 1998, 842 p.

7. Breiman L., Friedman J.H., Stone C.J. , Olshen R.A. Classification and regression trees. Chapman and Hall/CRC, 1984, 368 p.

8. Breiman Leo. Random Forests. Machine Learning, vol. 45, no. 1, (2001, pp. 5—32.

9. Harrison D. and Rubinfeld D.L. Hedonic prices and the demand for clean air. Journal of Environmental Economics and Management, vol. 5, no. 1, 1978, pp. 81-102.


Для цитирования:


Нужный А.С. Регуляризация Байеса при подборе весовых коэффициентов в ансамблях предикторов. Труды Института системного программирования РАН. 2019;31(4):113-120. https://doi.org/10.15514/ISPRAS-2019-31(4)-7

For citation:


Nuzhny A.S. Bayes regularization in the selection of weight coefficients in the predictor ensembles. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2019;31(4):113-120. (In Russ.) https://doi.org/10.15514/ISPRAS-2019-31(4)-7

Просмотров: 62


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2079-8156 (Print)
ISSN 2220-6426 (Online)