Устойчивая сходимость поверхности функции потерь через усреднение по распределению

Понимание того, как ландшафт функции потерь нейронной сети изменяется при увеличении размера обучающего набора, имеет ключевое значение для определения достаточного объема данных. Ранее этот вопрос в основном рассматривался локально – через разложение второго порядка в окрестности одной точки минимума и анализ сходимости на основе свойств матрицы Гессе. Подобные исследования позволяют оценить скорость сходимости, но дают лишь точечное представление о ней. В настоящей работе предлагается подход к оцениванию сходимости поверхности через усреднение по распределению. Рассматриваются гауссовские распределения, центрированные в локальных минимумах, применяется метод Монте-Карло для практической оценки сходимости. Теоретические результаты показывают, что сходимость в среднем по распределению имеет тот же асимптотический порядок, что и локальная, но дает более надежное представление о стабильности. Экспериментальные результаты на задачах классификации изображений подтверждают эти выводы и демонстрируют, как архитектурные решения – такие как нормализация, dropout и глубина сети – влияют на процесс сходимости. Таким образом, результаты данной работы обобщают методы локального анализа сходимости, обеспечивая более сильные гарантии и практические инструменты для оценки достаточности обучающего набора.

1. Neyshabur B., Bhojanapalli S., McAllester D., Srebro N. Exploring generalization in deep learning. Advances in Neural Information Processing Systems, vol. 30, 2017.

2. Fort S., Ganguli S. Emergent properties of the local geometry of neural loss landscapes. arXiv preprint arXiv:1910.05929, 2019.

3. Hochreiter S., Schmidhuber J. Flat minima. Neural Computation, 1997, vol. 9, pp. 1-42.

4. Sagun L., Evci U., Guney V. U., Dauphin Y., Bottou L. Empirical analysis of the Hessian of over-parametrized neural networks. arXiv preprint arXiv:1706.04454, 2017.

5. Ghorbani B., Krishnan S., Xiao Y. An investigation into neural net optimization via Hessian eigenvalue density. In Proc. International Conference on Machine Learning (ICML). PMLR, 2019, pp. 2232-2241.

6. Kiselev N. S., Grabovoy A. V. Unraveling the Hessian: A key to smooth convergence in loss function landscapes. Doklady Mathematics, 2024, vol. 110, no. 1, pp. S49-S61. DOI: 10.1134/S1064562424060045.

7. Choromanska A., Henaff M., Mathieu M., Ben Arous G., LeCun Y. The loss surfaces of multilayer networks. In Proc. Artificial Intelligence and Statistics (AISTATS) . PMLR, 2015, pp. 192-204.

8. Garipov T., Izmailov P., Podoprikhin D., Vetrov D.P., Wilson A.G. Loss surfaces, mode connectivity, and fast ensembling of DNNs. Advances in Neural Information Processing Systems, 2018, vol. 31.

9. Draxler F., Veschgini K., Salmhofer M., Hamprecht F. Essentially no barriers in neural network energy landscape. In Proc. International Conference on Machine Learning (ICML), PMLR, 2018, pp. 1309-1318.

10. Nguyen Q., Hein M. The loss surface of deep and wide neural networks. In Proc. International Conference on Machine Learning (ICML), PMLR, 2017, pp. 2603-2612.

11. Dinh L., Pascanu R., Bengio S., Bengio Y. Sharp minima can generalize for deep nets. In Proc. International Conference on Machine Learning (ICML), PMLR, 2017, pp. 1019–1028.

12. Li H., Xu Z., Taylor G., Studer C., Goldstein T. Visualizing the loss landscape of neural nets. Advances in Neural Information Processing Systems, vol. 31, 2018.

13. Singh S.P., Lucchi A., Hofmann T., Schölkopf B. Phenomenology of Double Descent in Finite-Width Neural Networks. In Proc. 10th International Conference on Learning Representations (ICLR 2022), April 25-29, 2022.

14. Wang L., Roberts S. The instabilities of large learning rate training: a loss landscape view. arXiv preprint arXiv:2307.11948, 2023.

15. Chen X., Hsieh Ch.-J., Gong B. When Vision Transformers Outperform ResNets without Pre-training or Strong Data Augmentations. In Proc. 10th International Conference on Learning Representations, ICLR 2022.

16. Lee Y., Willette J.R., Kim J., Hwang S.J. Visualizing the Loss Landscape of Self-Supervised Vision Transformer. In Proc. NeurIPS 2023 Workshop on Self-Supervised Learning: Theory and Practice (SSL-NeurIPS 2023), December 2023.

17. Papyan V. The full spectrum of DeepNet Hessians at scale: Dynamics with SGD training and sample size. arXiv preprint arXiv:1811.07062, 2018.

18. Papyan V. Traces of class/cross-class structure pervade deep learning spectra. Journal of Machine Learning Research, vol. 21(252), pp. 1–64, 2020.

19. Papyan V. Measurements of Three-Level Hierarchical Structure in the Outliers in the Spectrum of DeepNet Hessians. In Proc. 36th International Conference on Machine Learning (ICML 2019), Long Beach, California, USA. Proceedings of Machine Learning Research, 2019, vol. 97, pp. 5012-5021.

20. Pennington J., Schoenholz S., Ganguli S. Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice. Advances in Neural Information Processing Systems, 2017, vol. 30.

21. Xie Z., Tang Q.-Y., Cai Y., Sun M., Li P. On the power-law Hessian spectrums in deep learning. arXiv preprint arXiv:2201.13011, 2022.

22. Liao Z., Mahoney M. W. Hessian eigenspectra of more realistic nonlinear models. Advances in Neural Information Processing Systems, 2021, vol. 34, pp. 20104–20117.

23. Wu Y., Zhu X., Wu C., Wang A., Ge R. Dissecting Hessian: Understanding common structure of Hessian in neural networks. arXiv preprint arXiv:2010.04261, 2020.

24. Singh S. P., Bachmann G., Hofmann T. Analytic insights into structure and rank of neural network Hessian maps. Advances in Neural Information Processing Systems, 2021, vol. 34, pp. 23914-23927.

25. Singh S. P., Hofmann T., Schölkopf B. The Hessian Perspective into the Nature of Convolutional Neural Networks. In Proc. 40th International Conference on Machine Learning (ICML 2023), PMLR Vol. 202, pp. 31930-31968, 2023.

26. Ju H., Li D., Zhang H. R. Robust fine-tuning of deep neural networks with Hessian-based generalization guarantees. In Proc. International Conference on Machine Learning (ICML), PMLR, 2022, pp. 10431-10461.

27. Nguyen V.-A., Tran Q., Truong T., Do T.-T., Phung D., Le T. Agnostic sharpness-aware minimization. arXiv preprint arXiv:2406.07107, 2024.

28. MacDonald L. E., Valmadre J., Lucey S. On progressive sharpening, flat minima and generalisation. arXiv preprint arXiv:2305.14683, 2023.

29. Meshkov V., Kiselev N. S., Grabovoy A. V. ConvNets landscape convergence: Hessian-based analysis of matricized networks. In Proc. 2024 Ivannikov ISPRAS Open Conference (ISPRAS-2024), 2024, pp. 1-10. DOI: 10.1109/ISPRAS64596.2024.10899113.

30. Wu L., Zhu Z., E W. Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes. Presented at the ICML 2017 Workshop on Principled Approaches to Deep Learning (PADL 2017), Sydney, Australia, 2017.

31. Hoffmann J., Borgeaud S., Mensch A., Buchatskaya E., Cai T., Rutherford E., de Las Casas D., Hendricks L.A., Welbl J., Clark A., et al. Training Compute-Optimal Large Language Models. In Advances in Neural Information Processing Systems (NeurIPS 2022), 2022, vol. 35, pp. 30048–30072.

32. Bousquet O., Elisseeff A. Stability and generalization. Journal of Machine Learning Research, 2002, vol. 2, pp. 499-526.

33. Elisseeff A., Evgeniou T., Pontil M. Stability of randomized learning algorithms. Journal of Machine Learning Research, 2005, vol. 6, no. 3, pp. 55-79.

34. Hardt M., Recht B., Singer Y. Train faster, generalize better: Stability of stochastic gradient descent. In Proc. International Conference on Machine Learning (ICML), PMLR, 2016, pp. 1225-1234.

35. Jacot A., Gabriel F., Hongler C. Neural tangent kernel: Convergence and generalization in neural networks. Advances in Neural Information Processing Systems, 2018, vol. 31.

36. Lee J., Schoenholz S., Pennington J., Adlam B., Xiao L., Novak R., Sohl-Dickstein J. Finite versus infinite neural networks: An empirical study. Advances in Neural Information Processing Systems, 2020, vol. 33, pp. 15156-15172.

37. Kiselev N.S., Grabovoy A.V. Sample size determination: Likelihood bootstrapping. Computational Mathematics and Mathematical Physics, 2025, vol. 65, no. 3, pp. 416-423. DOI: 10.1134/S0965542524702002.

38. Kiselev N.S., Grabovoy A.V. Sample size determination: Posterior distributions proximity. Computational Management Science, 2025, vol. 22, no. 1, p. 1. DOI: 10.1007/s10287-024-00528-9.