Сравнительное исследование устойчивости к доменному сдвигу сверточных сетей Колмогорова-Арнольда и классических CNN

Выполнено экспериментальное сравнение устойчивости к доменному сдвигу классических сверточных нейронных сетей (CNN), со сверточными сетями Колмогорова-Арнольда (convKAN), имеющими в ядрах свертки обучаемые нелинейности. Исследование выполнено на примере архитектуры ResNet-18 в конфигурации без декодера. Опорным выбран набор данных PlantVillage, как содержащий норму и 26 заболеваний, в том числе 17 грибковых для 14 видов растений (всего 38 классов). Заболевания представлены 4 классами, из которых наиболее представленными являются 2 - грибковые и бактериальные. Домены со сдвигом представлены 6 наборами изображений растений, в которых лишь малая часть типов растений и заболеваний пересекается с классами PlantVillage. Исследованы 3 метрики сдвига домена: Maximum Mean Discrepancy (MMD); дивергенция Йенсена-Шеннона; расстояние Вассерштейна. Сравнение моделей проводилось по метрикам: Accuracy, F1 macro, F1 weighted, Recall, FAR. Исследованы эмбеддинги, извлеченные сверточной частью моделей KAN и CNN. Установлено, что сверточные сети KAN, показывают лучшие результаты по устойчивости к доменному сдвигу в среднем на: 10% по Accuracy, 2% по F1-macro, 6% по F1-weighted. Показано, что влияние величин метрик доменного сдвига на результат KAN и CNN носит неоднородный характер, но в итоге эти метрики способны показать какие из доменных сдвигов являются сильными. Выявлена роль анализа ошибок на примере FAR, показавшего экстремальный рост для KAN и CNN в грибковых заболеваниях, с преимуществом сети CNN. Результаты показывают, что сильный доменный сдвиг является причиной существенной деградации качества классификации для обеих моделей, но сети KAN более устойчивы к доменному сдвигу, проигрывая CNN по величине FAR. Установлено, что после обучения в сети KAN доминируют унимодальные, мультимодальные и осциллирующие функции активации, а в ходе обучения доля унимодальных растет за счет осциллирующих.

1. Taori R., Dave A., Shankar V., Carlini N., Recht B., Schmidt L. Measuring Robustness to Natural Distribution Shifts in Image Classification, 2020. DOI: 10.48550/arXiv.2007.00644.

2. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения. Докл. АН СССР, 1957, т. 114, № 5, с. 953-956.

3. Liu Z., Wang Y., Vaidya S., Ruehle F., Halverson J., Soljačić M., Hou T.Y., Tegmark M. KAN: Kolmogorov-Arnold Networks. Proceedings of the International Conference on Learning Representations. ICLR, 2024. DOI: 10.48550/arXiv.2404.19756.

4. Liu Z., Ma P., Wang Y., Matusik W., Tegmark M. Kan 2.0: Kolmogorov-Arnold networks meet science, 2025. DOI: 10.1103/4t7t-v19l.

5. Bodner A.D., Tepsich A.S., Spolski J.N., Pourteau S. Convolutional Kolmogorov-Arnold Networks, 2024. DOI: 10.48550/arXiv.2406.13155.

6. Balestriero R., Cosentino R., Aazhang B., Baraniuk R. The Geometry of Deep Networks: Power Diagram Subdivision. Neural Information Processing Systems, 2019. DOI: 10.48550/arXiv.1905.08443.

7. Glorot X., Bordes A. Deep Sparse Rectifier Neural Networks. Journal of Machine Learning Research, 2010, vol. 15.

8. Gao F., Zhang B. Data-aware customization of activation functions reduces neural network error, 2013. DOI: 10.48550/arXiv.2301.06635.

9. Ramachandran P., Zoph B., Le Q.V. Swish: a Self-Gated Activation Function. arXiv: Neural and Evolutionary Computing, 2017. DOI: 10.48550/arXiv.1710.05941.

10. Neyshabur B. Implicit Regularization in Deep Learning, 2017. DOI: 10.48550/arXiv.1709.01953.

11. Zhou M., Ge R. Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression, 2023. DOI: 10.48550/arXiv.2302.00257.

12. Chizat L. Mean-Field Langevin Dynamics: Exponential Convergence and Annealing. Trans. Mach. Learn. Res., 2022. DOI: 10.48550/arXiv.2202.01009.

13. Shin S., Bae H., Na B., Kim Y.-Y., Moon I.-Ch. Unknown Domain Inconsistency Minimization for Domain Generalization, 2024. DOI: 10.48550/arXiv.2403.07329.

14. Fenu G., Malloci F.M. DiaMOS Plant: A Dataset for Diagnosis and Monitoring Plant Disease. Agronomy 2021, vol. 11, 2107. DOI: https://doi.org/10.3390/agronomy11112107.

15. Krohling R.A., Esgario, Guilherme J.M., Ventura J.A. BRACOL – A Brazilian Arabica Coffee Leaf images dataset to identification and quantification of coffee diseases and pests. Mendeley Data, V1, 2019. DOI: 10.17632/yy2k5y8mxg.1.

16. Parraga-Alava J., Cusme K., Loor A., Santander E. RoCoLe: A robusta coffee leaf images dataset for evaluation of machine learning based methods in plant diseases recognition. Data Brief, 2019 Aug 19, vol. 25, p. 104414. DOI: 10.1016/j.dib.2019.104414.

17. Thapa R., Zhang K., Snavely N., Belongie S., Khan A. The Plant Pathology Challenge 2020 data set to classify foliar disease of apples. Appl Plant Sci., 2020 Sep 28, vol. 8(9), e11390. DOI: 10.1002/aps3.11390.

18. Shah J., Prajapati H., Dabhi V. Rice Leaf Diseases [Dataset]. UCI Machine Learning Repository, 2017. DOI:10.24432/C5R013.

19. Rauf H.T., Saleem B.A., Lali M.I.U., Khan M.A., Sharif M.U., Bukhari S.A.Ch. A citrus fruits and leaves dataset for detection and classification of citrus diseases through machine learning. Data in Brief, vol. 26, 2019. DOI: 10.1016/j.dib.2019.104340.

20. Hughes D.P., Salathé M. An open access repository of images on plant health to enable the development of mobile disease diagnostics through machine learning and crowdsourcing. DOI: 10.48550/arXiv.1511.08060.

21. Geirhos R., Rubisch P., Michaelis C., Bethge M., Wichmann F., Brendel W. ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness. 2018. DOI: 10.48550/arXiv.1811.12231.

22. Ларионов А.И, Турлапов В.Е. Сети KAN и MLP в био- и медицинской диагностике на примере стресса растений. Труды конференции ГрафиКон-2025, 2025. DOI:10.25686/978-5-8158-2474-4-2025-790-810.