Совмещение динамических характеристик почерка и модели ConvNeXtV2 для распознавания рукописных символов на русскоязычных и англоязычных наборах данных

Представленная работа развивает результаты исследования автора по использованию динамических характеристик движения пера для повышения качества распознавания рукописного текста. В настоящей статье мы объединяем ранее предложенную динамическую компоненту (угловые и спектральные признаки траекторий) с флагманской моделью глубокой нейронной сети распознавания изображений ConvNeXtV2 tiny, и проводим исследование на трех наборах данных: EMNIST (by_class), UJI Pen Characters 2 и собственном наборе Russian Handwritings Tracked. Показано, что после умеренной настройки аугментаций визуальная ветвь достигает на наборе EMNIST результата уровня SOTA среди сравниваемых моделей, тогда как динамическая ветвь и их ансамбль обеспечивают прирост устойчивости на наборах с большей вариативностью почерка (UJI, Russian Handwritings Tracked). Итоги подтверждают комплементарность визуальных и кинематических признаков и указывают на перспективность метода для сценариев «сложного почерка».

1. Woo S., Debnath S., Hu R., Chen X., Liu Z., Kweon I. S., Xie S. Convnext v2: Codesigning and scaling convnets with masked autoencoders, in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 16133-16142. Available at: https://arxiv.org/pdf/2301.00808, accessed 10.01.2026.

2. Woo S. et al., Convnext v2: Co-designing and scaling convnets with masked autoencoders,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. Global Response Normalization (GRN)

3. Saenko I., Lauta O., Iatsenko D. The use of dynamic characteristics in handwriting recognition tasks, in 2023 International Ural Conference on Electrical Power Engineering (UralCon), 2023, pp. 609-614.

4. Яценко Д. В., Граецкая О. В., Смирнов К. В. Набор данных рукописных символов русского языка. Вестник компьютерных и информационных технологий, Feb. 2025, c. 46-54.

5. Prat F., Castro M., Llorens D., Marzal A., Vilar J. UJI Pen Characters (Version 2), 2008. Dataset is available at: https://doi.org/10.24432/C5FG8S, accessed 10.01.2026.

6. Llorens D., Prat F., Marzal A., Vilar J. M., Castro M. J., Amengual J. C., Barrachina S., Castellanos A., España S., Gómez J. A., Gorbe J., Gordo A., Palazón V., Peris G., Ramos-Garijo R., Zamora F. The UJIpenchars database: a pen-based database of isolated handwritten characters, in Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC’08), (Marrakech, Morocco), European Language Resources Association (ELRA), 2008.

7. Iatsenko D., Smirnov K. Russian handwritings tracked. Mendeley Data, V2, 2023. Dataset.

8. Hugging Face, Convnext v2 – transformers documentation, 2025. Available at: https://huggingface.co/docs/transformers/model_doc/convnextv2, accessed 04.10.2025.

9. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. New York: Springer, 2 ed., 2009.

10. Geman S., Bienenstock E., Doursat R. Neural networks and the bias/variance dilemma, Neural Computation, vol. 4, no. 1, pp. 1-58, 1992.

11. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition, Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, 1998.

12. Yacenko D. Article17: репозиторий GitHub (релиз v1.0) [Электронный ресурс]. URL: github.com/d-yacenko/Article17.git (дата обращения 10.01.2026)

13. Cohen G., Afshar S., Tapson J., van Schaik A. EMNIST: an extension of MNIST to handwritten letters, 2017. Available at: https://arxiv.org/pdf/1702.05373, accessed 10.01.2026.