Гибридная дополненная модель для обнаружения внимания пешехода

Безопасность пешеходов на дороге во много зависит от того насколько пешеход правильно оценивает дорожную ситуацию и насколько транспортное средство в состоянии оценить уровень его контроля дорожной ситуации. Одним из средств оценки внимания пешехода может служить анализ направления его взгляда. Однако низкое разрешение изображения лица пешехода, размытие в движении, сложные условия освещения и частичное перекрытие лиц затрудняют эту оценку. В результате предыдущих исследований было показано, что в благоприятной обстановке оценка направления взгляда по ориентации лица и положению зрачков обеспечивают детальные данные о направлении внимания пешехода. Однако эти решения ненадежны в условиях реальной уличной обстановки. В данной статье представлено надежное расширенное гибридное решение, которое использует конвейер методов оценки внимания пешеходов с контролем ошибок каждого из них для непрерывного определения направления взгляда пешеходов в сложных уличных условиях. В дополнение к предложенному ранее нейросетевому методу оценки направления взгляда добавляются геометрические и легковесные нейросетевые методы оценки ориентации головы, компенсирующие потенциальные отказы методов в случаях зашумленных входных данных. Предложенное решение интегрирует детектирование лиц, оценку направления взгляда, расчет положения и ориентации головы, включая прогнозирование ее положение и ориентацию в следующий момент времени. В отличие от предыдущих решений, ориентированных исключительно на оценку направления взгляда, построенные в данной работе нейронные сети позволяют не только повысить точность, но также обеспечить непрерывную обработку видеоданных в условиях реальных визуальных помех, связанных со сложной дорожной ситуацией. Многочисленные эксперименты на открытых наборах данных в условиях реальной уличной обстановки демонстрируют, значительное превосходство предложенного решения на дальних дистанциях, что повышает доступность сквозной оценки уровня контроля дорожной ситуации при сохранении точности оценки на уровне, полученном по определению направления взгляда в благоприятных условиях.

1. Wang Z., Zhdanov D.D., Zhdanov A.D. Research on pupil tracking techniques for autonomous driving systems. Proceedings of GraphiCon 2025, 2025, pp. 215-226 DOI: 10.25686/978-5-8158-2474-4-2025-215-226.

2. Wang Z., Zhdanov D., Zhdanov A. Research on pedestrian gaze detection in autonomous driving systems. Optoelectronic Imaging and Multimedia Technology XII. SPIE, 2025, vol. 13718, pp. 289-296. DOI: 10.1117/12.3074848.

3. Zhou H., Laval J., Zhou A., Wang Y., Wu W., Qing Z., Peeta S. Review of learning-based longitudinal motion planning for autonomous vehicles: research gaps between self-driving and traffic congestion. Transportation research record, 2022, 2676(1), pp. 324-341. DOI: 10.1177/03611981211035764.

4. Kellnhofer P., Recasens A., Stent S., Matusik W., Torralba A. Gaze360: Physically unconstrained gaze estimation in the wild. Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 6912-6921. DOI: 10.1109/ICCV.2019.00701.

5. Zhang X., Sugano Y., Fritz M., Bulling A. Mpiigaze: Real-world dataset and deep appearance-based gaze estimation. IEEE transactions on pattern analysis and machine intelligence, 2017, 41(1), pp. 162-175. DOI: 10.1109/TPAMI.2017.2778103.

6. Rocca F, Mancas M, Gosselin B. Head pose estimation by perspective-n-point solution based on 2d markerless face tracking. International Conference on Intelligent Technologies for Interactive Entertainment. Cham: Springer International Publishing, 2014, pp. 67-76. DOI: 10.1007/978-3-319-08189-2_8.

7. Carrillo D., Nutt M., Meijer M., Khan J., Fu S., Yang Q. Bringing Different Views Together: A Hybrid Cooperative Perception Framework for Connected Autonomous Vehicles. IEEE Network, 2025. DOI: 10.1109/MNET.2025.3546821.

8. Yang S., Luo P., Loy C. C., Tang X. Wider face: A face detection benchmark. Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 5525-5533. DOI: 10.1109/CVPR.2016.596