Повышение производительности анализа и обработки изображений на платформе RISC-V с помощью Lichee Pi 4A
https://doi.org/10.15514/ISPRAS-2025-37(5)-12
Аннотация
В исследовании изучаются методы оптимизации для повышения производительности обработки изображений на платформе RISC-V с использованием Lichee Pi 4A. Исследование сосредоточено на обработке видео в режиме реального времени для системы самообслуживания, которая реализована в виде микросервисного приложения. Рассматриваются и оцениваются стратегии оптимизации, включая оптимизацию модели нейронной сети, аппаратное ускорение с использованием векторных инструкций RVV и использование встроенного ускорителя для нейронных сетей (NPU). Результаты профилирования существующих стратегий показывают, что обнаружение объектов и извлечение признаков потребляют большую часть вычислительных ресурсов. Чтобы устранить разрыв в производительности, реализовано квантование модели в формат INT8, что позволяет сократить использование памяти и задержку вывода. Кроме того, развернута модифицированная версия ONNX Runtime для поддержки ускорения NPU. Эти улучшения привели к уменьшению размера модели на 75% и уменьшению задержки вывода на 35%. В исследовании делается вывод, что аппаратно-ориентированные оптимизации значительно повышают производительность на платформе RISC-V (Lichee Pi 4A). А также определена основная проблема практического применения разработанного решения на Lichee Pi 4A, связанная с низкой скоростью обработки данных: текущая частота кадров составляет всего 0,05 FPS.
Об авторах
Никита Иванович ЧЕРЕПАНОВ
Санкт-Петербургский Политехнический университет Петра Великого
Россия
Россия
Cтудент магистратуры высшей школы программной инженерии Санкт-Петербургского политехнического университета Петра Великого. В 2025 получил квалификацию бакалавра в Санкт-Петербургском политехническом университете Петра Великого по специальности "Технология разработки и сопровождения качественного программного продукта". Сфера научных интересов: программные архитектуры, RISC-V, машинное обучение, компьютерное зрение, искусственный интеллект.
Надежда Олеговна СТЕПИНА
Peter the Great St. Petersburg Polytechnic University
Россия
Россия
Ассистент высшей школы программной инженерии Санкт-Петербургского политехнического университета Петра Великого. В 2023 году окончила Санкт-Петербургский государственный политехнический университет по специальности «Программная инженерия». В 2024 году стала аспирантом по специальности 05.13.11 – «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей». Область научных интересов – разработка программного обеспечения, машинное обучение, высокопроизводительные вычисления, IoT и embedded-системы.
Игорь Валерьевич НИКИФОРОВ
Peter the Great St. Petersburg Polytechnic University
Россия
Россия
Доцент высшей школы программной инженерии Санкт-Петербургского политехнического университета Петра Великого. В 2011 году окончил Санкт-Петербургский государственный политехнический университет по специальности «Программное обеспечение вычислительной техники и автоматизированных систем». В 2014 году защитил диссертацию на соискание ученой степени кандидата технических наук по специальности 05.13.11 – «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей». Является автором 100 научных публикаций. Область научных интересов – разработка программного обеспечения, имитационное моделирование, аналитика больших данных, распределенные вычисления.
Список литературы
1. Cui E., Li T. Wei Q. RISC-V instruction set architecture extensions. A survey. IEEE Access 11, 2023, 24696–24711. DOI: 10.1109/ACCESS.2023.3246491.
2. Shen Y. Computer Vision: Technologies and Applications. Applied and Computational Engineering, vol. 163, no. 1, pp. 35–41, Jun. 2025, DOI: 10.54254/2755-2721/2025.23817.
3. Ali W. Exploring Instruction Set Architectural Variations: x86, ARM, and RISC-V in Compute-Intensive Applications, Aug. 2023, DOI: 10.36227/techrxiv.24026736.
4. Han C., Chang C., Srivastava S., Lu Y. Scalable Complex Event Processing on Video Streams. Proc. ACM on Management of Data, vol. 3, no. 3, pp. 1–29, Jun. 2025, DOI: 10.1145/3725419.
5. Borysenko V., Borysenko T. Modern approaches of design software applications based on microservice architecture in computer and information systems and technologies. Apr. 2020, DOI: 10.30837/IVcsitic2020201441.
6. Bhatnagar S., Mahant R. Designing Microservices in The Art of Decoding Microservices: An In-Depth Exploration of Modern Software Architecture. Launch IT, 2025, pp. 135-192.
7. Domenech-Asensi G., Garrigos J., Lopez P., Brea V., Cabello D. Real time architectures for the Scale Invariant Feature Transform algorithm. CNNA 2016; 15th International Workshop on Cellular Nanoscale Networks and their Applications. Dresden, Germany, 2016, pp. 1-2.
8. Obukhov A., Dedov D., Volkov A., Rybachok M. Technology for Improving the Accuracy of Predicting the Position and Speed of Human Movement Based on Machine Learning Models. Technologies, vol. 13, no. 3, p. 101, Mar. 2025, DOI: 10.3390/technologies13030101.
9. Qin X., Liu X., Han J. A CNN Hardware Accelerator Designed for YOLO Algorithm Based on RISC-V SoC. Proc. IEEE Int. Conf. ASIC, Kunming, China, 2021, pp. 1-4, DOI: 10.1109/ASICON52560.2021.9620500.
10. Srivastava S. K, Srivastava A. K., Allam S., Lilaramani D. Comparative analysis on Deep Convolution Neural Network models using Pytorch and OpenCV DNN frameworks for identifying optimum fruit detection solution on RISC-V architecture. IEEE Mysore Sub Section International Conference (MysuruCon), Hassan, India, 2021, pp. 738-743, DOI: 10.1109/MysuruCon52639.2021.9641594.
11. Chen Y.-R. Experiments and optimizations for TVM on RISC-V Architectures with P Extension. International Symposium on VLSI Design, Automation and Test (VLSI-DAT), Hsinchu, Taiwan, 2020, pp. 1-4, DOI: 10.1109/VLSI-DAT49148.2020.9196477.
12. Yu M.-S., Chang H.-C., Wang C.-T., Tien Y.-W. Optimizing computer vision algorithms with TVM on VLIW architecture based on RVV. The Journal of Supercomputing, vol. 81, no. 1, Nov. 2024, DOI: 10.1007/s11227-024-06530-x.
13. Jajal P, Jiang W, Tewari A, Kocinare E, Woo J, Sarraf A. Interoperability in deep learning: a user survey and failure analysis of ONNX model converters. In: Proc. 33rd ACM SIGSOFT International Symposium on Software Testing and Analysis. New York: ACM; 2024. p. 1466–1478, DOI: 10.1145/3650212.3680374.
14. Fusaomi N., Shingo S., Ryoma A., Keigo W., Maki K. H. Evaluation of Interoperability of CNN Models between MATLAB and Python Environments Using ONNX Runtime Model. AI, Computer Science and Robotics Technology 3(1), 1–13. 2024, DOI: 10.5772/acrt.20240043.
15. Sohan M., Ram T. S., Ch V. R. R. A Review on YOLOv8 and Its Advancements. Data Intelligence and Cognitive Informatics, Jan. 2024, pp. 529–545, DOI: 10.1007/978-981-99-7962-2_39.
16. Almeyda S., Davila A.: Process Improvement in Software Requirements Engineering: A Systematic Mapping Study. Programming and Computer Software, 48, Aug. 2022, pp. 513–533. DOI: 10.1134/S0361768822080084.
17. Lunev D., Poletykin S., Kudryavtsev D. Brain-computer interfaces: Technology overview and modern solutions. Modern Innovations, Systems and Technologies, vol. 2, no. 3, Jul. 2022, pp. 0117-0126, DOI: 10.47813/2782-2818-2022-2-3-01170126.
18. Tsekhmystro R., Rubel O., Prysiazhniuk O., Lukin V. V. Impact of distortions in UAV images on quality and accuracy of object localization. radioelectronic and computer systems, Jan. 2025, DOI: 10.32620/reks.2024.4.05.
19. Fischer L., Wollstadt P. Precision and Recall Reject Curves for Classification. Aug. 2023, DOI: 10.48550/arXiv.2308.08381.
20. Boyd K., Eng K. H., Page C. D. Area under the Precision-Recall Curve: Point Estimates and Confidence Intervals. Joint European Conference on Machine Learning and Knowledge Discovery in Databases, Lecture Notes in Computer Science, vol. 8190, pp. 451–466, Sep. 2013, DOI: 10.1007/978-3-642-40994-3_29.
21. Sinha E., Kumar A., Tyagi A. OpenCV for Computer Vision Applications. International Journal For Multidisciplinary Research, vol. 7, no. 3, May 2025, DOI: 10.36948/ijfmr.2025.v07i03.44280.
22. Chinnaraju A. Benchmarking cross‑platform AI: Web Assembly, ONNX Runtime and TVM for Real‑Time Web, Mobile, and IoT Deployment. World Journal of Advanced Research and Reviews, vol. 26, no. 2, pp. 1937–1963, May 2025, DOI: 10.30574/wjarr.2025.26.2.1832.
23. Yang S., Lu T. T3 SOC design flow case study: Design a video processing pipeline. ASIC, ASICON '07. 7th International Conference, Nov. 2007, DOI: 10.1109/ICASIC.2007.4415551.
24. Jindal K. Design and Implementation of an Embedded Image Processing System on Zynq ZedBoard: A VLSI Perspective. International Journal for Research in Applied Science and Engineering Technology, vol. 13, no. 5, pp. 5141–5145, May 2025, DOI: 10.22214/ijraset.2025.71372.
25. Smirnov E., Timoshenko D., Andrianov S. Comparison of Regularization Methods for ImageNet Classification with Deep Convolutional Neural Networks. AASRI Procedia, vol. 6, pp. 89–94, Dec. 2014, DOI: 10.1016/j.aasri.2014.05.013.
26. Pujari S. D., Pawar M. M., Wadekar M. Multi-Classification of Breast Histopathological Image Using Xception: Deep Learning with Depthwise Separable Convolutions Model. Techno-Societal, pp. 539–546, May 2021, DOI: 10.1007/978-3-030-69921-5_54.
27. Wang S., Wang X., Xu Z., Chen B. Optimizing CNN Computation Using RISC-V Custom Instruction Sets for Edge Platforms. IEEE Trans. Comput, May 2024, pp. 1-14, DOI: 10.1109/TC.2024.3362060.
28. Titopoulos V., Alexakis G., Nicopoulos C., Dimitrakopoulos G. Efficient Implementation of RISC-V Vector Permutation Instructions. arXiv:2505.07112, May 2025, DOI: 10.48550/arXiv.2505.07112.
29. Yuan T., Liu W., Han J., Lombardi F. High Performance CNN Accelerators Based on Hardware and Algorithm Co-Optimization. IEEE Trans. Circuits Syst. I, Reg. Papers, Oct. 2020, pp. 1-14, DOI: 10.1109/TCSI.2020.3030663.
30. Jin S., Qi S., Dai Y., Hu Y. Design of Convolutional Neural Network Accelerator Based on RISC-V. Proc. 10th Int. Conf. Appl. Tech. Cyber Intell. (ICATCI 2022), 2023, pp. 446-454. DOI: 10.1007/978-3-031-29097-8_53.
31. Cono D’Elia D., Demetrescu C. Ball-Larus Path Profiling across Multiple Loop Iterations. SIGPLAN Not. 48, 10 (oct 2013), pp. 373-390, DOI :10.1145/2544173.2509521.
32. Agarwal R., Deshmukh R., Borhade P., Murarka S. Image Classification using Parallel CPU and GPU Computing. Int. J. Eng. Adv. Technol., vol. 9, no. 4, Apr. 2020, pp. 5, DOI: 10.35940/ijeat.D7870.049420.
33. Shanthi M., Anthony Irudhayaraj A. Multithreading - An Efficient Technique for Enhancing Application Performance. International Journal of Recent Trends in Engineering, Vol 2, No. 4, Nov. 2009, pp. 165-167, DOI: 10.22146/ijccs.57594.
Рецензия
Для цитирования:
ЧЕРЕПАНОВ Н.И., СТЕПИНА Н.О., НИКИФОРОВ И.В. Повышение производительности анализа и обработки изображений на платформе RISC-V с помощью Lichee Pi 4A. Труды Института системного программирования РАН. 2025;37(5):157-172. https://doi.org/10.15514/ISPRAS-2025-37(5)-12
For citation:
CHEREPANOV N.I., STEPINA N.O., NIKIFOROV I.V. Improving Image Analysis and Processing Performance on the RISC-V Platform with Lichee Pi 4A. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2025;37(5):157-172. https://doi.org/10.15514/ISPRAS-2025-37(5)-12
Послать статью по эл. почте 