Подходы к разработке системы обнаружения дефектов печатных плат на основе технологии АОИ
Татьяна Сергеевна ХОДАТАЕВА,
Николай Владимирович КАШИРИН,
Александра Ивановна АВЕРИНА,
Артём Евгеньевич ГУРЬЯНОВ https://doi.org/10.15514/ISPRAS-2023-35(4)-5
Аннотация
Рассматриваются некоторые современные подходы обнаружения дефектов печатных плат на основе автоматической оптической инспекции с целью проектирования собственной системы контроля производства. Важность процесса контроля растет в связи с ужесточением требований, предъявляемых современными производственными процессами. На предприятиях массового производства электроники предпринимаются попытки добиться высокого качества всех деталей, узлов и готовой продукции. Система оптической инспекции является одним из наиболее важных инструментов автоматизации визуального контроля печатных схем. Помимо обеспечения экономической эффективности и контроля качества продукции, автоматизированная система контроля также может собирать статистическую информацию для осуществления обратной связи с производственным процессом. В обзоре рассматриваются алгоритмы и методы автоматизированного оптического контроля проводящего рисунка на поверхности печатных плат с целью нахождения оптимального метода обнаружения дефектов.
Ключевые слова
При поддержке: Работа выполняется в рамках государственного задания на оказание государственных услуг (выполнение работ) № 075-01252-22-03 от 26.10.2022 на базе ФГБОУ ВО Марийского государственного университета в сотрудничестве с ведущим предприятием по производству печатных плат «ТЕХНОТЕХ» (сайт https://tehnoteh.ru/) в г. Йошкар-Ола.
Об авторах
Татьяна Сергеевна ХОДАТАЕВА
ФГБОУ ВО Марийский государственный университет
Россия
Россия
Программист научно-исследовательской лаборатории разработки, проектирования и технической инспекции печатных плат. Сфера научных интересов: распознавание образов, глубокое обучение, нейронные сети.
Николай Владимирович КАШИРИН
ФГБОУ ВО Марийский государственный университет
Россия
Россия
Кандидат химических наук, доцент, заведующий базовой кафедрой конструирования и производства керамических изделий микроэлектроники, заведующий молодежной научно-исследовательской лабораторией разработки, проектирования и технической и инспекции печатных плат, начальник молодежного научно-инновационного конструкторского центра Spektrum. Сфера научных интересов: материаловедение; керамические и композиционные материалы в изделиях электронной техники; методы исследования микроструктуры; электроника и микропроцессорная техника; электротехника; коллоидные системы; сопротивление материалов.
Александра Ивановна АВЕРИНА
ФГБОУ ВО Марийский государственный университет
Россия
Россия
инженер научно-исследовательской лаборатории разработки, проектирования и технической инспекции печатных плат, техник базовой кафедрой конструирования и производства керамических изделий микроэлектроники. Сфера научных интересов: электроника, исследование адгезионных свойств, проектирование печатных плат, разработка методов и проведение научно-исследовательских экспериментов.
Артём Евгеньевич ГУРЬЯНОВ
ФГБОУ ВО Марийский государственный университет
Россия
Россия
Инженер научно-исследовательской лаборатории разработки, проектирования и технической инспекции печатных плат. Сфера научных интересов: электроника, технологии программирования, моделирование приборов и системы управления, 3D-моделирование.
Список литературы
1. Taha Eid M., Emary E., Moustafa K. Automatic Optical Inspection for PCB Manufacturing : a Survey. International Journal of Scientific and Engineering Research, vol. 5, no. 7, pp. 1095-1102, 2014.
2. Гонсалес Р. и Вудс. Р. Мир цифровой обработки. Цифровая обработка изображений. М., ТЕХНОСФЕРА, 2012, 1104 с.
3. Прэтт У. Цифровая обработка изображений. М., Мир, 1982, 312 с.
4. Abd Al Rahman M. Abu Ebayyeh, Mousavi A. A Review and Analysis of Automatic Optical Inspection and Quality Monitoring Methods in Electronics Industry. IEEE Access, vol. 8, 2020, 183192–183271. DOI:10.1109/access.2020.3029127.
5. Moganti M., Ercal F., Dagli C. H., and Tsunekawa S. Automatic PCB inspection algorithms: A survey. Computer Vision and Image Understanding, Vol. 63, No. 2, 1996, pp. 287-313, DOI:10.1006/cviu.1996.0020.
6. Kumar M. A Survey on Various Approaches of Automatic Optical Inspection for PCB Defect Detection. International Journal of Computer Science and Engineering vol. 7, no. 6, 2019, pp. 837-841. DOI:10.26438/ijcse/v7i6.837841.
7. Pal A., Chauhan S., and Bhardwaj S. Detection of Bare PCB Defects by Image Subtraction Method using Machine Vision. Proceedings of the World Congress on Engineering, vol. 2, no. 7, 2011. ISBN: 978-988-19251-4-5.
8. Kaur B., Kaur G., Kaur A. Detection and classification of Printed circuit board defects using image subtraction method. Recent Advances in Engineering and Computational Sciences, 2014, DOI:10.1109/raecs.2014.6799537.
9. Ma J. Defect detection and recognition of bare PCB based on computer vision. 36th Chinese Control Conference, 2017, DOI:10.23919/chicc.2017.8029117.
10. Melnyk R. A., Tushnytskyy R. B. Detection of Defects in Printed Circuit Boards by Clustering the Etalon and Defected Samples. IEEE 15th International Conference on Advanced Trends in Radioelectronics, Telecommunications and Computer Engineering, 2020, DOI:10.1109/tcset49122.2020.23558.
11. S. H. Indera Putera, Ibrahim Z. Printed circuit board defect detection using mathematical morphology and MATLAB image processing tools. 2nd International Conference on Education Technology and Computer, Shanghai, vol 5, 2010, pp. 359-363, DOI:10.1109/ICETC.2010.5530052.
12. Hideaki Doi, Yasuhiko Hara, Koichi Karasaki, Tadashi Iida, Takashi Furutani, Shigeki Kitamura, Norihiro Minatani, and Satoshi Shinada Automated Inspection of hinted Circuit Board Pattems Referenced to CAD Data. IAPR Workshop on Machine Vision Applications, 1992, pp. 419-423.
13. Borba J. F. and Facon J. A printed circuit board automated inspection system. Proceedings of the 38th Midwest Symposium on Circuits and Systems, 1996, pp. 69–72.
14. Lin, L., Zhou, L., Wan, J., Qian Z. Study of PCB Automatic Optical Inspection System Based on Mathematical Morphology. International Conference on Computer Technology and Development, 2009, DOI:10.1109/icctd.2009.35.
15. Benhabib B., Charette C. R., Smith K. C., Yip A. M. Automatic Visual Inspection of Printed Circuit Boards: An Experimental System. International Journal of Robotics and Automation, 1990, vol. 5, no. 2.
16. Ibrahim, Z., Rahman Al-Attas, S. A. Wavelet-based printed circuit board inspection algorithm // Integrated Computer-Aided Engineering, 12(2), 201–213. DOI:10.3233/ica-2005-12206.
17. Evgeniou, T., Pontil, M. Support Vector Machines: Theory and Applications. Conference: Machine Learning and Its Applications, 2001, pp. 249–257. DOI:10.1007/3-540-44673-7_12.
18. Uhrig R. E. Introduction to artificial neural networks. Proceedings of IECON’95 - 21st Annual Conference on IEEE Industrial Electronics, 1995, DOI:10.1109/iecon.1995.483329.
19. Хайкин С. Нейронные сети: полный курс. Москва-Санкт-Петербург-Киев, Вильямс, 2006, 1104 с.
20. Reeves C. R. , Wright C. Genetic Algorithms and The Design of Experiments, School of Mathematical and Information Sciences, 1998, DOI: 10.1007/978-1-4612-1542-4_12.
21. Krizhevsky A., Ilya Sutskever I., Geoffrey E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, Communications of the ACM, vol. 60 no. 6, 2017, pp. 84–90, DOI:10.1145/3065386.
22. Li Deng, Dong Yu, Deep Learning: Methods and Applications, Microsoft Research, 2014.
23. Girshick, R., Donahue, J., Darrell, T., Malik, J. Region-Based Convolutional Networks for Accurate Object Detection and Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(1), 2015, pp.142–158. DOI:10.1109/tpami.2015.2437384.
24. Girshick R. Fast R-CNN. IEEE International Conference on Computer Vision, 2015, DOI: 10.1109/ICCV.2015.169.
25. Ren S., He K., Girshick, R., Sun, J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 2016, pp.1137–1149, DOI:10.1109/tpami.2016.2577031.
26. Redmon, J., Divvala, S., Girshick, R., Farhadi A. You Only Look Once: Unified, Real-Time Object Detection. IEEE Conference on Computer Vision and Pattern Recognition. 2016, DOI:10.1109/cvpr.2016.91.
27. Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y., Berg, A. C. SSD: Single Shot MultiBox Detector. Lecture Notes in Computer Science, 2016, pp. 21–37. DOI:10.1007/978-3-319-46448-0_2.
28. Zhenshen Qu, Jianxiong Shen, Ruikun Li, Junyu Liu, Qiuyu Guan, PartsNet: A Unified Deep Network for Automotive Engine Precision Parts Defect Detection. Preprint State Key Laboratory of advanced welding and joining, Harbin Institute of Technology, Harbin, China, 2018, DOI:10.1145/3297156.3297190.
29. Ding, R., Dai, L., Li, G., Liu, H. TDD-Net: A Tiny Defect Detection Network for Printed Circuit Boards. CAAI Transactions on Intelligence Technology, 2019, DOI:10.1049/trit.2019.0019.
30. Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger. IEEE Conference on Computer Vision and Pattern Recognition, 2017, DOI:10.48550/arXiv.1612.08242.
31. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition, 2016, DOI:10.1109/cvpr.2016.90.
32. Deng J., Dong W., Socher R., Li K. Li, Li F.-F. ImageNet: A large-scale hierarchical image database. IEEE Conference on Computer Vision and Pattern Recognition, 2009, pp. 248-255, DOI: 10.1109/CVPR.2009.5206848.
33. Iglovikov V., Shvets A. Ternausnet: U-net with VGG11 encoder pre-trained on ImageNet for image segmentation. 2018, Corpus ID: 1385457.
34. Lin T.-Y., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature Pyramid Networks for Object Detection. IEEE Conference on Computer Vision and Pattern Recognition. 2017, DOI:10.1109/cvpr.2017.106.
35. Adibhatla, V. A., Chih, H.-C., Hsu, C.-C., Cheng, J., Abbod, M. F., Shieh, J.-S. Defect Detection in Printed Circuit Boards Using You-Only-Look-Once Convolutional Neural Networks. Electronics, vol. 9, no.9, p.1547. DOI:10.3390/electronics9091547.
36. Hu, B., Wang, J. Detection of PCB Surface Defects with Improved Faster-RCNN and Feature Pyramid Network. IEEE Access, vol. 8, 2020, pp. 108335-108345, DOI:10.1109/access.2020.3001349.
37. Wang, J., Chen, K., Yang, S., Loy, C. C., Lin D. Region Proposal by Guided Anchoring. IEEE Conference on Computer Vision and Pattern Recognition. 2019, DOI:10.1109/cvpr.2019.00308.
38. Ma N., Zhang X., Zheng H.-T., Sun, J. ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design. Lecture Notes in Computer Science, 2018, pp.122–138, DOI:10.1007/978-3-030-01264-9_8.
39. Xinting Liao, Shengping Lv, Denghui Li, YOLOv4-MN3 for PCB Surface Defect Detection. Applied Sciences vol.11, no. 24, 2021, pp. 11701, DOI: 10.3390/app112411701.
40. Bochkovskiy A., Chien-Yao Wang, Hong-Yuan Mark Liao, YOLOv4: Optimal Speed and Accuracy of Object Detection. IEEE Conference on Computer Vision and Pattern Recognition. 2020, DOI:10.48550/arXiv.2004.10934.
41. Howard A., Sandler M., Chu G., Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, Quoc V. Le, Hartwig A. Searching for MobileNetV3. Conference on Conference on Computer Vision and Pattern Recognition. 2019, DOI:10.48550/arXiv.1905.02244.
42. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. Conference on Computer Vision and Pattern Recognition. 2015, DOI:10.48550/arXiv.1409.1556.
43. Sandler M., Howard A., Zhu M., Zhmoginov A., Chen, L.-C. MobileNetV2: Inverted Residuals and Linear Bottlenecks. Conference on Computer Vision and Pattern Recognition. 2018, DOI:10.1109/cvpr.2018.00474.
44. Diganta Misra Mish: A Self Regularized Non-Monotonic Activation Function. Conference on Computer Vision and Pattern Recognition, 2019, Corpus ID: 201645264.
45. Everingham M., Christopher K. I. Williams, Luc Van Gool, John M. Winn, The Pascal Visual Object Classes (VOC) challenge. International Journal of Computer Vision, vol. 88, no.2, pp.303-338, 2010, DOI: 10.1007/s11263-009-0275-4.
46. Yixing Li, Fengbo Ren Light-Weight RetinaNet for Object Detection. Conference on Computer Vision and Pattern Recognition, 2019, DOI:10.48550/arXiv.1905.10011.
47. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. Conference on Computer Vision and Pattern Recognition, Corpus ID: 4714433.
48. Venkat Anil Adibhatla, Huan-Chuang Chih, Chi-Chang Hsu, Joseph Cheng, Maysam F. Abbod, Jiann-Shing Applying deep learning to defect detection in printed circuit boards via a newest model of you-only-look-once. Mathematical Biosciences and Engineering, 2021, vol. 18, no. 4, pp. 4411-4428. DOI:10.3934/mbe.2021223.
49. Ultralytics Yolov5. Available at: https://github.com/ultralytics/yoloV5, accessed 20.11.2022.
50. I-Chun Chen, Rey-Chue Hwang, Huang-Chu Huang PCB Defect Detection Based on Deep Learning Algorithm. Processes, vol. 11, no. 3, 2023, DOI: 10.3390/pr11030775.
51. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М., ДМК, 2018, 652c.
52. Linlin Zhang, Yongqing Jin, Xuesong Yang, Xia Li, Xiaodong Duan, Yuan Sun,Hong Liu Convolutional Neural Network Based Multi-label Classification of PCB Defects. The Journal of Engineering. 2018, vol. 16, DOI:10.1049/joe.2018.8279.
Рецензия
Для цитирования:
ХОДАТАЕВА Т.С., КАШИРИН Н.В., АВЕРИНА А.И., ГУРЬЯНОВ А.Е. Подходы к разработке системы обнаружения дефектов печатных плат на основе технологии АОИ. Труды Института системного программирования РАН. 2023;35(4):109-120. https://doi.org/10.15514/ISPRAS-2023-35(4)-5
For citation:
KHODATAEVA T.S., KASHIRIN N.V., AVERINA A.I., GURYANOV A.E. Approaches to the Development of a Printed Circuit Board Defect Detection System Based on AOI Technology. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2023;35(4):109-120. (In Russ.) https://doi.org/10.15514/ISPRAS-2023-35(4)-5
Послать статью по эл. почте 