Определение дефектов на стальных листах с использованием сверточных нейронных сетей

Сталь в наши дни является одним из важнейших производственных материалов, который используется повсеместно, от медицины до промышленных отраслей. Своевременное обнаружение и распознавание дефектов на стальных листах после проката – одна из ключевых проблем этого производства с учетом его сложности и необходимости затрат большого количества времени на проведение вручную проверок каждого листа и каждой заготовки. Одними из целей настоящей работы были автоматизация и упрощение данного процесса. Для решения соответствующих задач была использована, в первую очередь, модель сверточной нейронной сети под названием UNet, которая уже зарекомендовала себя как отличный инструмент решения таких задач — при высокой результативности она требует меньшего количества учебных данных. В основе этой модели лежат последовательная, производимая в несколько шагов свертка изображения до приемлемого размера (иными словами, сжатие или кодирование), а затем развертка, восстановление изображения к исходному размеру и соотношению сторон, после чего на выходе будет получена маска изображения с классами элементов, которые необходимо было найти. В дополнение к этой нейронной сети в качестве кодирующего (сворачивающего) слоя была использована другая модель — ResNet34, предварительно обученная на датасете (наборе данных) ImageNet1000. В этой модели также был модифицирован выходной слой — вместо 34 слоев с классами на выходе возвращалось лишь 4, что сократило время обработки и позволило использовать наиболее удачные определения в результатах. Используя данный подход и проведя все необходимые проверки, при подведении итогов, мы получили результат в 94,8% точности определения дефектов на стальных листах.

сверточные нейронные сети, нейронные сети, машинное обучение, сталь, искусственный интеллект, определение дефектов, сегментация, классификация

1. Stavropoulos P. et al. Monitoring and control of manufacturing processes: A review // Procedia CIRP. 2013. V. 8. P. 421–425.

2. Chao W. and al. Research on Classification of Surface Defects of Hot-rolled Steel Strip Based on Deep Learning // DEStech Transactions on Computer Science and Engineering. 2019. 2nd International Conference on Informatics, Control and Auto-mation (ICA 2019). 2019. P. 362–366.

3. Li J. and al. Real-time detection of steel strip surface defects based on im-proved yolo detection network // IFAC-PapersOnLine. 2018. V. 51, No. 21. P. 76–81.

4. Zhang Z., Zhang S., Li Q. Online Surface Defects Detection System for Cold-rolled Steel Strip // Recent Patents on Engineering. 2017. V. 11, No. 1. P. 62–67.

5. He K. and al. Mask r-cnn // Proceedings of the IEEE international conference on computer vision, 2017. P. 2961–2969.

6. Ren S. and al. Faster r-cnn: Towards real-time object detection with region proposal networks // Advances in Neural Information Processing Systems, 2015. P. 91–99.

7. Shang W. and al. Understanding and improving convolutional neural net-works via concatenated rectified linear units // International Conference on Machine Learning, 2016. P. 2217–2225.

8. Ferguson M.K. and al. Detection and segmentation of manufacturing defects with convolutional neural networks and transfer learning // Smart and Sustainable Manufacturing Systems. 2018. V. 2. arXiv:1808.02518 [cs.CV]

9. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for bio-medical image segmentation // International Conference on Medical Image Compu-ting and Computer-Assisted Intervention. Springer, Cham, 2015. P. 234–241.

10. Wu Z., Shen C., Van Den Hengel A. Wider or deeper: Revisiting the resnet model for visual recognition // Pattern Recognition. 2019. V. 90. P. 119–133.

11. He K. and al. Deep residual learning for image recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. P. 770–778.

12. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for bio-medical image segmentation // International Conference on Medical Image Compu-ting and Computer-Assisted Intervention. Springer, Cham, 2015. P. 234–241.

13. Salehi S.S.M., Erdogmus D., Gholipour A. Tversky loss function for image segmentation using 3D fully convolutional deep networks // International Workshop on Machine Learning in Medical Imaging. Springer, Cham, 2017. P. 379–387.

14. Milletari F., Navab N., Ahmadi S.A. V-net: Fully convolutional neural net-works for volumetric medical image segmentation // 2016 Fourth International Con-ference on 3D Vision (3DV). IEEE, 2016. P. 565–571.

15. Wang P., Chung A.C.S. Focal dice loss and image dilation for brain tumor segmentation // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Springer, Cham, 2018. P. 119–127.

16. Sudre C.H. and al. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Springer, Cham, 2017. P. 240–248.

17. Sitdikov V.D. and al. Application of X-ray Technique to Study the Structure of Ultrafine-Grained Ferritic/Martensitic Steel // J. of Materials Engineering and Per-formance. 2019. V. 28, No. 11. P. 7109–7118.