ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2025-28-6-1368-1384ellibs-624Research ArticleСтатьиСистема тестирования контроллеров, основанная на распознавании текста на экранеA System for Testing Controllers Based on On-Screen Text RecognitionДокукинАлександр АлександровичDokukinAleksandr Aleksandrovichadokukin@frccsc.ruФедеральный исследовательский центр «Информатика и управление» Российской академии наукFederal Research Center “Computer Science and Control” of the Russian Academy of Sciences20251912202528613681384Copyright © Докукин А.А., 20252025Докукин А.А.Dokukin A.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/624

Описано решение задачи тестирования контроллеров на основе чтения информации с их экрана. Для этого разработана программно-аппаратная система, состоящая из камеры и программных модулей, реализующих необходимые алгоритмы и методы: модуля предобработки изображения; модуля определения типа меню; модуля обработки символов шрифта; модуль чтения текста, в том числе, написанного различными шрифтами; собственно модуля тестирования. Система реализована для контроллеров определенного типа с монохромным дисплеем 128 х 64 точек. Все методы реализованы на языке Python с использованием популярных библиотек. Система внедрена в эксплуатацию и на данный момент осуществляет автоматизацию нескольких наиболее трудоемких тестов. Поддерживается расширение их набора в виде плагинов.

A solution for the problem of testing controllers based on reading information from their screens is described. A hardware and software system has been developed for this purpose, consisting of a camera and software modules implementing the necessary algorithms and methods: an image preprocessing module; a menu type detection module; a font character processing module; a text reading module, including one written in various fonts; and the testing module itself. The system has been developed for a specific type of controller with a monochrome 128x64 pixel display. All methods are implemented in Python using popular libraries. The system has been launched into test operation and currently automates several of the most labor-intensive tests. The test set can be expanded using plugins.

компьютерное зрениераспознавание текстатестирование контроллеровcomputer visiontext recognitioncontroller testingReferencesSmartWEB-K (In Russian) // [Electronic resource] https://www.teplostart.ru/download/booklets/SmartWEB-K.pdf (access date: 06.10.2025)SmartWEB-K (In Russian) // [Electronic resource] https://www.teplostart.ru/download/booklets/SmartWEB-K.pdf (access date: 06.10.2025)Dokukin A.A. O postroenii sistemy schityvaniya informacii s ekrana kontrollera (in Russian) // Intellectual Data Processing (IDP-2024): Book of Abstracts 15th Int. Conf. (Grodno, September 23–27, 2024) 2024. P. 92–93.Dokukin A.A. O postroenii sistemy schityvaniya informacii s ekrana kontrollera (in Russian) // Intellectual Data Processing (IDP-2024): Book of Abstracts 15th Int. Conf. (Grodno, September 23–27, 2024) 2024. P. 92–93.Dokukin A.A. Razvitie sistemy schityvaniya informacii s ekrana kontrollera (In Russian) // Mathematical Methods for Pattern Recognition (MMPR-2025): Book of Abstracts 22nd Russian Conf. with Int. Participation (Murom, September 22–26, 2025) 2025. P. 139–140.Dokukin A.A. Razvitie sistemy schityvaniya informacii s ekrana kontrollera (In Russian) // Mathematical Methods for Pattern Recognition (MMPR-2025): Book of Abstracts 22nd Russian Conf. with Int. Participation (Murom, September 22–26, 2025) 2025. P. 139–140.Le Cun Y., Boser B., Denker J. S., Henderson D., Howard R. E., Hubbard W., Jackel L. D. Handwritten Digit Recognition with a Back-Propagation Network // NIPS'89: Proc. 2nd Int. Conf. Neural Information Processing Systems. 1989. P. 396–404. https://proceedings.neurips.cc/paper/1989/file/53c3bce66e43be4f209556518c2fcb54-Paper.pdfLe Cun Y., Boser B., Denker J. S., Henderson D., Howard R. E., Hubbard W., Jackel L. D. Handwritten Digit Recognition with a Back-Propagation Network // NIPS'89: Proc. 2nd Int. Conf. Neural Information Processing Systems. 1989. P. 396–404. https://proceedings.neurips.cc/paper/1989/file/53c3bce66e43be4f209556518c2fcb54-Paper.pdfAnsel J., Yang E., He H. et al. PyTorch 2: Faster Machine Learning Through Dynamic Python Bytecode Transformation and Graph Compilation // 29th ACM Int. Conf. Architectural Support for Programming Languages and Operating Systems (ASPLOS '24). 2024. Vol. 2. https://doi.org/10.1145/3620665.3640366Ansel J., Yang E., He H. et al. PyTorch 2: Faster Machine Learning Through Dynamic Python Bytecode Transformation and Graph Compilation // 29th ACM Int. Conf. Architectural Support for Programming Languages and Operating Systems (ASPLOS '24). 2024. Vol. 2. https://doi.org/10.1145/3620665.3640366Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transact. on Systems, Man, and Cybernetics 9.1. 1979. P. 62–66. https://doi.org/10.1109/ TSMC.1979.4310076Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transact. on Systems, Man, and Cybernetics 9.1. 1979. P. 62–66. https://doi.org/10.1109/ TSMC.1979.4310076Bradski G. The OpenCV Library // Dr. Dobb's J. Software Tools. 2000. Vol. 120. P. 122–125.Bradski G. The OpenCV Library // Dr. Dobb's J. Software Tools. 2000. Vol. 120. P. 122–125.

The authors declare that there are no conflicts of interest present.