ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2023-26-6-760-777ellibs-485Research ArticleСтатьиИнструмент для распознавания языка жестов из видеопотока в режиме реального времениTool for Real-Time Sign Language Recognition from a Video StreamЗакирьяновИскандер ИлгизаровичZakiryanovIskander Ilgizarovichzakiryanov.iskander@mail.ruХаялееваИзида ЗуфаровнаKhayaleevaIzida Zufarovnaizidakh@yandex.ruВалишинИскандер АйратовичValishinIskander Airatovichiskander1998@list.ruКуритоЕгор ДмитриевичKuritoEgor Dmitrievichekurito@gmail.comФасхутдиновАзат НафисовичFaskhutdinovAzat Nafisovichazatazat835@mail.ruКазанский (Приволжский) Федеральный университетKazan (Volga region) Federal University202328122023266760–777Copyright © Закирьянов И.И., Хаялеева И.З., Валишин И.А., Курито Е.Д., Фасхутдинов А.Н., 20232023Закирьянов И.И., Хаялеева И.З., Валишин И.А., Курито Е.Д., Фасхутдинов А.Н.Zakiryanov I.I., Khayaleeva I.Z., Valishin I.A., Kurito E.D., Faskhutdinov A.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/485

Разработан инструмент, распознающий из видеопотока слова или отдельные буквы в режиме реального времени. Рассмотрены возможности и перспективы его применения в современном обществе. Приведены результаты экспериментов по проверке работоспособности этого инструмента на примере английских слов и латинских букв.

A tool has been developed that recognizes words or individual letters from a video stream in real time. The possibilities and prospects for its application in modern society are considered. The results of experiments to test the performance of this tool using the example of English words and Latin letters are presented.

распознавание жестовнейронные сетикомпьютерное зрениеYOLOgesture recognitionneural networkscomputer visionYOLOReferencesСтатистика по инвалидности в Российской Федерации. URL: https://rosstat.gov.ru/folder/13964.Статистика по инвалидности в Российской Федерации. URL: https://rosstat.gov.ru/folder/13964.Лугарези К. MediaPipe: фреймворк для построения конвейеров восприятия // Распределенные, параллельные и кластерные вычисления. 2019.Лугарези К. MediaPipe: фреймворк для построения конвейеров восприятия // Распределенные, параллельные и кластерные вычисления. 2019.Поляк М.Д., Кузьмин А.Д. Распознавание жестов в видеопотоке. // Сборник докладов Третьей Международной научной конференции. Санкт-Петербург, 2023.Поляк М.Д., Кузьмин А.Д. Распознавание жестов в видеопотоке. // Сборник докладов Третьей Международной научной конференции. Санкт-Петербург, 2023.Чанг Е.А., Беналькасар М.Е. Модель распознавания жестов рук в реальном времени с использованием методов глубокого обучения и сигналов ЭМГ. 27-я Европейская конференция по обработке сигналов. Ла-Корунья, Испания, 2019.Чанг Е.А., Беналькасар М.Е. Модель распознавания жестов рук в реальном времени с использованием методов глубокого обучения и сигналов ЭМГ. 27-я Европейская конференция по обработке сигналов. Ла-Корунья, Испания, 2019.Документация YOLOv8. URL: https://docs.ultralytics.comДокументация YOLOv8. URL: https://docs.ultralytics.comЧжоу Ч. и др. Обнаружение объектов за 20 лет: Обзор. // Компьютерное зрение и распознавание образов. 2019.Чжоу Ч. и др. Обнаружение объектов за 20 лет: Обзор. // Компьютерное зрение и распознавание образов. 2019.Сари И. и др. Сравнение производительности архитектур YOLOv5 и YOLOv8 при обнаружении человека с помощью аэрофотоснимков. // Ultima Computing Jurnal Sistem Komputer. 2023.Сари И. и др. Сравнение производительности архитектур YOLOv5 и YOLOv8 при обнаружении человека с помощью аэрофотоснимков. // Ultima Computing Jurnal Sistem Komputer. 2023.Набор данных букв американского языка жестов. URL: https://public.roboflow.com/object-detection/american-sign-language-letters/1Набор данных букв американского языка жестов. URL: https://public.roboflow.com/object-detection/american-sign-language-letters/1

The authors declare that there are no conflicts of interest present.