Tool for Real-Time Sign Language Recognition from a Video Stream
https://doi.org/10.26907/1562-5419-2023-26-6-760–777
Abstract
A tool has been developed that recognizes words or individual letters from a video stream in real time. The possibilities and prospects for its application in modern society are considered. The results of experiments to test the performance of this tool using the example of English words and Latin letters are presented.
About the Authors
Iskander Ilgizarovich Zakiryanov
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
Izida Zufarovna Khayaleeva
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
Iskander Airatovich Valishin
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
Egor Dmitrievich Kurito
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
Azat Nafisovich Faskhutdinov
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
References
1. Статистика по инвалидности в Российской Федерации. URL: https://rosstat.gov.ru/folder/13964.
2. Лугарези К. MediaPipe: фреймворк для построения конвейеров восприятия // Распределенные, параллельные и кластерные вычисления. 2019.
3. Поляк М.Д., Кузьмин А.Д. Распознавание жестов в видеопотоке. // Сборник докладов Третьей Международной научной конференции. Санкт-Петербург, 2023.
4. Чанг Е.А., Беналькасар М.Е. Модель распознавания жестов рук в реальном времени с использованием методов глубокого обучения и сигналов ЭМГ. 27-я Европейская конференция по обработке сигналов. Ла-Корунья, Испания, 2019.
5. Документация YOLOv8. URL: https://docs.ultralytics.com
6. Чжоу Ч. и др. Обнаружение объектов за 20 лет: Обзор. // Компьютерное зрение и распознавание образов. 2019.
7. Сари И. и др. Сравнение производительности архитектур YOLOv5 и YOLOv8 при обнаружении человека с помощью аэрофотоснимков. // Ultima Computing Jurnal Sistem Komputer. 2023.
8. Набор данных букв американского языка жестов. URL: https://public.roboflow.com/object-detection/american-sign-language-letters/1
Review
For citations:
Zakiryanov I.I., Khayaleeva I.Z., Valishin I.A., Kurito E.D., Faskhutdinov A.N. Tool for Real-Time Sign Language Recognition from a Video Stream. Russian Digital Libraries Journal. 2023;26(6):760–777. (In Russ.) https://doi.org/10.26907/1562-5419-2023-26-6-760–777
Views:
124
Email this article 