ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2023-26-4-483-497ellibs-385Research ArticleСтатьиРазработка cистемы поиска и индексирования контента аудиозаписейDevelopment of a System for Searching and Indexing the Content of Audio RecordingsКлимовР. А.KlimovR. A.itis.klimov@gmail.comЯкуповА. Ш.YakupovA. S.asyakupov@kpfu.ruКазанский (Приволжский) Федеральный университетKazan (Volga region) Federal University202328082023264483497Copyright © Климов Р.А., Якупов А.Ш., 20232023Климов Р.А., Якупов А.Ш.Klimov R.A., Yakupov A.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/385

Статья посвящена разработке системы поиска и индексации аудиофайлов с использованием автоматического распознавания речи (ASR) и Elasticsearch. Проанализированы актуальные системы транскрибирования аудиофайлов на русском языке и выбрана система whisper как лучшая. Создан алгоритм оптимизации скорости транскрибирования с помощью параллелизации процессов обработки файла, продемонстрирована его эффективность. Построена система на микросервисной архитектуре, способная индексировать контент аудиофайлов и их мета-данные для поиска. Результаты исследования показали, что предложенный подход может быть применен для создания эффективных и гибких систем поиска и аналитики аудиоинформации.

The article is devoted to the development of a search and indexing system for audio files using Automatic Speech Recognition (ASR) and Elasticsearch. Current Russian-language audio file transcription systems have been analyzed, and Whisper has been chosen as the best one. An algorithm for optimizing transcription speed using parallelization of file processing processes has been developed, and its effectiveness has been demonstrated. A microservice architecture-based system has been built, capable of indexing audio file content and their metadata for search purposes. The research results show that the proposed approach can be applied to create efficient and flexible systems for searching and analyzing audio information.

транскрибированиеиндексированиепараллелизациямикросервисымасштабируемостьtranscriptionindexingparallelizationmicroservicesscalabilityReferencesAWS Kendra Transcribe Media Search. URL: https://github.com/aws-samples/aws-kendra-transcribe-media-searchAWS Kendra Transcribe Media Search. URL: https://github.com/aws-samples/aws-kendra-transcribe-media-searchNoor J., Rownak A., Ratul R., Mondal J. Sherlok in OSS: A Novel Approach of Content-Based Searching on Object Storage System. 2023. URL: https://arxiv.org/pdf/2303.02105.pdf.Noor J., Rownak A., Ratul R., Mondal J. Sherlok in OSS: A Novel Approach of Content-Based Searching on Object Storage System. 2023. URL: https://arxiv.org/pdf/2303.02105.pdf.Swift Object Storage. URL: https://www.openstack.org/software/releases/zed/components/swiftSwift Object Storage. URL: https://www.openstack.org/software/releases/zed/components/swiftAdrakatti A., Mulia K.R. Research Challenges of Library and Information Science in retrieving content based Multimedia Information. 2023. URL:https://www.researchgate.net/publication/361107734_Research_Challenges_of_Library_and_Information_Science_in_retrieving_content_based_Multimedia_Information.Adrakatti A., Mulia K.R. Research Challenges of Library and Information Science in retrieving content based Multimedia Information. 2023. URL:https://www.researchgate.net/publication/361107734_Research_Challenges_of_Library_and_Information_Science_in_retrieving_content_based_Multimedia_Information.Google Speech. URL: https://console.cloud.google.com/speech/overview.Google Speech. URL: https://console.cloud.google.com/speech/overview.Vosk. URL: https://github.com/alphacep/vosk.Vosk. URL: https://github.com/alphacep/vosk.Yandex SpeechKit. URL: https://cloud.yandex.com/en/services/speechkit.Yandex SpeechKit. URL: https://cloud.yandex.com/en/services/speechkit.Whisper. URL: https://github.com/openai/whisper.Whisper. URL: https://github.com/openai/whisper.Подопригорова Н. С., Подопригорова С. С., Кан А. Д. Автоматическое распознавание речи в системе информационного поиска по аудио // Искусственный интеллект в автоматизированных системах управления и обработки данных, Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет). 2022. Т. 2. С. 339–345.Подопригорова Н. С., Подопригорова С. С., Кан А. Д. Автоматическое распознавание речи в системе информационного поиска по аудио // Искусственный интеллект в автоматизированных системах управления и обработки данных, Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет). 2022. Т. 2. С. 339–345.Morris A., Maier V., Green P. From WER and RIL to MER and WIL. 2004. URL:https://www.isca-speech.org/archive_v0/archive_papers/interspeech_2004/i04_2765.pdf.Morris A., Maier V., Green P. From WER and RIL to MER and WIL. 2004. URL:https://www.isca-speech.org/archive_v0/archive_papers/interspeech_2004/i04_2765.pdf.JiWER: A Simple and Fast Python Package to Evaluate an Automatic Speech Recognition System. URL: https://github.com/jitsi/jiwerJiWER: A Simple and Fast Python Package to Evaluate an Automatic Speech Recognition System. URL: https://github.com/jitsi/jiwerWhisper.cpp. URL: https://github.com/ggerganov/whisper.cppWhisper.cpp. URL: https://github.com/ggerganov/whisper.cppFaster-whisper. URL: https://github.com/guillaumekln/faster-whisperFaster-whisper. URL: https://github.com/guillaumekln/faster-whisperCTranslate2. URL: https://github.com/OpenNMT/CTranslate2/CTranslate2. URL: https://github.com/OpenNMT/CTranslate2/Prompt vs prefix in DecodingOptions. URL: https://github.com/openai/whisper/discussions/117Prompt vs prefix in DecodingOptions. URL: https://github.com/openai/whisper/discussions/117FFmpeg. URL: https://ffmpeg.org/FFmpeg. URL: https://ffmpeg.org/ElasticSearch. URL: https://www.elastic.co/ElasticSearch. URL: https://www.elastic.co/ElasticSearch More like this query URL: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-mlt-query.htmlElasticSearch More like this query URL: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-mlt-query.html

The authors declare that there are no conflicts of interest present.