ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2024-27-4-533-557ellibs-561Research ArticleСтатьиАвтоматизация сортировки материалов по тексту сценария для видеомонтажаAutomation of Footages Sorting by Screenplay Text for Video EditingНемановАндрей ДмитриевичNemanovAndrey Dmitrievichandrewoch@yandex.ruШаховаИрина СергеевнаShakhovaIrina Sergeevnais@it.kfu.ruКазанский (Приволжский) федеральный университетKazan (Volga region) Federal University202428052025274533557Copyright © Неманов А.Д., Шахова И.С., 20252025Неманов А.Д., Шахова И.С.Nemanov A.D., Shakhova I.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/561

Процесс видеомонтажа включает множество трудоемких операций по сортировке и подготовке материалов, что требует значительных временных затрат. В статье описана разработка программного решения для автоматизации этих процессов с использованием технологии машинного обучения. Основное внимание уделено созданию системы, способной классифицировать и сортировать медиафайлы по тексту сценария, тем самым повышая эффективность подготовки материалов к монтажу. Система включает модули распознавания речи, классификации аудио и видео, а также алгоритмы определения соответствия сценарию. Тестирование показало, что предложенная система правильно классифицирует медиафайлы в большинстве случаев, что позволяет существенно сократить время на черновой монтаж.

The video editing process involves numerous labor-intensive operations for sorting and preparing footages, requiring significant time investment. This article describes the development of a software solution that uses machine learning technology to automate these processes. The primary focus is on creating a system capable of classifying and sorting media files according to the screenplay text, thereby increasing the efficiency of material preparation for editing. The system includes modules for speech recognition, audio and video classification, and algorithms for determining screenplay compliance. Testing showed that the proposed system correctly classifies media files in most cases, significantly reducing rough-cut editing time.

видеомонтажавтоматизациямашинное обучениераспознавание речиклассификация аудиоклассификация видеоcoremlпараллельные вычислениясценарийsoundextf-idfкосинусное сходствообработка естественного языкаvideo editingautomationmachine learningspeech recognitionaudio classificationvideo classificationcoremlparallel computingscreenplaysoundextf-idfcosine similaritynatural language processingReferencesМонтаж | Теория кино // Студия “Кинокафе”, 2019. URL: https://www.kinocafe.ru/theory/?tid=1221.Монтаж | Теория кино // Студия “Кинокафе”, 2019. URL: https://www.kinocafe.ru/theory/?tid=1221.Сколько времени длится съемка сцены? // Celebrity.fm, 2020. URL: https://celebrity.fm/ru/how-long-does-filming-a-scene-take.Сколько времени длится съемка сцены? // Celebrity.fm, 2020. URL: https://celebrity.fm/ru/how-long-does-filming-a-scene-take.Кинопродюсерство в кинематографии // Allbest, 2020. URL: https://revolution.allbest.ru/culture/01202211_2.html#text.Кинопродюсерство в кинематографии // Allbest, 2020. URL: https://revolution.allbest.ru/culture/01202211_2.html#text.Создание документального фильма: как работают монтажеры – победители «Эмми» // Sayhi, 2019. URL: https://say-hi.me/24-kadra/sozdanie-dokumentalnogo-filma-kak-rabotayut-montazhyory-pobediteli-emmi.html.Создание документального фильма: как работают монтажеры – победители «Эмми» // Sayhi, 2019. URL: https://say-hi.me/24-kadra/sozdanie-dokumentalnogo-filma-kak-rabotayut-montazhyory-pobediteli-emmi.html.Media Composer // AVID, 2023. URL: https://ch.avid.com/media-composer.Media Composer // AVID, 2023. URL: https://ch.avid.com/media-composer.Как правильно оформить сценарий – правила с примерами // BandBand, 2023. URL: https://bandband.ru/blog/kak-oformit-scenarij.Как правильно оформить сценарий – правила с примерами // BandBand, 2023. URL: https://bandband.ru/blog/kak-oformit-scenarij.Whisper // OpenAI, 2022. URL: https://openai.com/research/whisper.Whisper // OpenAI, 2022. URL: https://openai.com/research/whisper.OpenAI Whisper // GitHub, 2022. URL: https://github.com/openai/ whisper.OpenAI Whisper // GitHub, 2022. URL: https://github.com/openai/ whisper.SwiftWhisper // GitHub, 2023. URL: https://github.com/exPHAT/ SwiftWhisper.SwiftWhisper // GitHub, 2023. URL: https://github.com/exPHAT/ SwiftWhisper.WhisperKit // GitHub, 2024. URL: https://github.com/argmaxinc/ WhisperKit.WhisperKit // GitHub, 2024. URL: https://github.com/argmaxinc/ WhisperKit.An Effective Review of Phonetics Algorithms // ResearchGate, 2023. URL: https://www.researchgate.net/publication/375967141_An_Effective_Review_of_Phonetics_Algorithms.An Effective Review of Phonetics Algorithms // ResearchGate, 2023. URL: https://www.researchgate.net/publication/375967141_An_Effective_Review_of_Phonetics_Algorithms.Russian Soundex // GitHub, 2022. URL: https://github.com/roddar92/ russian_soundex.Russian Soundex // GitHub, 2022. URL: https://github.com/roddar92/ russian_soundex.Про многопоточность 2. GCD // Habr, 2021. URL: https://habr.com/ru/articles/578752/.Про многопоточность 2. GCD // Habr, 2021. URL: https://habr.com/ru/articles/578752/.Combine // Apple Developer Documentation, 2024. URL: https://developer.apple.com/documentation/combine.Combine // Apple Developer Documentation, 2024. URL: https://developer.apple.com/documentation/combine.Как правильно оформить сценарий – правила с примерами | Основные сценарные разделы // BandBand, 2023. URL: https://bandband.ru/blog/kak-oformit-scenarij#dirs.Как правильно оформить сценарий – правила с примерами | Основные сценарные разделы // BandBand, 2023. URL: https://bandband.ru/blog/kak-oformit-scenarij#dirs.Sound Analysis // Apple Developer, 2022. URL: https://developer.apple.com/documentation/soundanalysis.Sound Analysis // Apple Developer, 2022. URL: https://developer.apple.com/documentation/soundanalysis.YOLOv8 // Ultralytics, 2023. URL: https://docs.ultralytics.com/ru/ models/yolov8.YOLOv8 // Ultralytics, 2023. URL: https://docs.ultralytics.com/ru/ models/yolov8.VisualActionKit // GitHub, 2020. URL: https://github.com/lukereichold/ VisualActionKit.VisualActionKit // GitHub, 2020. URL: https://github.com/lukereichold/ VisualActionKit.Creating an Image Classifier Model // Apple Developer, 2021. URL: https://developer.apple.com/documentation/createml/creating-an-image-classifier-model.Creating an Image Classifier Model // Apple Developer, 2021. URL: https://developer.apple.com/documentation/createml/creating-an-image-classifier-model.keremberke/indoor-scene-classification // Hugging Face, 2022. URL: https://huggingface.co/datasets/keremberke/indoor-scene-classification.keremberke/indoor-scene-classification // Hugging Face, 2022. URL: https://huggingface.co/datasets/keremberke/indoor-scene-classification.Sample usage for wordnet // NLTK, 2023. URL: https://www.nltk.org/howto/wordnet.htmlSample usage for wordnet // NLTK, 2023. URL: https://www.nltk.org/howto/wordnet.htmlИзвлечение признаков из текстовых данных с использованием TF-IDF // Habr, 2023. URL: https://github.com/roddar92/russian_soundex.Извлечение признаков из текстовых данных с использованием TF-IDF // Habr, 2023. URL: https://github.com/roddar92/russian_soundex.Selecting the Optimal Probability Threshold for a Classification Model，ROC Curve Analysis and KS Score // DataScienceByExample, 2023. URL: https://www.datasciencebyexample.com/2023/04/19/choose-thresold-for-classification-model-with-ROC-analysisSelecting the Optimal Probability Threshold for a Classification Model，ROC Curve Analysis and KS Score // DataScienceByExample, 2023. URL: https://www.datasciencebyexample.com/2023/04/19/choose-thresold-for-classification-model-with-ROC-analysis

The authors declare that there are no conflicts of interest present.