Автоматизация сортировки материалов по тексту сценария для видеомонтажа

Процесс видеомонтажа включает множество трудоемких операций по сортировке и подготовке материалов, что требует значительных временных затрат. В статье описана разработка программного решения для автоматизации этих процессов с использованием технологии машинного обучения. Основное внимание уделено созданию системы, способной классифицировать и сортировать медиафайлы по тексту сценария, тем самым повышая эффективность подготовки материалов к монтажу. Система включает модули распознавания речи, классификации аудио и видео, а также алгоритмы определения соответствия сценарию. Тестирование показало, что предложенная система правильно классифицирует медиафайлы в большинстве случаев, что позволяет существенно сократить время на черновой монтаж.

видеомонтаж, автоматизация, машинное обучение, распознавание речи, классификация аудио, классификация видео, coreml, параллельные вычисления, сценарий, soundex, tf-idf, косинусное сходство, обработка естественного языка

1. Монтаж | Теория кино // Студия “Кинокафе”, 2019. URL: https://www.kinocafe.ru/theory/?tid=1221.

2. Сколько времени длится съемка сцены? // Celebrity.fm, 2020. URL: https://celebrity.fm/ru/how-long-does-filming-a-scene-take.

3. Кинопродюсерство в кинематографии // Allbest, 2020. URL: https://revolution.allbest.ru/culture/01202211_2.html#text.

4. Создание документального фильма: как работают монтажеры – победители «Эмми» // Sayhi, 2019. URL: https://say-hi.me/24-kadra/sozdanie-dokumentalnogo-filma-kak-rabotayut-montazhyory-pobediteli-emmi.html.

5. Media Composer // AVID, 2023. URL: https://ch.avid.com/media-composer.

6. Как правильно оформить сценарий – правила с примерами // BandBand, 2023. URL: https://bandband.ru/blog/kak-oformit-scenarij.

7. Whisper // OpenAI, 2022. URL: https://openai.com/research/whisper.

8. OpenAI Whisper // GitHub, 2022. URL: https://github.com/openai/ whisper.

9. SwiftWhisper // GitHub, 2023. URL: https://github.com/exPHAT/ SwiftWhisper.

10. WhisperKit // GitHub, 2024. URL: https://github.com/argmaxinc/ WhisperKit.

11. An Effective Review of Phonetics Algorithms // ResearchGate, 2023. URL: https://www.researchgate.net/publication/375967141_An_Effective_Review_of_Phonetics_Algorithms.

12. Russian Soundex // GitHub, 2022. URL: https://github.com/roddar92/ russian_soundex.

13. Про многопоточность 2. GCD // Habr, 2021. URL: https://habr.com/ru/articles/578752/.

14. Combine // Apple Developer Documentation, 2024. URL: https://developer.apple.com/documentation/combine.

15. Как правильно оформить сценарий – правила с примерами | Основные сценарные разделы // BandBand, 2023. URL: https://bandband.ru/blog/kak-oformit-scenarij#dirs.

16. Sound Analysis // Apple Developer, 2022. URL: https://developer.apple.com/documentation/soundanalysis.

17. YOLOv8 // Ultralytics, 2023. URL: https://docs.ultralytics.com/ru/ models/yolov8.

18. VisualActionKit // GitHub, 2020. URL: https://github.com/lukereichold/ VisualActionKit.

19. Creating an Image Classifier Model // Apple Developer, 2021. URL: https://developer.apple.com/documentation/createml/creating-an-image-classifier-model.

20. keremberke/indoor-scene-classification // Hugging Face, 2022. URL: https://huggingface.co/datasets/keremberke/indoor-scene-classification.

21. Sample usage for wordnet // NLTK, 2023. URL: https://www.nltk.org/howto/wordnet.html

22. Извлечение признаков из текстовых данных с использованием TF-IDF // Habr, 2023. URL: https://github.com/roddar92/russian_soundex.

23. Selecting the Optimal Probability Threshold for a Classification Model，ROC Curve Analysis and KS Score // DataScienceByExample, 2023. URL: https://www.datasciencebyexample.com/2023/04/19/choose-thresold-for-classification-model-with-ROC-analysis