ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2020-23-6-1213-1238ellibs-257Research ArticleСтатьиПространственная ориентация объектов на основе обработки текстов на естественном языке для генерации раскадровокSpatial Orientation Of Objects Based On Processing Of A Natural Language Text For Storyboard GenerationКугураковаВ. В.KugurakovaV. V.vlada.kugurakova@gmail.comСахибгарееваГ. Ф.SahibgareevaG. F.gulnara.sahibgareeva42@gmail.comНгуенА. З.NguyenA. Z.zung.nguyen.98@gmail.comАстафьевА.AstafievA. M.xiaomao472@gmail.com20202812202023612131238Copyright © Кугуракова В.В., Сахибгареева Г.Ф., Нгуен А.З., Астафьев A.А., 20202020Кугуракова В.В., Сахибгареева Г.Ф., Нгуен А.З., Астафьев A.А.Kugurakova V.V., Sahibgareeva G.F., Nguyen A.Z., Astafiev A.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/257

Статья посвящена подходам в обработке текста на естественном языке для выяснения конкретного пространственного взаиморасположения объектов и трехмерной покадровой визуализации. Предложенные алгоритмы учитывают влияние явных ограничений извлеченных пространственных отношений и позволяют создавать вероятные трехмерные схемы расположения объектов на сцене. Такие пространственные схемы необходимы для уточнения воплощения замысла сценариста при проектировании видеоигр. Для создания удачных кадров использованы такие правила режиссуры, как учет плана, поворот камеры и другие композиционные нюансы.

The article is devoted to our approaches to processing text in natural language to clarify the specific spatial relationship of objects and three-dimensional frame-by-frame visualization. The proposed approach allows us to show how the explicit constraints of the extracted spatial relationships affect and makes it possible to create possible layouts of objects on the scene. Natural language interpretations for spatial knowledge can generate three-dimensional scenes, which in turn are necessary to translate the scriptwriter's intent into the design of video games. The work also takes into account the rules of directing to create successful shots. Among them, accounting for the plan, camera rotation, as well as compositional nuances.

преобразование текста в изображениепреобразование текста в сценупреобразование текста в анимациюпонимание естественного языкасценарийвидеоиграсценарный прототипположение камерырежиссураtext-to-picture conversiontext-to-scene conversiontext-to-animation conversionnatural language understandingvideo gamescenarioscenario prototypeReferencesСахибгареева Г.Ф., Бедрин О.А., Кугуракова В.В. Разработка компо-нента генерации визуализации сценарного прототипа видеоигр // Научный сер-вис в сети Интернет: труды XXII Всероссийской научной конференции. М.: ИПМ им. М.В. Келдыша, 2020. С. 581–603.Сахибгареева Г.Ф., Бедрин О.А., Кугуракова В.В. Разработка компо-нента генерации визуализации сценарного прототипа видеоигр // Научный сер-вис в сети Интернет: труды XXII Всероссийской научной конференции. М.: ИПМ им. М.В. Келдыша, 2020. С. 581–603.Сахибгареева Г.Ф. Разработка решения для визуализации сценарно-го прототипа инструментами генерации раскадровок // Выпускная квалифика-ционная работа магистратуры Высшей школы ИТИС. Казанский федеральный университет, Казань, 2020. 75 с.Сахибгареева Г.Ф. Разработка решения для визуализации сценарно-го прототипа инструментами генерации раскадровок // Выпускная квалифика-ционная работа магистратуры Высшей школы ИТИС. Казанский федеральный университет, Казань, 2020. 75 с.URL: https://kpfu.ru/student_diplom/10.160.178.20_X87SBS2R8OQUD822Q1Y9MOGMYD_6QTSVCTR0JTXAC5Z54A_W6A_Sahibgareeva.pdf.URL: https://kpfu.ru/student_diplom/10.160.178.20_X87SBS2R8OQUD822Q1Y9MOGMYD_6QTSVCTR0JTXAC5Z54A_W6A_Sahibgareeva.pdf.Сахибгареева Г.Ф. Разработка инструмента для создания игрового сценарного прототипа: выпускная квалификационная работа бакалавриата Выс-шей школы ИТИС. Казанский федеральный университет, Казань, 2018. 57 с.Сахибгареева Г.Ф. Разработка инструмента для создания игрового сценарного прототипа: выпускная квалификационная работа бакалавриата Выс-шей школы ИТИС. Казанский федеральный университет, Казань, 2018. 57 с.URL: https://kpfu.ru/student_diplom/10.160.178.20_9311629_F_Sahibgareeva.pdf.URL: https://kpfu.ru/student_diplom/10.160.178.20_9311629_F_Sahibgareeva.pdf.Хейг М. Голливудский стандарт: как написать сценарий для кино и ТВ, который купят / Майкл Хейг; Пер. с англ. М.: Альпина нон-фикшн, 2017. 388 с.Хейг М. Голливудский стандарт: как написать сценарий для кино и ТВ, который купят / Майкл Хейг; Пер. с англ. М.: Альпина нон-фикшн, 2017. 388 с.Lee N., Madej K. Disney Stories: Getting to Digital. Springer, 2012. 114 с.Lee N., Madej K. Disney Stories: Getting to Digital. Springer, 2012. 114 с.Storyboarder: Wonder Unit. Режим доступа:Storyboarder: Wonder Unit. Режим доступа:URL: https://wonderunit.com/storyboarder/ (Дата обращения: 12.05.2020).URL: https://wonderunit.com/storyboarder/ (Дата обращения: 12.05.2020).Thompson R. Grammar of the Shot. Focal Press, 1998. 219 p.Thompson R. Grammar of the Shot. Focal Press, 1998. 219 p.Hockrow R. Out of Order: Storytelling Techniques for Video and Cinema Editors. Peachpit Press, 2014. 240 p.Hockrow R. Out of Order: Storytelling Techniques for Video and Cinema Editors. Peachpit Press, 2014. 240 p.Dise J. Filmmaking 101: Camera Shot // Explora, 2017. Режим доступа: URL: https://www.bhphotovideo.com/explora/video/tips-andsolutions/filmm aking-101-camera-shot-types (Дата обращения: 6.04.2020).Dise J. Filmmaking 101: Camera Shot // Explora, 2017. Режим доступа: URL: https://www.bhphotovideo.com/explora/video/tips-andsolutions/filmm aking-101-camera-shot-types (Дата обращения: 6.04.2020).Gallea R., Ardizzone E., Pirrone R. Automatic aesthetic photo composition // International Conference on Image Analysis and Processing. Springer, Berlin, Heidelberg, 2013. P. 21–30.Gallea R., Ardizzone E., Pirrone R. Automatic aesthetic photo composition // International Conference on Image Analysis and Processing. Springer, Berlin, Heidelberg, 2013. P. 21–30.Olivier P., Tsujii J. A computational view of the cognitive semantics of spatial prepositions // Proceedings of the 32nd annual meeting on Association for Computational Linguistics. Association for Computational Linguistics, 1994. P. 303–309.Olivier P., Tsujii J. A computational view of the cognitive semantics of spatial prepositions // Proceedings of the 32nd annual meeting on Association for Computational Linguistics. Association for Computational Linguistics, 1994. P. 303–309.Egizii M.L. et al. Which way did he go? Directionality of film character and camera movement and subsequent spectator interpretation // International Communication Association conference. Phoenix, AZ, 2012. Режим доступа:Egizii M.L. et al. Which way did he go? Directionality of film character and camera movement and subsequent spectator interpretation // International Communication Association conference. Phoenix, AZ, 2012. Режим доступа:URL: https://www.researchgate.net/publication/228448619_Which_Way_Did_He_Go_Directionality_of_Film_Character_and_Camera_Movement_and_Subsequent_Spectator_Interpretation (Дата обращения: 28.04.2020).URL: https://www.researchgate.net/publication/228448619_Which_Way_Did_He_Go_Directionality_of_Film_Character_and_Camera_Movement_and_Subsequent_Spectator_Interpretation (Дата обращения: 28.04.2020).Coyne B., Sproat R. WordsEye: an automatic text-to-scene conversion system // Proceedings of the 28th annual Conference on Computer Graphics and In-teractive Techniques, 2001. P. 487–496.Coyne B., Sproat R. WordsEye: an automatic text-to-scene conversion system // Proceedings of the 28th annual Conference on Computer Graphics and In-teractive Techniques, 2001. P. 487–496.Ulinski M., Coyne B., Hirschberg J. Evaluating the WordsEye Text-to-Scene System: Imaginative and Realistic Sentences // Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018. P. 1493–1499.Ulinski M., Coyne B., Hirschberg J. Evaluating the WordsEye Text-to-Scene System: Imaginative and Realistic Sentences // Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018. P. 1493–1499.Coyne B., Sproat R., Hirschberg J. Spatial relations in text-to-scene con-version // Computational Models of Spatial Language Interpretation, Workshop at Spatial Cognition, 2010. 8 p.Coyne B., Sproat R., Hirschberg J. Spatial relations in text-to-scene con-version // Computational Models of Spatial Language Interpretation, Workshop at Spatial Cognition, 2010. 8 p.Coyne B., Klapheke A., Rouhizadeh M., Sproat R., Bauer D. Annotation tools and knowledge representation for a text-to-scene system // Proceedings of COLING 2012: Technical Papers. 2012. P. 679–694.Coyne B., Klapheke A., Rouhizadeh M., Sproat R., Bauer D. Annotation tools and knowledge representation for a text-to-scene system // Proceedings of COLING 2012: Technical Papers. 2012. P. 679–694.Elliott D., Keller F. Image description using visual dependency representa-tions // Proceedings of Empirical Methods in Natural Language Processing (EMNLP). 2013. P. 1292–1302.Elliott D., Keller F. Image description using visual dependency representa-tions // Proceedings of Empirical Methods in Natural Language Processing (EMNLP). 2013. P. 1292–1302.Chang A.X., Savva M., Manning Ch.D. Learning Spatial Knowledge for Text to 3D Scene Generation // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2014. P. 2028–2038.Chang A.X., Savva M., Manning Ch.D. Learning Spatial Knowledge for Text to 3D Scene Generation // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2014. P. 2028–2038.spaCy: библиотека для NLP // Официальный сайт spaCy с документа-цией. Режим доступа: URL: https://spacy.io (Дата обращения: 10.06.2020).spaCy: библиотека для NLP // Официальный сайт spaCy с документа-цией. Режим доступа: URL: https://spacy.io (Дата обращения: 10.06.2020).Нгуен А.З. Генерация окружения на основе текстового описания: вы-пускная квалификационная работа бакалавриата Высшей школы ИТИС. Казан-ский федеральный университет, Казань, 2020. 45 с.Нгуен А.З. Генерация окружения на основе текстового описания: вы-пускная квалификационная работа бакалавриата Высшей школы ИТИС. Казан-ский федеральный университет, Казань, 2020. 45 с.URL: https://kpfu.ru/student_diplom/10.160.178.20_0W9ARNOUY_98UU56A_D0JDQMEBFOF__66GZP8OQRFCLC4RY26N_F_Nguyen.pdf.URL: https://kpfu.ru/student_diplom/10.160.178.20_0W9ARNOUY_98UU56A_D0JDQMEBFOF__66GZP8OQRFCLC4RY26N_F_Nguyen.pdf.Hassani K., Lee W.-S. Visualizing Natural Language Descriptions // ACM Computing Surveys. 2016. V. 49(1). P. 1–34.Hassani K., Lee W.-S. Visualizing Natural Language Descriptions // ACM Computing Surveys. 2016. V. 49(1). P. 1–34.Астафьев А.М. Разработка инструмента для сборки сцен по тегам: выпускная квалификационная работа бакалавриата Высшей школы ИТИС. Казанский федеральный университет, Казань, 2020. 75 с.Астафьев А.М. Разработка инструмента для сборки сцен по тегам: выпускная квалификационная работа бакалавриата Высшей школы ИТИС. Казанский федеральный университет, Казань, 2020. 75 с.URL: https://kpfu.ru/student_diplom/10.160.178.20_FPEBER9KDIZQVYJAE3VRTIFYWZB_CDDM972OPP2I28S0EEFABT_Astafev.pdf.URL: https://kpfu.ru/student_diplom/10.160.178.20_FPEBER9KDIZQVYJAE3VRTIFYWZB_CDDM972OPP2I28S0EEFABT_Astafev.pdf.Episodes of “The Bridge” / Киносериал // BBC. 2020. Режим доступа: URL: https://www.bbc.co.uk/programmes/b01gxlxj/episodes/guide (Дата обраще-ния: 24.04.2020).Episodes of “The Bridge” / Киносериал // BBC. 2020. Режим доступа: URL: https://www.bbc.co.uk/programmes/b01gxlxj/episodes/guide (Дата обраще-ния: 24.04.2020).Сахибгареева Г.Ф., Кугуракова В.В. Концепт инструмента автомати-ческого создания сценарного прототипа компьютерной игры // Электронные библиотеки. 2018. Т. 21, №3-4. C. 235–249.Сахибгареева Г.Ф., Кугуракова В.В. Концепт инструмента автомати-ческого создания сценарного прототипа компьютерной игры // Электронные библиотеки. 2018. Т. 21, №3-4. C. 235–249.Антонов И.О., Зезегова К.В., Кугуракова В.В., Лазарев Е.Н., Хафи-зов М.Р. Программирование запахов для виртуального осмотра места происше-ствия // Электронные библиотеки. 2018. T. 21, № 3-4. C. 301–313.Антонов И.О., Зезегова К.В., Кугуракова В.В., Лазарев Е.Н., Хафи-зов М.Р. Программирование запахов для виртуального осмотра места происше-ствия // Электронные библиотеки. 2018. T. 21, № 3-4. C. 301–313.

The authors declare that there are no conflicts of interest present.