ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2024-27-3-278-293ellibs-505Research ArticleСтатьиАвтоматизированное оценивание коротких ответов обучающихся с использованием языковых моделейAutomated Students' Short Answers Grading using Language ModelsМиннегалиеваЧулпан БакиевнаMinnegalievaChulpan Bakievnamchulpan@gmail.comКашаповИльнур ИлхамовичKashapovIlnur Ilhamovichk.i.i.08@yandex.ruМорозоваОльга ДмитриевнаMorozovaOlga Dmitrievnaolka30.olka30@mail.ruКазанский (Приволжский) Федеральный университетKazan (Volga region) Federal University202411022025273278293Copyright © Миннегалиева Ч.Б., Кашапов И.И., Морозова О.Д., 20252025Миннегалиева Ч.Б., Кашапов И.И., Морозова О.Д.Minnegalieva C.B., Kashapov I.I., Morozova O.D.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/505

Методы проверки ответов обучающихся с использованием языковых моделей в настоящее время исследуются разными специалистами. Результаты автоматизированного оценивания зависят от предметной области и особенностей учебной дисциплины. В работе проанализированы ответы студентов, полученные в ходе изучения курса «Компьютерная графика и дизайн». При помощи языковых моделей определены векторы документов. Предложен метод оценивания ответов через нахождение косинусного сходства полученных векторов и уточнение оценок проверкой ключевых слов. Результаты могут использоваться при предварительной проверке ответов студентов и являются базой для дальнейших исследований. 

Methods for assessing student answers using language models are currently being studied by various specialists. The results of automated assessment depend on the subject area and characteristics of the academic discipline. This paper analyzes the students’ answers received during the course «Computer Graphics and Design». It is proposed to determine the cosine similarity of document vectors obtained using language models and refine the estimates by checking keywords. The results obtained can be used for preliminary assessment of students' answers and are the basis for further research.

языковая модельконтроль знанийобработка текстаключевое слово ответаавтоматизированная оценка ответов обучающихсякосинусное сходствовекторное представление документаBERTword2vecоткрытый вопросlanguage modelknowledge controlnatural text processingstudent answer keywordautomated short answer gradingcosine similaritydocument vector representationBERTword2vecopen-ended questionReferencesШепелюк О.Л. Методы контроля знаний студентов в условиях реализации образовательных стандартов // Глобальный научный потенциал. 2021. № 8 (125). С. 112–114.Шепелюк О.Л. Методы контроля знаний студентов в условиях реализации образовательных стандартов // Глобальный научный потенциал. 2021. № 8 (125). С. 112–114.Бухман Л.М. Проблемы тестового контроля знаний и их решение // Известия Самарского научного центра Российской академии наук. 2010. Т. 12, № 5. С. 21–24.Бухман Л.М. Проблемы тестового контроля знаний и их решение // Известия Самарского научного центра Российской академии наук. 2010. Т. 12, № 5. С. 21–24.Тихонова Н.В. Организация контроля знаний студентов в условиях удаленного обучения // Казанский лингвистический журнал. 2021. Т. 4, № 1. С. 111–125.Тихонова Н.В. Организация контроля знаний студентов в условиях удаленного обучения // Казанский лингвистический журнал. 2021. Т. 4, № 1. С. 111–125.Атнагулов А.А., Абрамский М.М. О подходе к автоматизации оценки знаний в области разработки программного обеспечения на основе анализа данных проектной работы // Электронные библиотеки. 2023. Т. 26, № 5. С. 589–599.Атнагулов А.А., Абрамский М.М. О подходе к автоматизации оценки знаний в области разработки программного обеспечения на основе анализа данных проектной работы // Электронные библиотеки. 2023. Т. 26, № 5. С. 589–599.Жуков И.А. Система контроля знаний и практических навыков по программированию // Информатика и образование. 2023. Т. 38, № 2. С. 66–74.Жуков И.А. Система контроля знаний и практических навыков по программированию // Информатика и образование. 2023. Т. 38, № 2. С. 66–74.Nevzorova O.A., Falileeva M.V., Kirillovich A.V., Lipachev E.K., Shakirova L.R., Dyupina A.E. OntoMathEdu Educational Ontology: Problems of Ontological Engineering // Pattern Recognition and Image Analysis. 2023. V. 33 (3). P. 460–466.Nevzorova O.A., Falileeva M.V., Kirillovich A.V., Lipachev E.K., Shakirova L.R., Dyupina A.E. OntoMathEdu Educational Ontology: Problems of Ontological Engineering // Pattern Recognition and Image Analysis. 2023. V. 33 (3). P. 460–466.Burrows S., Gurevych I. and Stein B. The Eras and Trends of Automatic Short Answer Grading // International Journal of Artificial Intelligence in Education. 2015. V. 25. P. 60–117.Burrows S., Gurevych I. and Stein B. The Eras and Trends of Automatic Short Answer Grading // International Journal of Artificial Intelligence in Education. 2015. V. 25. P. 60–117.Yan L., Sha L., Zhao L., Li Y., Martinez-Maldonado R., Chen G., Li X., Jin Y., Gašević D. Practical and ethical challenges of large language models in education: A systematic scoping review // British Journal of Educational Technology. 2023. V. 55, Is. 1. P. 90–112.Yan L., Sha L., Zhao L., Li Y., Martinez-Maldonado R., Chen G., Li X., Jin Y., Gašević D. Practical and ethical challenges of large language models in education: A systematic scoping review // British Journal of Educational Technology. 2023. V. 55, Is. 1. P. 90–112.Zirar A. Exploring the impact of language models, such as ChatGPT, on student learning and assessment // Review of Education.2023. V. 11, e3433.Zirar A. Exploring the impact of language models, such as ChatGPT, on student learning and assessment // Review of Education.2023. V. 11, e3433.Sundaram S.S., Gurajada S., Padmanabhan D., Sam Abraham S., Fisichella M. Does a language model “understand” high school math? A survey of deep learning based word problem solvers // WIREs Data Mining and Knowledge Discovery. 2024. 1534.Sundaram S.S., Gurajada S., Padmanabhan D., Sam Abraham S., Fisichella M. Does a language model “understand” high school math? A survey of deep learning based word problem solvers // WIREs Data Mining and Knowledge Discovery. 2024. 1534.Гиниятуллин В.М., Ермолаев Е.В., Салихова М.А., Хлыбов А.В., Чурилов Д.А., Чурилова Е.А. Исследование структуры и содержания компетенций с помощью языковой модели ELMO // Современные наукоемкие технологии. 2021. № 8. С. 58–65.Гиниятуллин В.М., Ермолаев Е.В., Салихова М.А., Хлыбов А.В., Чурилов Д.А., Чурилова Е.А. Исследование структуры и содержания компетенций с помощью языковой модели ELMO // Современные наукоемкие технологии. 2021. № 8. С. 58–65.Лагутина Н.С., Лагутина К.В., Бредерман А.М., Касаткина Н.Н. Классификация текстов по уровням CEFR с использованием методов машинного обучения и языковой модели BERT // Моделирование и анализ информационных систем. 2023. Т. 30, № 3. С. 202–213.Лагутина Н.С., Лагутина К.В., Бредерман А.М., Касаткина Н.Н. Классификация текстов по уровням CEFR с использованием методов машинного обучения и языковой модели BERT // Моделирование и анализ информационных систем. 2023. Т. 30, № 3. С. 202–213.Ahmed A., Joorabchi A., Hayes M. On Deep Learning Approaches to Automated Assessment: Strategies for Short Answer Grading //In Proceedings of the 14th International Conference on Computer Supported Education (CSEDU 2022). 2022. V. 2. P. 85–94.Ahmed A., Joorabchi A., Hayes M. On Deep Learning Approaches to Automated Assessment: Strategies for Short Answer Grading //In Proceedings of the 14th International Conference on Computer Supported Education (CSEDU 2022). 2022. V. 2. P. 85–94.Agarwal D., Gupta S., Baghel N. ScAA: A Dataset for Automated Short Answer Grading of Children’s Free-text Answers in Hindi and Marathi // Proceedings of the 17th International Conference on Natural Language Processing, Patna, India, December 18 – 21, 2020. P. 430–436.Agarwal D., Gupta S., Baghel N. ScAA: A Dataset for Automated Short Answer Grading of Children’s Free-text Answers in Hindi and Marathi // Proceedings of the 17th International Conference on Natural Language Processing, Patna, India, December 18 – 21, 2020. P. 430–436.Wilianto D., Girsang A.S. Automatic Short Answer Grading on High School’s E-Learning Using Semantic Similarity Methods // TEM Journal. 2023. V. 12, Is. 1. P. 297–302.Wilianto D., Girsang A.S. Automatic Short Answer Grading on High School’s E-Learning Using Semantic Similarity Methods // TEM Journal. 2023. V. 12, Is. 1. P. 297–302.Divya A., Haridas V. and Narayanan J. Automation of Short Answer Grading Techniques: Comparative Study using Deep Learning Techniques // 2023 Fifth International Conference on Electrical, Computer and Communication Technologies (ICECCT), Erode, India. 2023. P. 1–7.Divya A., Haridas V. and Narayanan J. Automation of Short Answer Grading Techniques: Comparative Study using Deep Learning Techniques // 2023 Fifth International Conference on Electrical, Computer and Communication Technologies (ICECCT), Erode, India. 2023. P. 1–7.Ярушкина Н.Г., Мошкин В.С., Константинов А.А. Применение языковых моделей word2vec и bert в задаче сентимент-анализа текстовых сообщений социальных сетей // Автоматизация процессов управления. 2020. № 3 (61). С. 60–69.Ярушкина Н.Г., Мошкин В.С., Константинов А.А. Применение языковых моделей word2vec и bert в задаче сентимент-анализа текстовых сообщений социальных сетей // Автоматизация процессов управления. 2020. № 3 (61). С. 60–69.Минаев В.А., Симонов А.В. Сравнение моделей-трансформеров BERT при выявлении деструктивного контента в социальных медиа // Информация и безопасность. 2022. Т. 25, № 3. С. 341–348.Минаев В.А., Симонов А.В. Сравнение моделей-трансформеров BERT при выявлении деструктивного контента в социальных медиа // Информация и безопасность. 2022. Т. 25, № 3. С. 341–348.Surov I. Opening the Black Box: Finding Osgood's Semantic Factors in Word2vec Space // Informatics and Automation. 2022. V. 21, No. 5. P. 916–936.Surov I. Opening the Black Box: Finding Osgood's Semantic Factors in Word2vec Space // Informatics and Automation. 2022. V. 21, No. 5. P. 916–936.Миннегалиева Ч.Б., Сабитова Г.А., Гаялиев А.М. Метод предварительной оценки ответов обучающихся на основе векторной модели документов // Электронные библиотеки. 2023. Т. 26, № 3. С. 324–339.Миннегалиева Ч.Б., Сабитова Г.А., Гаялиев А.М. Метод предварительной оценки ответов обучающихся на основе векторной модели документов // Электронные библиотеки. 2023. Т. 26, № 3. С. 324–339.Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) Hong Kong, China Association for Computational Linguistics. 2019. P. 3982–3992.Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) Hong Kong, China Association for Computational Linguistics. 2019. P. 3982–3992.Кожевников В.А., Сабинин О.Ю. Система автоматической проверки ответов на открытые вопросы на русском языке // Научно-технические возможности СПбГПУ. 2018. Т. 11, № 3. С. 57–72.Кожевников В.А., Сабинин О.Ю. Система автоматической проверки ответов на открытые вопросы на русском языке // Научно-технические возможности СПбГПУ. 2018. Т. 11, № 3. С. 57–72.

The authors declare that there are no conflicts of interest present.