Автоматизированное оценивание коротких ответов обучающихся с использованием языковых моделей

Методы проверки ответов обучающихся с использованием языковых моделей в настоящее время исследуются разными специалистами. Результаты автоматизированного оценивания зависят от предметной области и особенностей учебной дисциплины. В работе проанализированы ответы студентов, полученные в ходе изучения курса «Компьютерная графика и дизайн». При помощи языковых моделей определены векторы документов. Предложен метод оценивания ответов через нахождение косинусного сходства полученных векторов и уточнение оценок проверкой ключевых слов. Результаты могут использоваться при предварительной проверке ответов студентов и являются базой для дальнейших исследований. 

языковая модель, контроль знаний, обработка текста, ключевое слово ответа, автоматизированная оценка ответов обучающихся, косинусное сходство, векторное представление документа, BERT, word2vec, открытый вопрос

1. Шепелюк О.Л. Методы контроля знаний студентов в условиях реализации образовательных стандартов // Глобальный научный потенциал. 2021. № 8 (125). С. 112–114.

2. Бухман Л.М. Проблемы тестового контроля знаний и их решение // Известия Самарского научного центра Российской академии наук. 2010. Т. 12, № 5. С. 21–24.

3. Тихонова Н.В. Организация контроля знаний студентов в условиях удаленного обучения // Казанский лингвистический журнал. 2021. Т. 4, № 1. С. 111–125.

4. Атнагулов А.А., Абрамский М.М. О подходе к автоматизации оценки знаний в области разработки программного обеспечения на основе анализа данных проектной работы // Электронные библиотеки. 2023. Т. 26, № 5. С. 589–599.

5. Жуков И.А. Система контроля знаний и практических навыков по программированию // Информатика и образование. 2023. Т. 38, № 2. С. 66–74.

6. Nevzorova O.A., Falileeva M.V., Kirillovich A.V., Lipachev E.K., Shakirova L.R., Dyupina A.E. OntoMathEdu Educational Ontology: Problems of Ontological Engineering // Pattern Recognition and Image Analysis. 2023. V. 33 (3). P. 460–466.

7. Burrows S., Gurevych I. and Stein B. The Eras and Trends of Automatic Short Answer Grading // International Journal of Artificial Intelligence in Education. 2015. V. 25. P. 60–117.

8. Yan L., Sha L., Zhao L., Li Y., Martinez-Maldonado R., Chen G., Li X., Jin Y., Gašević D. Practical and ethical challenges of large language models in education: A systematic scoping review // British Journal of Educational Technology. 2023. V. 55, Is. 1. P. 90–112.

9. Zirar A. Exploring the impact of language models, such as ChatGPT, on student learning and assessment // Review of Education.2023. V. 11, e3433.

10. Sundaram S.S., Gurajada S., Padmanabhan D., Sam Abraham S., Fisichella M. Does a language model “understand” high school math? A survey of deep learning based word problem solvers // WIREs Data Mining and Knowledge Discovery. 2024. 1534.

11. Гиниятуллин В.М., Ермолаев Е.В., Салихова М.А., Хлыбов А.В., Чурилов Д.А., Чурилова Е.А. Исследование структуры и содержания компетенций с помощью языковой модели ELMO // Современные наукоемкие технологии. 2021. № 8. С. 58–65.

12. Лагутина Н.С., Лагутина К.В., Бредерман А.М., Касаткина Н.Н. Классификация текстов по уровням CEFR с использованием методов машинного обучения и языковой модели BERT // Моделирование и анализ информационных систем. 2023. Т. 30, № 3. С. 202–213.

13. Ahmed A., Joorabchi A., Hayes M. On Deep Learning Approaches to Automated Assessment: Strategies for Short Answer Grading //In Proceedings of the 14th International Conference on Computer Supported Education (CSEDU 2022). 2022. V. 2. P. 85–94.

14. Agarwal D., Gupta S., Baghel N. ScAA: A Dataset for Automated Short Answer Grading of Children’s Free-text Answers in Hindi and Marathi // Proceedings of the 17th International Conference on Natural Language Processing, Patna, India, December 18 – 21, 2020. P. 430–436.

15. Wilianto D., Girsang A.S. Automatic Short Answer Grading on High School’s E-Learning Using Semantic Similarity Methods // TEM Journal. 2023. V. 12, Is. 1. P. 297–302.

16. Divya A., Haridas V. and Narayanan J. Automation of Short Answer Grading Techniques: Comparative Study using Deep Learning Techniques // 2023 Fifth International Conference on Electrical, Computer and Communication Technologies (ICECCT), Erode, India. 2023. P. 1–7.

17. Ярушкина Н.Г., Мошкин В.С., Константинов А.А. Применение языковых моделей word2vec и bert в задаче сентимент-анализа текстовых сообщений социальных сетей // Автоматизация процессов управления. 2020. № 3 (61). С. 60–69.

18. Минаев В.А., Симонов А.В. Сравнение моделей-трансформеров BERT при выявлении деструктивного контента в социальных медиа // Информация и безопасность. 2022. Т. 25, № 3. С. 341–348.

19. Surov I. Opening the Black Box: Finding Osgood's Semantic Factors in Word2vec Space // Informatics and Automation. 2022. V. 21, No. 5. P. 916–936.

20. Миннегалиева Ч.Б., Сабитова Г.А., Гаялиев А.М. Метод предварительной оценки ответов обучающихся на основе векторной модели документов // Электронные библиотеки. 2023. Т. 26, № 3. С. 324–339.

21. Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) Hong Kong, China Association for Computational Linguistics. 2019. P. 3982–3992.

22. Кожевников В.А., Сабинин О.Ю. Система автоматической проверки ответов на открытые вопросы на русском языке // Научно-технические возможности СПбГПУ. 2018. Т. 11, № 3. С. 57–72.