Method of Pre-Assessment of Students' Answers Based on the Vector Model of Documents
https://doi.org/10.26907/1562-5419-2023-26-3-324-339
Abstract
This article discusses the application of vector models for the preliminary analysis of students' free-form answers. Vector representations of words and documents were obtained using word2vec, doc2vec, and BERT models. The similarity between the answer given by the student and the correct answer was determined using the cosine measure. It was found that vector models allow identifying obviously incorrect answers with sufficient accuracy. For answers that are close in wording, an additional verification step is proposed. Using word2vec, binary classification of answers to certain questions was performed, and accuracy, precision, recall and F1-measure estimates were given.
About the Authors
C. B. Minnegalieva
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
G. A. Sabitova
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
A. M. Gayaliev
Kazan (Volga region) Federal University
Russian Federation
Russian Federation
References
1. Сидоренко А.С. Оптимизация компьютерного тестирования студентов: минимизация влияния на ответы помощи интернета // Информатика и образование. 2020. № 5(314). С. 50–55.
2. Миннегалиева Ч.Б., Мухамедшин Д.Р., Русецкий К.В., Паркалов А.В. Некоторые вопросы автоматизации контроля знаний // Компьютерные инструменты в образовании. 2014. № 6. С. 52–59.
3. Харламенко И.В., Воног В.В. Обратная связь как форма контроля в техногенной образовательной среде // Информатика и образование. 2020. № 5(314). С. 44–49.
4. Веремчук С.Э., Гурин Н.И. Система тестирования знаний на естественном языке на основе семантической сети обучающей системы // Труды БГТУ. Серия 3: Физико-математические науки и информатика. 2019. № 1(218). С. 51–56.
5. Xu S., Xu G., Jia P., Ding W., Wu Z., Liu, Z. Automatic Task Requirements Writing Evaluation via Machine Reading Comprehension // In: Roll I., McNamara D., Sosnovsky S., Luckin R., Dimitrova V. (Eds.) Artificial Intelligence in Education. AIED 2021. Utrecht, The Netherlands, June 14–18, 2021. Lecture Notes in Computer Science, Vol. 12748. Springer, Cham, 2021. P.446–458.
6. Милов В.Р., Дубов М.С., Калинина Н.А., Салтыкова А.А. Интеллектуализация тестирования с открытыми вопросами на основе определения семантической близости фраз // Интеллектуальные системы в науке и технике. Искусственный интеллект в решении актуальных социальных и экономических проблем ХХI века: сборник статей по материалам Международной конференции «Интеллектуальные системы в науке и технике» и Шестой всероссийской научно-практической конференции «Искусственный интеллект в решении актуальных социальных и экономических проблем ХХI века» (г. Пермь, 12–18 октября 2020 г.). 2020. С. 112–115.
7. Wulff P., Mientus L., Nowak A. et al. Utilizing a Pretrained Language Model (BERT) to Classify Preservice Physics Teachers’ Written Reflections // International Journal of Artificial Intelligence in Education. 2022.
8. Белов С.Д., Зрелова Д.П., Зрелов П.В., Кореньков В.В. Обзор методов автоматической обработки текстов на естественном языке // Системный анализ в науке и образовании. 2020. № 3. С. 8–22.
9. Mikolov T., Sutskever I., Chen K., Corrado G.S., Dean J. Distributed representations of words and phrases and their compositionality // Advances in Neural Information Processing Systems. 2013. P. 3111–3119.
10. Кузнецов С.А., Вильнин А.Д. Сравнение методов оценки семантического сходства на основе doc2vec и tf-idf // Электронные средства и системы управления. Материалы докладов Международной научно-практической конференции. 2021. № 1–2. С. 166–168.
11. Ярушкина Н.Г., Мошкин В.С., Константинов А.А. Применение языковых моделей word2vec и bert в задаче сентимент-анализа текстовых сообщений социальных сетей // Автоматизация процессов управления. 2020. № 3(61). С. 60–69.
12. Kutuzov A., Kuzmenko E. WebVectors: A Toolkit for Building Web Interfaces for Vector Semantic Models // In: Ignatov D. et al. (Eds.) Analysis of Images, Social Networks and Texts. AIST 2016. Communications in Computer and Information Science, Springer, Cham. 2017. V. 661. P. 155–161.
Review
For citations:
Minnegalieva C.B., Sabitova G.A., Gayaliev A.M. Method of Pre-Assessment of Students' Answers Based on the Vector Model of Documents. Russian Digital Libraries Journal. 2023;26(3):324-339. (In Russ.) https://doi.org/10.26907/1562-5419-2023-26-3-324-339
Views:
54
Email this article 