ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2024-27-3-294-315ellibs-506Research ArticleСтатьиАнализ моделей машинного обучения на основе методов объяснимого искусственного интеллекта в образовательной аналитикеAnalysing Machine Learning Models based on Explainable Artificial Intelligence Methods in Educational AnalyticsМинуллинДмитрий АртуровичMinullinDmitriy Arturovichminullin.dima@mail.ruГафаровФаиль МубараковичGafarovFail Mubarakovichfgafarov@yandex.ruКазанский (Приволжский) Федеральный университетKazan (Volga region) Federal University202411022025273294315Copyright © Минуллин Д.А., Гафаров Ф.М., 20252025Минуллин Д.А., Гафаров Ф.М.Minullin D.A., Gafarov F.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/506

Проблема прогнозирования досрочного отчисления студентов российских вузов является актуальной, поэтому требуется разработка новых инновационных подходов для её решения. Для решения данной проблемы возможна разработка предиктивных систем на основе использования данных о студентах, имеющихся в информационных системах вузов. В настоящей работе исследованы модели машинного обучения для прогнозирования досрочного отчисления студентов, обученные на основе данных о характеристиках и успеваемости студентов. Основная научная новизна работы заключается в использовании методов объяснимого ИИ для интерпретации и объяснения функционирования обученных моделей машинного обучения. Методы объяснимого искусственного интеллекта позволяют понять, какие из входных признаков (характеристик студента) оказывают наибольшее влияние на результаты прогнозов обученных моделей, а также могут помочь понять, почему модели принимают те или иные решения. Полученные результаты расширяют понимание влияния различных факторов на досрочное отчисление студентов.

The problem of predicting early dropout of students of Russian universities is urgent and therefore requires the development of new innovative approaches to solve it. To solve this problem, it is possible to develop predictive systems based on the use of student data, available in the information systems of universities. This paper investigates machine learning models for predicting early student dropout trained on the basis of student characteristics and performance data. The main scientific novelty of the work lies in the use of explainable AI methods to interpret and explain the performance of the trained machine learning models. The Explainable AI methods allow us to understand which of the input features (student characteristics) have the greatest influence on the results of the machine learning models. (student characteristics) have the greatest influence on the prediction results of trained models, and can also help to understand why the models make certain decisions. The findings expand the understanding of the influence of various factors on early dropout of students.

образовательная аналитикаинтеллектуальный анализ данныхмашинное обучениеобъяснимый искусственный интеллектeducational analyticsdata miningmachine learningexplainable AIReferencesГруздев И. А., Горбунова Е. В., Фрумин И. Д. Студенческий отсев в российских вузах: к постановке проблемы // Вопросы образования. 2013. № 2. C. 67–81. https://doi.org/10.17323/1814-9545-2013-2-67-81Груздев И. А., Горбунова Е. В., Фрумин И. Д. Студенческий отсев в российских вузах: к постановке проблемы // Вопросы образования. 2013. № 2. C. 67–81. https://doi.org/10.17323/1814-9545-2013-2-67-81Терентьев E.A., Груздев И.А., Горбунова Е.В. Суд идёт: дискурс преподавателей об отсеве студентов // Вопросы образования. 2015. № 2. С. 129–151. https://doi.org/10.17323/1814-9545-2015-2-129-151Терентьев E.A., Груздев И.А., Горбунова Е.В. Суд идёт: дискурс преподавателей об отсеве студентов // Вопросы образования. 2015. № 2. С. 129–151. https://doi.org/10.17323/1814-9545-2015-2-129-151Горбунова Е.В. Выбытия студентов из вузов: исследования в России и США // Вопросы образования. 2018. № 1. С. 110–131. https://doi.org/10.17323/1814-9545-2018-1-110-131Горбунова Е.В. Выбытия студентов из вузов: исследования в России и США // Вопросы образования. 2018. № 1. С. 110–131. https://doi.org/10.17323/1814-9545-2018-1-110-131Горбунова Е.В. Влияние адаптации первокурсников к университету на вероятность их отчисления из вуза // Universitas. Журнал о жизни университетов. 2013. № 2 (1). С. 59–84.Горбунова Е.В. Влияние адаптации первокурсников к университету на вероятность их отчисления из вуза // Universitas. Журнал о жизни университетов. 2013. № 2 (1). С. 59–84.Климова Т.А., Ким А.Т., Отт М.А. Индивидуальные образовательные траектории студентов как условие качественного университетского образования // Университетское управление: практика и анализ. 2023. 27 (1). С. 23–33. https://doi.org/10.15826/umpa.2023.01.003Климова Т.А., Ким А.Т., Отт М.А. Индивидуальные образовательные траектории студентов как условие качественного университетского образования // Университетское управление: практика и анализ. 2023. 27 (1). С. 23–33. https://doi.org/10.15826/umpa.2023.01.003Мещеряков А.О., Баянова Н.А., Калинина Е.А., Денисов В.А. Предикторы выбытия студентов медицинского вуза // Медицинское образование и профессиональное развитие. 2022. № 3 (47). URL: https://www.medobr.ru/ru/jarticles/736.html?SSr=0101348cba14ffffffff27c__07e60b0e0e0130-1843 (дата обращения 01.03.2024)Мещеряков А.О., Баянова Н.А., Калинина Е.А., Денисов В.А. Предикторы выбытия студентов медицинского вуза // Медицинское образование и профессиональное развитие. 2022. № 3 (47). URL: https://www.medobr.ru/ru/jarticles/736.html?SSr=0101348cba14ffffffff27c__07e60b0e0e0130-1843 (дата обращения 01.03.2024)Шмелева Е. Д. Факторы отсева студентов инженерно-технического профиля в российских вузах // Вопросы образования. 2020. № 3. С. 110–136.Шмелева Е. Д. Факторы отсева студентов инженерно-технического профиля в российских вузах // Вопросы образования. 2020. № 3. С. 110–136.Мухамадиева К.Б. Машинное обучение в совершенствовании образовательной среды // Образование и проблемы развития общества. 2020. № 4 (13). С. 70–77.Мухамадиева К.Б. Машинное обучение в совершенствовании образовательной среды // Образование и проблемы развития общества. 2020. № 4 (13). С. 70–77.Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning important features through propagating activation differences // ICML’17. 2017. P. 3145–3153. URL: https://proceedings.mlr.press/v70/shrikumar17a.html (дата обращения 01.03.2024)Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning important features through propagating activation differences // ICML’17. 2017. P. 3145–3153. URL: https://proceedings.mlr.press/v70/shrikumar17a.html (дата обращения 01.03.2024)Daniel W. Apley, Jingyu Zhu. Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models // Journal of the Royal Statistical Society Series B: Statistical Methodology. 2020. No 4 (82). P. 1059–1086. https://doi.org/10.1111/rssb.12377Daniel W. Apley, Jingyu Zhu. Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models // Journal of the Royal Statistical Society Series B: Statistical Methodology. 2020. No 4 (82). P. 1059–1086. https://doi.org/10.1111/rssb.12377Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A Review of Machine Learning Interpretability Methods // Entropy. 2020. https://doi.org/10.3390/e23010018Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A Review of Machine Learning Interpretability Methods // Entropy. 2020. https://doi.org/10.3390/e23010018Rachha A., Seyam M. Explainable AI in Education: Current Trends, Challenges, And Opportunities // SoutheastCon. 2023. P. 232–239. https://doi.org/10.1109/SoutheastCon51012.2023.10115140Rachha A., Seyam M. Explainable AI in Education: Current Trends, Challenges, And Opportunities // SoutheastCon. 2023. P. 232–239. https://doi.org/10.1109/SoutheastCon51012.2023.10115140Fan F.L., Xiong J., Li M., Wang G. On Interpretability of Artificial Neural Networks: A Survey // IEEE Trans Radiat. Plasma Med Sci. 2021. No. 5 6). P. 741–760. https://doi.org/10.1109/trpms.2021.3066428Fan F.L., Xiong J., Li M., Wang G. On Interpretability of Artificial Neural Networks: A Survey // IEEE Trans Radiat. Plasma Med Sci. 2021. No. 5 6). P. 741–760. https://doi.org/10.1109/trpms.2021.3066428Fiore U. Neural Networks in the Educational Sector: Challenges and Opportunities // Balkan Region Conference on Engineering and Business Education. 2019. No 1 (1). P. 332–337. https://doi.org/10.2478/cplbu-2020-0039Fiore U. Neural Networks in the Educational Sector: Challenges and Opportunities // Balkan Region Conference on Engineering and Business Education. 2019. No 1 (1). P. 332–337. https://doi.org/10.2478/cplbu-2020-0039Montavon G., Samek W., Müller K.-R. Methods for interpreting and understanding deep neural networks // Digital Signal Processing. 2018. No. 73. P. 1–15. https://doi.org/10.1016/j.dsp.2017.10.011Montavon G., Samek W., Müller K.-R. Methods for interpreting and understanding deep neural networks // Digital Signal Processing. 2018. No. 73. P. 1–15. https://doi.org/10.1016/j.dsp.2017.10.011Saranya A., Subhashini R. A systematic review of Explainable Artificial Intelligence models and applications: Recent developments and future trends // Decision Analytics Journal. 2023. No. 7. https://doi.org/10.1016/j.dajour.2023.100230Saranya A., Subhashini R. A systematic review of Explainable Artificial Intelligence models and applications: Recent developments and future trends // Decision Analytics Journal. 2023. No. 7. https://doi.org/10.1016/j.dajour.2023.100230Murdoch W.J., Singh C., Kumbier K., Abbasi-Asl R., Yu B. Definitions, methods, and applications in interpretable machine learning // Proceedings of the National Academy of Sciences. 2019. No. 16 (44). P. 22071–22080Murdoch W.J., Singh C., Kumbier K., Abbasi-Asl R., Yu B. Definitions, methods, and applications in interpretable machine learning // Proceedings of the National Academy of Sciences. 2019. No. 16 (44). P. 22071–22080Meyer Lauritsen S. et al. Explainable artificial intelligence model to predict acute critical illness from electronic health records // Nature Communications. 2020. № 11 (1).Meyer Lauritsen S. et al. Explainable artificial intelligence model to predict acute critical illness from electronic health records // Nature Communications. 2020. № 11 (1).Linden T., Jong J., Lu C., Kiri V., Haeffs K., Fröhlich H. An explainable multimodal neural network architecture for predicting epilepsy comorbidities based on administrative claims data // Frontiers in Artificial Intelligence. 2021. No. 4. https://doi.org/10.3389/frai.2021.610197Linden T., Jong J., Lu C., Kiri V., Haeffs K., Fröhlich H. An explainable multimodal neural network architecture for predicting epilepsy comorbidities based on administrative claims data // Frontiers in Artificial Intelligence. 2021. No. 4. https://doi.org/10.3389/frai.2021.610197Lu Y., Murzakhanov I., Chatzivasileiadis S. Neural network interpretability for forecasting of aggregated renewable generation // In Proceedings of 2021 IEEE International Conference on Communications, Control, and Computing Technologies for Smart Grids. 2021. P. 282–288.Lu Y., Murzakhanov I., Chatzivasileiadis S. Neural network interpretability for forecasting of aggregated renewable generation // In Proceedings of 2021 IEEE International Conference on Communications, Control, and Computing Technologies for Smart Grids. 2021. P. 282–288.Mai-Anh T. Vu и др. A shared vision for machine learning in neuroscience // Journal of Neuroscience. 2018. 38 (7). P. 1601–1607.Mai-Anh T. Vu и др. A shared vision for machine learning in neuroscience // Journal of Neuroscience. 2018. 38 (7). P. 1601–1607.Sundararajan M., Taly A., and Yan Q. Axiomatic attribution for deep networks // CoRR. 2017. URL: https://arxiv.org/abs/1703.01365Sundararajan M., Taly A., and Yan Q. Axiomatic attribution for deep networks // CoRR. 2017. URL: https://arxiv.org/abs/1703.01365Kokhlikyan N. др. Captum: A unified and generic model interpretability library for pytorch // CoRR. 2020. URL: https://arxiv.org/abs/2009.07896 (дата обращения 01.03.2024)Kokhlikyan N. др. Captum: A unified and generic model interpretability library for pytorch // CoRR. 2020. URL: https://arxiv.org/abs/2009.07896 (дата обращения 01.03.2024)Lundberg S.M., Lee S.-I. A unified approach to interpreting model predictions // Advances in Neural Information Processing Systems. 2017. No. 30. P. 4765–4774.Lundberg S.M., Lee S.-I. A unified approach to interpreting model predictions // Advances in Neural Information Processing Systems. 2017. No. 30. P. 4765–4774.Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A Review of Machine Learning Interpretability Methods // Entropy. 2020. https://doi.org/10.3390/e23010018Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A Review of Machine Learning Interpretability Methods // Entropy. 2020. https://doi.org/10.3390/e23010018Sahakyan M., Aung Z., Rahwan T. Explainable Artificial Intelligence for Tabular Data: A Survey // IEEE Access. 2021. No. 9. P. 135392–135422. https://doi.org/10.1109/ACCESS.2021.3116481Sahakyan M., Aung Z., Rahwan T. Explainable Artificial Intelligence for Tabular Data: A Survey // IEEE Access. 2021. No. 9. P. 135392–135422. https://doi.org/10.1109/ACCESS.2021.3116481Шобонов Н.А., Булаева М.Н., Зиновьева С.А. Искусственный интеллект в образовании // Проблемы современного педагогического образования. № 79 (4). 2023. С. 288–290.Шобонов Н.А., Булаева М.Н., Зиновьева С.А. Искусственный интеллект в образовании // Проблемы современного педагогического образования. № 79 (4). 2023. С. 288–290.Hassan Khosravi и др. Explainable Artificial Intelligence in education // Computers and Education: Artificial Intelligence. 2022. No. 3. https://doi.org/10.1016/j.caeai.2022.100074Hassan Khosravi и др. Explainable Artificial Intelligence in education // Computers and Education: Artificial Intelligence. 2022. No. 3. https://doi.org/10.1016/j.caeai.2022.100074Гафаров Ф.М., Руднева Я.Б., Шарифов У.Ю. Прогностическое моделирование в высшем образовании: определение факторов академической успеваемости // Высшее образование в России. 2023. Т. 32. № 1. С. 51–70. https://doi.org/10.31992/0869-3617-2023-32-1-51-7Гафаров Ф.М., Руднева Я.Б., Шарифов У.Ю. Прогностическое моделирование в высшем образовании: определение факторов академической успеваемости // Высшее образование в России. 2023. Т. 32. № 1. С. 51–70. https://doi.org/10.31992/0869-3617-2023-32-1-51-7

The authors declare that there are no conflicts of interest present.