ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2024-27-5-758-773ellibs-571Research ArticleСтатьиИспользование семантического поиска для выбора и ранжирования научных геологических публикацийUsing Semantic Search to Select and Rank Geological PublicationsПатукМихаил ИвановичPatukMichail Ivanovichpatuk@mail.ruНаумоваВера ВикторовнаNaumovaVera Viktorovnanaumova_new@mail.ruГосударственный геологический музей им. В.И. Вернадского РАНVernadsky State Geological Museum RAS202428052025275758773Copyright © Патук М.И., Наумова В.В., 20252025Патук М.И., Наумова В.В.Patuk M.I., Naumova V.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/571

Агрегирование научной информации играет важную роль для комплексного анализа геологических объектов. В настоящей работе мы рассматриваем потенциал и возможности семантического поиска для выбора тематически близких геологических публикаций. Проанализированы различные языковые модели в контексте нахождения сходства и различия между текстами при описании месторождений полезных ископаемых. Показано значительное улучшение результатов поиска после дополнительной тренировки языковых моделей. Представлены два веб-сервиса, основанных на методе расчета семантической близости текстов с количественной оценкой меры близости.

The aggregation of scientific information is essential for a comprehensive analysis of geological objects. This paper explores the potential and possibilities of semantic search to select thematically similar publications in the geological domain. Various language models are examined in the context of identifying similarities and differences in texts describing mineral deposits. After additional training of language models, a significant improvement in search results is demonstrated. Two web services are presented, based on a method for calculating the semantic similarity between texts and providing a quantitative assessment of their similarity.

искусственный интеллектмашинное обучениеобработка естественного языкасемантический поискгеологияartificial intelligencemachine learningnatural language processingsemantic searchgeologyReferencesСемантический поиск. URL: https://ru.wikipedia.org/wiki/Семантический_поиск (дата обращения 10.09.2024)Семантический поиск. URL: https://ru.wikipedia.org/wiki/Семантический_поиск (дата обращения 10.09.2024)Ваш путеводитель по миру NLP (обработке естественного языка). URL: https://habr.com/ru/companies/otus/articles/705482/ (дата обращения 10.09.2024)Ваш путеводитель по миру NLP (обработке естественного языка). URL: https://habr.com/ru/companies/otus/articles/705482/ (дата обращения 10.09.2024)Semantic similarity. URL: https://en.wikipedia.org/wiki/Semantic_similarity (дата обращения 10.09.2024)Semantic similarity. URL: https://en.wikipedia.org/wiki/Semantic_similarity (дата обращения 10.09.2024)Devlin J., Chang M.W., Lee K., Toutanova K. Bert: pre-training of deep bidirectional transformers for language understanding. URL: arxiv.org/abs/1810.04805 (2018)Devlin J., Chang M.W., Lee K., Toutanova K. Bert: pre-training of deep bidirectional transformers for language understanding. URL: arxiv.org/abs/1810.04805 (2018)Объясняем простым языком, что такое трансформеры. URL: https://habr.com/ru/companies/mws/articles/770202/ (дата обращения 10.09.2024)Объясняем простым языком, что такое трансформеры. URL: https://habr.com/ru/companies/mws/articles/770202/ (дата обращения 10.09.2024)BERT (языковая модель). URL: https://neerc.ifmo.ru/wiki/index.php?title= BERT_(языковая_модель) (дата обращения 10.09.2024)BERT (языковая модель). URL: https://neerc.ifmo.ru/wiki/index.php?title= BERT_(языковая_модель) (дата обращения 10.09.2024)BERT community. URL: https://huggingface.co/google-bert (дата обращения 10.09.2024)BERT community. URL: https://huggingface.co/google-bert (дата обращения 10.09.2024)Akila D., Jayakumar C. Semantic Similarity – A Review of Approaches and Metrics // International Journal of Applied Engineering Research. 2014. Vol. 9, No. 24. P. 27581–27600.Akila D., Jayakumar C. Semantic Similarity – A Review of Approaches and Metrics // International Journal of Applied Engineering Research. 2014. Vol. 9, No. 24. P. 27581–27600.TF-IDF. URL: https://ru.wikipedia.org/wiki/TF-IDF (дата обращения 10.09.2024)TF-IDF. URL: https://ru.wikipedia.org/wiki/TF-IDF (дата обращения 10.09.2024)Okapi BM25. URL: https://ru.wikipedia.org/wiki/Okapi_BM25 (дата обращения 10.11.2024)Okapi BM25. URL: https://ru.wikipedia.org/wiki/Okapi_BM25 (дата обращения 10.11.2024)Word2vec. URL: https://ru.wikipedia.org/wiki/Word2vec (дата обращения 10.09.2024)Word2vec. URL: https://ru.wikipedia.org/wiki/Word2vec (дата обращения 10.09.2024)Краснов Ф.В., Смазневич И.С., Баскакова Е.Н. Проблема потери решений в задаче поиска схожих документов: Применение терминологии при построении векторной модели корпуса // Бизнес-информатика. 2021. Т. 15. № 2. С. 60–74. https://doi.org/10.17323/2587-814X.2021.2.60.74Краснов Ф.В., Смазневич И.С., Баскакова Е.Н. Проблема потери решений в задаче поиска схожих документов: Применение терминологии при построении векторной модели корпуса // Бизнес-информатика. 2021. Т. 15. № 2. С. 60–74. https://doi.org/10.17323/2587-814X.2021.2.60.74Атаева О.М., Серебряков В.А., Тучкова Н.П. Модель поиска схожих документов в семантической библиотеке // Научный сервис в сети Интернет: труды XXIII Всероссийской научной конференции (20–23 сентября 2021 г., онлайн). М.: ИПМ им. М.В. Келдыша, 2021. С. 54–64. https://doi.org/10.20948/abrau-2021-24Атаева О.М., Серебряков В.А., Тучкова Н.П. Модель поиска схожих документов в семантической библиотеке // Научный сервис в сети Интернет: труды XXIII Всероссийской научной конференции (20–23 сентября 2021 г., онлайн). М.: ИПМ им. М.В. Келдыша, 2021. С. 54–64. https://doi.org/10.20948/abrau-2021-24Kanerva J., Kitti H., Chang L.-H., Vahtola T., Creutz M., Ginter F. Semantic search as extractive paraphrase span detection // Lang Resources and Evaluation. 2024. https://doi.org/10.1007/s10579-023-09715-7Kanerva J., Kitti H., Chang L.-H., Vahtola T., Creutz M., Ginter F. Semantic search as extractive paraphrase span detection // Lang Resources and Evaluation. 2024. https://doi.org/10.1007/s10579-023-09715-7Denghui Yang, Dengyun Zhu, Hailong Gai, Fucheng Wan. Semantic Similarity Calculating based on BERT // Journal of Electrical Systems. 2024. Vol. 20, No. 2. P. 73–79.Denghui Yang, Dengyun Zhu, Hailong Gai, Fucheng Wan. Semantic Similarity Calculating based on BERT // Journal of Electrical Systems. 2024. Vol. 20, No. 2. P. 73–79.Kuang M. et al. Multi-task Learning Based Keywords Weighted Siamese Model for Semantic Retrieval // In: Kashima H., Ide T., Peng W/C. (Eds.) Advances in Knowledge Discovery and Data Mining. PAKDD 2023. Lecture Notes in Computer Science. 2023. Vol. 13937. Springer, Cham. https://doi.org/10.1007/978-3-031-33380-4_7Kuang M. et al. Multi-task Learning Based Keywords Weighted Siamese Model for Semantic Retrieval // In: Kashima H., Ide T., Peng W/C. (Eds.) Advances in Knowledge Discovery and Data Mining. PAKDD 2023. Lecture Notes in Computer Science. 2023. Vol. 13937. Springer, Cham. https://doi.org/10.1007/978-3-031-33380-4_7Elibrary. URL: https://www.elibrary.ru/defaultx.asp (дата обращения 10.11.2024)Elibrary. URL: https://www.elibrary.ru/defaultx.asp (дата обращения 10.11.2024)Sci-rus-tiny. URL: https://huggingface.co/mlsa-iai-msu-lab/sci-rus-tiny (дата обращения 10.09.2024)Sci-rus-tiny. URL: https://huggingface.co/mlsa-iai-msu-lab/sci-rus-tiny (дата обращения 10.09.2024)ruSciBench — бенчмарк для оценки эмбеддингов научных текстов. URL: https://habr.com/ru/articles/781032/ (дата обращения 10.09.2024).ruSciBench — бенчмарк для оценки эмбеддингов научных текстов. URL: https://habr.com/ru/articles/781032/ (дата обращения 10.09.2024).Научная электронная библиотека «КиберЛенинка». URL: https://cyberleninka.ru/ (дата обращения 10.09.2024)Научная электронная библиотека «КиберЛенинка». URL: https://cyberleninka.ru/ (дата обращения 10.09.2024)Fine-tuning BERT for Semantic Textual Similarity with Transformers in Python. URL: https://thepythoncode.com/article/finetune-bert-for-semantic-textual-similarity-in-python (дата обращения 10.09.2024)Fine-tuning BERT for Semantic Textual Similarity with Transformers in Python. URL: https://thepythoncode.com/article/finetune-bert-for-semantic-textual-similarity-in-python (дата обращения 10.09.2024)Lawley C.J.M., Raimondo S., Chen T., Brin L., Zakharov A., Kur D., Hui J., Newton G., Burgoyne S.L., Marquis G. Geoscience language models and their intrinsic evaluation // Applied Computing and Geosciences. 2022. Vol. 14, 100084. P. 1–10. https://doi.org/10.1016/j.acags.2022.100084Lawley C.J.M., Raimondo S., Chen T., Brin L., Zakharov A., Kur D., Hui J., Newton G., Burgoyne S.L., Marquis G. Geoscience language models and their intrinsic evaluation // Applied Computing and Geosciences. 2022. Vol. 14, 100084. P. 1–10. https://doi.org/10.1016/j.acags.2022.100084Cosine similarity. URL: https://en.wikipedia.org/wiki/Cosine_similarity (дата обращения 10.09.2024)Cosine similarity. URL: https://en.wikipedia.org/wiki/Cosine_similarity (дата обращения 10.09.2024)Rubert-tiny2. URL: https://huggingface.co/cointegrated/rubert-tiny2 (дата обращения 10.09.2024)Rubert-tiny2. URL: https://huggingface.co/cointegrated/rubert-tiny2 (дата обращения 10.09.2024)Multilingual-e5-base. URL: https://huggingface.co/intfloat/multilingual-e5-base (дата обращения 10.09.2024)Multilingual-e5-base. URL: https://huggingface.co/intfloat/multilingual-e5-base (дата обращения 10.09.2024)E5-large-en-ru. URL: https://huggingface.co/d0rj/e5-large-en-ru (дата обращения 10.09.2024)E5-large-en-ru. URL: https://huggingface.co/d0rj/e5-large-en-ru (дата обращения 10.09.2024)Multilingual-e5-large. URL: https://huggingface.co/intfloat/multilingual-e5-large (дата обращения 10.09.2024)Multilingual-e5-large. URL: https://huggingface.co/intfloat/multilingual-e5-large (дата обращения 10.09.2024)Тест производительности. URL: https://ru.wikipedia.org/wiki/Тест_производительности (дата обращения 10.09.2024)Тест производительности. URL: https://ru.wikipedia.org/wiki/Тест_производительности (дата обращения 10.09.2024)Патук М.И., Наумова В.В., Ерёменко В.С. Цифровой репозиторий "geologyscience.ru": открытый доступ к научным публикациям по геологии России // Электронные библиотеки. 2020. Т. 23, № 6. С. 1324–1338. https://doi.org/10.26907/1562-5419-2020-23-6-1324-1338Патук М.И., Наумова В.В., Ерёменко В.С. Цифровой репозиторий "geologyscience.ru": открытый доступ к научным публикациям по геологии России // Электронные библиотеки. 2020. Т. 23, № 6. С. 1324–1338. https://doi.org/10.26907/1562-5419-2020-23-6-1324-1338Geologyscience.ru – Виртуальный ассистент – Сервисы с использованием ИИ – Сервисы нейросетевого анализа геологических текстов. URL: https://service.geologyscience.ru/ (дата обращения 10.09.2024)Geologyscience.ru – Виртуальный ассистент – Сервисы с использованием ИИ – Сервисы нейросетевого анализа геологических текстов. URL: https://service.geologyscience.ru/ (дата обращения 10.09.2024)

The authors declare that there are no conflicts of interest present.