Тематическое моделирование научных текстов с помощью BERTopic (на материале аннотаций статей о Великой Отечественной войне, опубликованных в 2014–2023 гг.)

В условиях постоянного роста объемов научной литературы разработка эффективных средств систематизации и автоматизированного анализа научных текстов становится критически важной задачей для обеспечения доступности, структурированности и упрощения информации в различных областях науки. Одним из эффективных подходов к автоматизированному анализу коллекции текстов является тематическое моделирование, которое позволяет выявлять ключевые темы в больших массивах текстов, упрощая их классификацию и ускоряя поиск релевантной информации, что особенно важно для анализа научной литературы и мониторинга исследовательских тенденций. Авторы данной работы исследуют возможности алгоритма тематического моделирования BERTopic для анализа исторических научных текстов на русском языке. В качестве материала для исследования были выбраны тексты научных статей о Великой Отечественной войне, опубликованных в российских периодических изданиях последнего десятилетия (2014–2023 гг.). Актуальность данной работы обусловлена, с одной стороны, малым количеством исследований применения алгоритмов тематического моделирования, основанных на использовании больших языковых моделей, для анализа исторических научных текстов и, с другой стороны, необходимостью развития средств поиска и отбора научных источников. Статья содержит описание процессов сбора коллекции текстов, ее предобработки и построения тематической модели. Полученные результаты иллюстрируют наиболее распространенные тематики научных работ и представляют интерес как для исследователей в области компьютерной лингвистики, так и для специалистов по истории России и отечественной историографии. Представленный в работе подход к формированию коллекции научных текстов, основанный на сочетании использования слов-маркеров, инструментов автоматического сбора текстов и экспертной проверки, может быть использован для сбора научных текстов другой тематики в похожих исследованиях. Тематическое моделирование позволило выделить основные темы, представленные в коллекции текстов, а также ключевые слова, которые их описывают, построить иерархическое и динамическое представление тем. К преимуществам BERTopic можно отнести использование векторных представлений текстов, полученных из больших языковых моделей, а также разнообразие инструментов для визуализации тем.

1. Воронцов К. В., Карабулатова И. С., Катцина Т. А., Бородина Н. В., Синицын М. В. Проблемы разработки информационно-аналитической системы по истории социальной помощи в Енисейской губернии (XIX – первая четверть XX в.) // Вопросы истории. 2022. № 12-3. С. 150–161. DOI 10.31166/VoprosyIstorii202212Statyi91

2. Галушко И. Н. Применение тематического моделирования для оптимизации процесса поиска релевантных исторических документов (на примере биржевой прессы начала XX в.) // Историческая информатика. 2023. № 2. С. 129–144. DOI 10.7256/2585-7797.2023.2.43466

3. Епифанов А. Е., Красноженова Е. Е. Организация и проведение санитарно-эпидемиологических мероприятий в Сталинграде и отдельных районах Сталинградской области (1942– 1943 гг.) // Вестник Волгоград. гос. ун-та. Серия 4: История. Регионоведение. Международные отношения. 2023. № 1. С. 162–174. DOI 10.15688/jvolsu4.2023.1.15

4. Землянский С. А., Аксёнов С. В., Лызин И. А., Берестнева О. Г. Тематическое моделирование в контексте медицинских текстов // Доклады ТУСУР. 2021. № 4. С. 58–64. DOI 10.21293/1818-0442-2021-24-4-58-64

5. Кирина М. А. Сравнение тематических моделей на основе LDA, STM и NMF для качественного анализа русской художественной прозы малой формы // Вестник НГУ. Серия: Лингвистика и межкультурная коммуникация. 2022. № 2. С. 84–101. DOI 10.25205/1818-7935-2022-20-2-93-109

6. Колмогорова А. В., Залевская Е. Д. Компьютерное моделирование как инструмент анализа художественного текста // Филологический класс. 2023. № 2. С. 22–33.

7. Колмогорова А. В., Колмогорова П. А., Куликова Е. Р. О прошлом, но в разное время: компьютерный анализ текстов учебников по истории СССР/России для шести поколений студентов // Вестник Томского гос. ун-та. Филология. 2024. №. 89. С. 73–103. DOI 10.17223/19986645/89/4

8. Краснов Ф. В., Диментов А. В., Шварцман М. Е. Использование тематических моделей для парного сравнения коллекций научных статей // Информатика и ее применения. 2020. Т. 14, № 3. С. 129–135. DOI 10.14357/19922264200318

9. Коршунов А., Гомзин А. Тематическое моделирование текстов на естественном языке // Тр. ИСП РАН. 2012. № 23. С. 215–244.

10. Кринко Е. Ф., Медведев М. В. Демографические последствия Сталинградской битвы // Вестник ВолГУ. Серия 4: История. Регионоведение. Международные отношения. 2018. № 1. С. 91–104. DOI 10.15688/jvolsu4.2018.1.9

11. Кузнецов А. В. Тематическое моделирование в исторической науке // Социосфера. 2022. № 4. С. 9–12.

12. Митрофанова О. А., Атугодаге М. М. Динамическое тематическое моделирование русскоязычного корпуса юридических документов // Terra Linguistica. 2023. № 1. С. 70–87. DOI 10.18721/JHSS.14107

13. Нокель М. А., Лукашевич Н. В. Тематические модели: добавление биграмм и учет сходства между униграммами и биграммами // Вычислительные методы и программирование. 2015. Т. 16. С. 215–234. DOI 10.26089/NumMet.v16r222

14. Попова О. В., Гришин Н. В., Погодина М. Я. Коммуникация молодежи с главами исполнительной власти регионов Российской Федерации во «ВКонтакте» в 2022 году // Полис. Политические исследования. 2023. № 4. С. 122–137. DOI 10.17976/jpps/2023.04.09

15. Романов Р. Е. Социально-трудовые перемещения эваконаселения в западносибирском тылу (1941–1945): ограничения и стимулы // Вестник НГУ. Серия: История, филология. 2016. № 8. С. 146–156.

16. Снегирева Л. И. Реэвакуация детей и детских учреждений из Западно-Сибирского региона (1942–1945 годы) // Вестник НГУ. Серия: История, филология. 2016. № 8. С. 157–169.

17. Тверской О. Ю., Канева О. Н. Применение тематического моделирования для декомпозиции текстовой формулировки образовательной компетенции // Прикладная математика и фундаментальная информатика. 2023. № 1. С. 33–46. DOI 10.25206/2311-4908-2023-10-1-33-43

18. Тен Л. В. Тематическое моделирование в задаче автоматической рубрикации новостных текстов // Terra Linguistica. 2023. № 2. С. 77–91. DOI 10.18721/JHSS.14207

19. Abdelrazek, A., Eid, Y., Gawish, E., Medhat, W., Hassan, A. Topic modeling algorithms and applications: A survey // Information Systems. 2023. No. 112. P. 102131. DOI 10.1016/j.is.2022.102131

20. Babina O. I. Topic Modeling for Mining Opinion Aspects from a Customer Feedback Corpus // Automatic Documentation and Mathematical Linguistics. 2024. Vol. 58. No. 1. P. 63–79. DOI 10.3103/S0005105524010060

21. Bird S. NLTK: the natural language toolkit // Proceedings of the COLING/ACL. 2006. P. 69–72.

22. Bodrunova S. S., Blekanov I. S., Kukarkin M. Topic modeling for Twitter discussions: Model selection and quality assessment // 6th SWS International Scientific Conferences on social sciences. 2019. P. 207–214. DOI 10.5593/SWS.ISCSS.2019.5/S16.026

23. Chizhik A. V., Sergeyev D. A. Exploring the Parliamentary Discourse of the Russian Federation Using Topic Modeling Approach // Digital Transformation and Global Society (DTGS 2021). 2021. P. 403–416. DOI 10.1007/978-3-030-93715-7_29

24. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // Proceedings of NAACL. 2019. P. 4171–4186. DOI 10.18653/v1/N19-1423

25. Glazkova A. V., Kruzhinov V. M., Sokova Z. N. Dynamic Topic Models for Retrospective Event Detection: A Study on Soviet Opposition-Leaning Media // Lecture Notes in Computer Science. 2019. No. 11832. P. 145–154. DOI 10.1007/978-3-030-37334-4_13

26. Grootendorst M. BERTopic: Neural topic modeling with a class-based TF-IDF procedure // ArXiv preprint arXiv:2203.05794. 2022.

27. Korobov M. Morphological analyzer and generator for Russian and Ukrainian languages // AIST: 4th International Conference, Revised Selected Papers. 2015. P. 320–332. DOI 10.1007/978-3- 319-26123-2_31

28. Maltseva A., Shilkina N., Evseev E., Matveev M., Makhnytkin O. Topic modeling of Russian-language texts using the parts-of-speech composition of topics (on the example of volunteer movement semantics in social media) // FRUCT. 2021. P. 247–253. DOI 10.23919/FRUCT52173.2021.9435475

29. Owa D. L. M. Identification of topics from scientific papers through topic modeling // Open Journal of Applied Sciences. 2021. Vol. 10, No. 04. P. 541. DOI 10.4236/ojapps.2021.104038

30. Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // Proceedings of EMNLP-IJCNLP. 2019. P. 3982–3992. DOI 10.18653/v1/D19-1410

31. Robledo S., Zuluaga M. Topic modeling: Perspectives from a literature review // IEEE Access. 2022. No. 11. P. 4066–4078. DOI 10.1109/ACCESS.2022.3232939

32. Sakhovskiy A., Solovyev V., Solnyshkina M. Topic modeling for assessment of text complexity in Russian textbooks // 2020 Ivannikov Ispras Open Conference (ISPRAS). 2020. P. 102–108. DOI 10.1109/ISPRAS51486.2020.00022

33. Syed S., Spruit M. Full-text or abstract? examining topic coherence scores using latent dirichlet allocation // 2017 IEEE International conference on data science and advanced analytics (DSAA). 2017. P. 165–174. DOI 10.1109/DSAA.2017.61

34. Solovyev V., Solnyshkina M., Tutubalina E. Topic Modeling for Text Structure Assessment: The case of Russian Academic Texts // Journal of Language and Education. 2023. Vol. 9. No. 3 (35). P. 143–158. DOI 10.17323/jle.2023.16604

35. Zamiraylova E., Mitrofanova O. Dynamic topic modeling of Russian prose of the first third of the XXth century by means of non-negative matrix factorization // Proceedings of the III International Conference on Language Engineering and Applied Linguistics (PRLEAL-2019). 2020. P. 321–339.