Анализ расхождений в аргументационной разметке научных статей на русском языке

   В работе представлен анализ расхождений между аннотаторами при разметке аргументации в научных статьях, итогом которого является формулирование рекомендаций по стандартизации разметки. Расхождения между аннотаторами исследуются на трех уровнях разметки: при выявлении тезисов (утверждений в составе аргументов), построении связей между ними, определении типовых моделей рассуждения в основе связей. Исследуемым материалом служат 20 аргументационных аннотаций 10 научных текстов двух тематик, где для каждого текста построено два варианта разметки от разных экспертов. В совокупности 20 аннотаций содержат 917 тезисов и 773 аргумента. Разметка каждого текста заключалась в моделировании его аргументационной структуры согласно стандарту Argument Interchange Format, посредством построения ориентированного связного графа с двумя типами вершин: информационными, которые соответствуют тезисам, и вершинами-схемами, указывающими на связи между тезисами и реализуемыми в них типовыми моделями (схемами) рассуждения из компендиума Уолтона. Расхождения между аннотаторами выявляются посредством автоматического сопоставления графов, представляющих аргументационную структуру одного и того же текста, в три этапа: 1) определение тезисов, представленных в одном графе и отсутствующих в другом; 2) обнаружение связей, различным образом соединяющих одинаково выделенные тезисы; 3) выявление различных моделей рассуждения в одинаково построенных связях. Типовые случаи расхождений устанавливаются по итогам экспертного анализа найденных несоответствий между элементами графов с учетом их структурной специфики (расположения тезисов в графе, расстояния между связанными тезисами в исходном тексте, соотношения общих частот моделей рассуждения и числа вызванных ими расхождений). Показано, что соответствия между разметчиками достигают в среднем 78 % на уровне тезисов, 55 % для построения связей, 60 % для определения моделей рассуждения. К типовым случаям расхождения относится выявление тезисов, приводимых без обоснования; построение связей между тезисами в одном абзаце и на расстоянии более чем трех абзацев; выявление двух конкретных аргументационных схем (вызывающих 40 % и 33 % расхождений) и смешение функционально различных моделей рассуждения ввиду разноаспектного восприятия связей аннотаторами. Итогом исследования являются рекомендации по аргументационной разметке, сформулированные для минимизации типовых случаев расхождения на каждом уровне аннотирования.

1. Котельников Е. В. Извлечение аргументации из текстов и проблема отсутствия русскоязычных текстовых корпусов // Advanced Science, 2018, № 3 (11), С. 44–47.

2. Пименов И. С. Сочетаемость аргументов разных функциональных групп в научных текстах // Филологические науки. Вопросы теории и практики. Тамбов: Грамота, 2022. № 11. С. 3672–3680.

3. Сидорова Е. А., Ахмадеева И. Р., Загорулько Ю. А., Серый А. С., Шестаков В. К. Платформа для исследования аргументации в научно-популярном дискурсе // Онтология проектирования, 2020, Т. 10 № 4 (38), С. 489–502.

4. Al-Khatib K., Wachsmuth H., Hagen M., Stein B. Patterns of Argumentation Strategies across Topics // Proc. of the 2017 Conference on Empirical Methods in Natural Language Processing, Copenhagen, Denmark, September 7–11, 2017, pp. 1351–1357, 2017.

5. Barbieri E., Aggujaro S., Molteni F., Luzzatti C. Does argument structure complexity affect reading? A case study of an Italian agrammatic patient with deep dyslexia // Applied Psycholinguistics, Vol. 36, i. 3, 2015, pp. 533–558.

6. Green N. Identifying Argumentation Schemes in Genetics Research Articles // Proceedings of the 2^nd Workshop on Argumentation Mining, Denver, 2015, pp. 12–21.

7. Ilina D., Kononenko I., Sidorova E. On Developing a Web Resource to Study Argumentation in Popular Science Discourse // Computational Linguistics and Intellectual Technologies. Papers from the Annual International Conference “Dialogue” (2021). Issue 20 (27). Moscow: RSUH, 2021. pp. 318‒327.

8. Kotelnikov E., Loukachevitch N., Nikishina I., Panchenko A. RuArg-2022: Argument Mining Evaluation // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2022”. 2022, pp. 1–16.

9. Lawrence J., Reed C. Argument Mining: A Survey // Computational Linguistics, Vol. 45, N 4, pp.765‒818, 2019.

10. Lindahl A., Borin L., Rouces J. Towards Assessing Argumentation Annotation – A First Step // Proceedings of the 6th Workshop on Argument Mining, Florency, Italy, 2019, pp. 177–186.

11. Pimenov I. S., Salomatina N. V. Automatic Identification of Texts with Similar Argumentation Complexity // 2022 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON). Yekaterinburg, Russian Federation, 2022. pp. 810–815.

12. Rahwan I., Reed C. The argument interchange format // Argumentation in artificial intelligence, Rahwan I. and Simari G., Eds. Springer, 2009, pp. 383–402.

13. Teruel M., Cardellino C., Cardellino F., Alemany L., Villata S. Increasing Argument Annotation Reproducibility by Using Inter-annotator Agreement to Improve Guidelines // Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). Miyazaki, Japan, 2018.

14. Zagorulko Yu. A., Domanov O. A., Sery A. S., Sidorova E. A., Borovikova O. I. Analysis of the persuasiveness of argumentation in popular science texts // Artificial Intelligence, Proceedings of the 18th Russian Conference RCAI, pp. 351–367, September 2020.