Методы повышения согласия аннотаторов при моделировании аргументационной структуры текста

Качество работы алгоритмов машинного обучения, применяемых для решения многих задач NLP, в том числе задачи автоматического извлечения структур аргументации из текста, существенно зависит от единообразия разметки корпуса данных. В разметке объемных корпусов, необходимых для обучения алгоритмов, как правило, участвуют несколько аннотаторов, что снижает ее единообразие или согласованность. В данной работе с целью улучшения согласованности предложены методы модификации аргументативной разметки, построенной разметчиками в виде графов аргументации с помощью инструментов платформы ArgNetBank Studio согласно стандарту Argument Interchange Format. Графы содержат вершины с текстом утверждений (посылок, заключений), связанные в аргумент ребрами через вершины-схемы (типы аргументов из списка Уолтона). В работе предлагаются способы автоматической модификации графов для случаев расхождений между разметчиками в определении аргументативности высказываний, относящихся к «периферии» рассуждений, и отдельных типов аргументов. Повышение согласованности на уровне высказываний осуществляется двумя путями: 1) удалением листовых вершин графа, представленных лишь в одной разметке и 2) преобразованием цепочки из двух аргументов в один при выполнении определенных условий. Рост согласованности типов аргументов осуществляется за счет замены узкоспециализированных схем на более общие, а также по правилам исходя из принадлежности схем к функциональным группам, содержащим близкие по семантике и по специфике реализации в рассуждениях. Количественной оценкой согласованности обычно служат коэффициенты согласия. Подсчитанный коэффициент α Криппендорфа показал значительный рост согласия в разметке после модификации корпуса из 160 графов аргументации 80 коротких научных статей (на 25 % для аргументативных высказываний и на 19 % для схем). Однако оценки качества распознавания классификатором MLP предложений с аргументацией продемонстрировали только 5%-й рост F-меры. Четыре исследуемые схемы рассуждения CausetoEffect, VerbalClassification, Example, PracticalReasoning на оригинальном и модифицированном корпусе показали еще меньший прирост F-меры: не более 2 %. Сделан вывод о недостаточности только прироста коэффициента согласия для существенного улучшения оценок качества распознавания.

1. Пименов И. С. Сочетаемость аргументов разных функциональных групп в научных текстах // Филологические науки. Вопросы теории и практики. Тамбов: Грамота, 2022. № 11. С. 3672–3680.

2. Пименов И. С. Анализ расхождений в аргументационной разметке научных статей на русском языке // Вестник НГУ. Серия: Лингвистика и межкультурная коммуникация. 2023. Т. 21, № 2. С. 89–104. DOI 10.25205/1818-7935-2023-21-2-89-104.

3. Сидорова Е.А., Ахмадеева И.Р., Загорулько Ю.А., Серый А.С., Шестаков В.К. Платформа для исследования аргументации в научно-популярном дискурсе // Онтология проектирования. 2020. Т. 10, № 4(38). С. 489–502.

4. Castro S. Fast Krippendorff: Fast computation of Krippendorff’s alpha agreement measure, 2017. https://github.com/pln-fing-udelar/fast-krippendorff.

5. Fishcheva I., Kotelnikov E. Cross-Lingual Argumentation Mining for Russian Texts // Proc. Of the 8th International Conference “Analysis of Images, Social Networks and Texts” (Kazan), 2019, pp. 134–144.

6. Fishcheva I., Goloviznina V., and Kotelnikov E. Traditional machine learning and deep learning models for argumentation mining in russian texts // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialog-2021”. 2021. P. 246–258.

7. Kotelnikov E., Loukachevitch N., Nikishina I., Panchenko A. RuArg-2022: argument mining evaluation // Proceedings of the International Conference “Dialogue 2022”. 2022. P. 1–16.

8. Krippendorff K. Content analysis: An introduction to its methodology, 3rd edition. Thousand Oaks, CA: Sage, 2013.

9. Pimenov I. S., Salomatina N. V. An Automatic Method for Standartizing Argumentative Annotations across Annotators // Proc. 2024 IEEE 25th International Conference of Young Professionals in Electron Devices and Materials (EDM), 28 June 2024 – 02 July 2024. DOI: 10.1109/EDM61683.2024.10615176

10. Rahwan I., Reed C. The argument interchange format. Argumentation in artificial intelligence // ed. Rahwan I. and Simari G., Springer, 2009, pp. 383–402.

11. Skeppstedt M., Peldzus A., Stede M. More or less controlled elicitation of argumentative text: Enlarging a microtext corpus via crowdsourcing // Proceedings of the 5th Workshop on Argument Mining, Brussels, Belgium, 2018, pp. 155–163.

12. Stab C. and Gurevych I. Annotating argument components and relations in persuasive essays // Proceedings of COLING 2014а, the 25th International Conference on Computational Linguistics: Technical Papers. 2014a. P. 1501–1510.

13. Stab C., Gurevych I. Identifying argumentative discourse structures in persuasive essays // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2014b. P. 46–56.

14. Stab C., Gurevych I. Parsing Argumentation Structures in Persuasive Essays // Computational Linguistics. 2017. Vol. 43, no. 3. P. 619−659.

15. Teruel M., Cardellino C., Cardellino F., Alemany L., Villata S. Increasing Argument Annotation Reproducibility by Using Inter-annotator Agreement to Improve Guidelines // Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). Miyazaki, Japan, 2018.

16. Walton D., Reed C., Macagno F. Argumentation schemes Fundamentals of critical argumentation. New York: Cambridge University Press, 2008, 443 p.