Пименов Иван Сергеевич, программист
Новосибирск
Ivan S. Pimenov, Coder
Novosibirsk
Саломатина Наталья Васильевна, кандидат физико-математических наук, старший научный сотрудник
Новосибирск
Natalia V. Salomatina, PhD, Senior Researcher
Novosibirsk
Качество работы алгоритмов машинного обучения, применяемых для решения многих задач NLP, в том числе задачи автоматического извлечения структур аргументации из текста, существенно зависит от единообразия разметки корпуса данных. В разметке объемных корпусов, необходимых для обучения алгоритмов, как правило, участвуют несколько аннотаторов, что снижает ее единообразие или согласованность. В данной работе с целью улучшения согласованности предложены методы модификации аргументативной разметки, построенной разметчиками в виде графов аргументации с помощью инструментов платформы ArgNetBank Studio согласно стандарту Argument Interchange Format. Графы содержат вершины с текстом утверждений (посылок, заключений), связанные в аргумент ребрами через вершины-схемы (типы аргументов из списка Уолтона). В работе предлагаются способы автоматической модификации графов для случаев расхождений между разметчиками в определении аргументативности высказываний, относящихся к «периферии» рассуждений, и отдельных типов аргументов. Повышение согласованности на уровне высказываний осуществляется двумя путями: 1) удалением листовых вершин графа, представленных лишь в одной разметке и 2) преобразованием цепочки из двух аргументов в один при выполнении определенных условий. Рост согласованности типов аргументов осуществляется за счет замены узкоспециализированных схем на более общие, а также по правилам исходя из принадлежности схем к функциональным группам, содержащим близкие по семантике и по специфике реализации в рассуждениях. Количественной оценкой согласованности обычно служат коэффициенты согласия. Подсчитанный коэффициент α Криппендорфа показал значительный рост согласия в разметке после модификации корпуса из 160 графов аргументации 80 коротких научных статей (на 25 % для аргументативных высказываний и на 19 % для схем). Однако оценки качества распознавания классификатором MLP предложений с аргументацией продемонстрировали только 5%-й рост F-меры. Четыре исследуемые схемы рассуждения CausetoEffect, VerbalClassification, Example, PracticalReasoning на оригинальном и модифицированном корпусе показали еще меньший прирост F-меры: не более 2 %. Сделан вывод о недостаточности только прироста коэффициента согласия для существенного улучшения оценок качества распознавания.
The efficiency of machine learning algorithms applied to various NLP tasks, particularly the automatic extraction of argumentation structures from texts, heavily depends on datasets annotation consistency. As a rule, annotation of large corpora for algorithms training relies on a joint effort of several annotators, detrimental to its consistency. The present article describes methods of modifying argumentation annotations for improving their consistency. Annotations in the study take form of argumentation graphs constructed in accordance with the Argument Interchange Format standard, using ArgNetBank Studio tools. These graphs contain nodes with statements text (for premises, conclusions) aggregated into arguments with edges through scheme nodes (which correspond to argument types from Walton’s compendium). The study proposes methods for automatic modification of graphs in case of annotators’ disagreement in identifying argumentative statements and arguments of specific types. At the level of statements, consistency improvement relies on two procedures: 1) removal of leaf nodes present only in one of the graphs; 2) transformation of two-argument sequences into one-argument upon fulfillment of specific conditions. For argument types, agreement increases through replacing infrequent narrow-focused schemes with more common general ones, as well as by applying a hierarchical system of schemes substitution rules based on their functional classification (a functional group unites schemes similar in semantic and textual expression properties). A typical quantitative way of measuring annotation consistency is employing inter-annotator agreement coefficients. Calculation of the Krippendorff α agreement coefficient demonstrates a considerable increase of consistency upon modifying a corpus of 160 annotations for 80 short scientific articles in Russian: the increase equals 25 % for argumentative statements and 19 % for argument types. However, an experiment in identifying argumentative sentences with an MLP classifier shows only a 5 % increase of F-measure after modifying the corpus. The increase of F-measure for identifying four argumentation types under analysis (Cause to Effect, Verbal Classification, Example, Practical Reasoning) is even less: no more than 2 %. We arrive at a conclusion that an improvement of the inter-annotator agreement coefficient is by itself insufficient for a considerable increase in identification efficiency values in practice.
The authors declare that there are no conflicts of interest present.