Иван Сергеевич Пименов, аспирант НГУ
Новосибирск
Ivan S. Pimenov, Postgraduate Student at Novosibirsk State University
Novosibirsk
В работе представлен анализ расхождений между аннотаторами при разметке аргументации в научных статьях, итогом которого является формулирование рекомендаций по стандартизации разметки. Расхождения между аннотаторами исследуются на трех уровнях разметки: при выявлении тезисов (утверждений в составе аргументов), построении связей между ними, определении типовых моделей рассуждения в основе связей. Исследуемым материалом служат 20 аргументационных аннотаций 10 научных текстов двух тематик, где для каждого текста построено два варианта разметки от разных экспертов. В совокупности 20 аннотаций содержат 917 тезисов и 773 аргумента. Разметка каждого текста заключалась в моделировании его аргументационной структуры согласно стандарту Argument Interchange Format, посредством построения ориентированного связного графа с двумя типами вершин: информационными, которые соответствуют тезисам, и вершинами-схемами, указывающими на связи между тезисами и реализуемыми в них типовыми моделями (схемами) рассуждения из компендиума Уолтона. Расхождения между аннотаторами выявляются посредством автоматического сопоставления графов, представляющих аргументационную структуру одного и того же текста, в три этапа: 1) определение тезисов, представленных в одном графе и отсутствующих в другом; 2) обнаружение связей, различным образом соединяющих одинаково выделенные тезисы; 3) выявление различных моделей рассуждения в одинаково построенных связях. Типовые случаи расхождений устанавливаются по итогам экспертного анализа найденных несоответствий между элементами графов с учетом их структурной специфики (расположения тезисов в графе, расстояния между связанными тезисами в исходном тексте, соотношения общих частот моделей рассуждения и числа вызванных ими расхождений). Показано, что соответствия между разметчиками достигают в среднем 78 % на уровне тезисов, 55 % для построения связей, 60 % для определения моделей рассуждения. К типовым случаям расхождения относится выявление тезисов, приводимых без обоснования; построение связей между тезисами в одном абзаце и на расстоянии более чем трех абзацев; выявление двух конкретных аргументационных схем (вызывающих 40 % и 33 % расхождений) и смешение функционально различных моделей рассуждения ввиду разноаспектного восприятия связей аннотаторами. Итогом исследования являются рекомендации по аргументационной разметке, сформулированные для минимизации типовых случаев расхождения на каждом уровне аннотирования.
This paper presents the analysis of inter-annotator disagreements in modeling argumentation in scientific papers. The aim of the study is to specify annotation guidelines for the typical disagreement cases. The analysis focuses on inter-annotator disagreements at three annotation levels: theses identification, links construction between theses, specification of reasoning models for these links. The dataset contains 20 argumentation annotations for 10 scientific papers from two thematic areas, where two experts have independently annotated each text. These 20 annotations include 917 theses and 773 arguments. The annotation of each text has consisted in modelling its argumentation structure in accordance with Argument Interchange Format. The use of this model results in construction of an oriented graph with two node types (information nodes for statements, scheme nodes for links between them and reasoning models in these links) for an annotated text. Identification of reasoning models follows Walton’s classification. To identify disagreements between annotators, we perform an automatic comparison of graphs that represent an argumentation structure of the same text. This comparison includes three stages: 1) identification of theses that are present in one graph and absent in another; 2) detection of links that connect the corresponding theses between graphs in a different manner; 3) identification of different reasoning models specified for the same links. Next, an expert analysis of the automatically identified discrepancies enables specification of the typical disagreement cases based on the structural properties of argumentation graphs (positioning of theses, configuration of links across statements at different distances in the text, the ratio between the overall frequency of a reasoning model in annotations and the frequency of disagreements over its identification). The study shows that the correspondence values between argumentation graphs reach on average 78 % for theses, 55 % for links, 60 % for reasoning models. Typical disagreement cases include 1) detection of theses expressed in a text without explicit justification; 2) construction of links between theses in the same paragraph or at a distance of four and more paragraphs; 3) identification of two specific reasoning models (connected respectively to the 40 % and 33 % of disagreements); 4) confusion over functionally different schemes due to the perception of links by annotators in different aspects. The study results in formulating annotation guidelines for minimizing typical disagreement cases at each level of argumentation structures.
The authors declare that there are no conflicts of interest present.