Генерация критических вопросов для схем аргументации Д. Уолтона

В статье предложено решение задачи создания системы критических вопросов, применимых при анализе аргументативной составляющей текстов. Критические вопросы лежат в основе оценки приемлемости приводимой автором аргументации и направлены на проверку всех структурных компонент аргумента. Предлагаемая типология критических вопросов и метод их автоматической генерации с использованием больших языковых моделей предназначены для расширения онтологии, реализуемой в рамках подхода Д. Уолтона. Данная онтология содержит конечное фиксированное множество типовых схем аргументации, благодаря чему возможно построение полного конечного множества критических вопросов. Каждая схема аргументации в компендиуме Д. Уолтона представлена как набор посылок (от 1 до 4), из которых выводится заключение. Исходя из этого, типология критических вопросов допускает три направления атаки: (1) оспаривание каждой из посылок схемы; оспаривание заключения на основе внешних данных; (3) оспаривание законности вывода заключения из посылок или корректности описания правила вывода. Для автоматической генерации критических вопросов проведен эксперимент с большой языковой моделью Claude 3.7 Sonnet, который включал два подхода к составлению инструкций (промптов): a) изложение содержательных требований к вопросам в общем виде, что позволяет получить содержательно специфичные и конкретизированные вопросы для каждой схемы; б) создание шаблона для вопроса каждого типа, в результате чего модель генерирует унифицированные вопросы. Результаты экспериментов показали, что второй подход дает более точное решение (77,6 % корректных вопросов), однако первая стратегия позволяет генерировать более специфичные для заданной схемы вопросы. В результате был создан полный набор критических вопросов: 237 вопросов к 46 схемам. На основе критических вопросов сгенерированы атакующие утверждения, которые могут быть обобщены в виде схем, позволяющих проверить валидность аргумента, что позволит решить задачу аргументативного анализа полемики в диалогических и полилогических текстах. 

1. Лисанюк E. Н. Аргументация и убеждение. СПб.: Наука, 2015. 398 с.

2. Сидорова Е. А., Ахмадеева И. Р., Загорулько Ю. А., Кононенко И. С., Серый А. С., Чагина П. М., Шестаков В. К. Комплексный подход к анализу аргументативных отношений в текстах научной коммуникации // Онтология проектирования. 2023. Т. 13, № 4(50). С. 562– 579. URL: https://doi.org/10.18287/2223-9537-2023-13-4-562-579

3. Argumentation Research Group. The Argument Interchange Format (AIF) Specification. School of Computing, University of Dundee. Nov. 8, 2011. 2011. URL: https://www.arg-tech.org/wp-content/uploads/2011/09/aif-spec.pdf (дата обращения 08.07.2025).

4. Cerutti F., Toniolo A., Norman T. J., Bex F., Rahwan I., Reed C. AIF-EL – An OWL2-EL-Compliant AIF Ontology // Computational Models of Argument – Proceedings of COMMA 2018. 2018. Vol. 305. P. 455–456.

5. Chesnevar C., McGinnis J., Modgil S., Rahwan I., Reed C., Simari G. R., South M., Vreeswijk G., Willmott S. Towards an Argument Interchange Format // The Knowledge Engineering Review. 2006. No. 21(4). P. 293–316.

6. Figueras B. C., Agerri R. Critical Questions Generation: Motivation and Challenges // Proceedings of the 28th Conference on Computational Natural Language Learning, 2024. P. 105–116. URL: https://doi.org/10.48550/arXiv.2410.14335

7. Hastings A. C. A Reformulation of the Modes of Reasoning in Argumentation: Dissertation. Northwestern University, Evanston, IL. 1962.

8. Kononenko I. S., Sery A. S., Shestakov V. K., Sidorova E. A., Zagorulko Y. A. An Approach to Classifying Walton’s Argumentation Schemes // Proceedings of the 2023 IEEE XVI International Scientific and Technical Conference Actual Problems of Electronic Instrument Engineering (APEIE), Novosibirsk. 2023. P. 1540–1545. URL: https://doi.org/10.1109/APEIE59731.2023.10347573.

9. Prakken H. AI and Law, Logic and Argumentation Schemes // Argumentation. 2005. Vol. 19. P. 303–320.

10. Prakken H. On the Nature of Argument Schemes // C. Reed & C. Tindale (Eds.), Dialectics, Dialogue and Argumentation. An Examination of Douglas Walton’s Theories of Reasoning and Argument. 2010. P. 167–185.

11. Prakken H., Reed C., Walton D. N. Dialogues about the Burden of Proof // Proceedings of the 10th International Conference on Artificial Intelligence and Law (ICAIL), ACM Press, New York, 2005.

12. Walton D. What is reasoning? What is an argument? // The Journal of Philosophy. 1990. No. 87. P. 399–419.

13. Walton D., Macagno F. A. Classification System for Argumentation Schemes // Argument & Computation. 2016. P. 1–29.

14. Walton D., Reed С., Macagno F. Argumentation Schemes. Cambridge, Cambridge University Press, 2008. 456 p.

15. Yu S., Zenker F. Schemes Critical Questions, and Complete Argument Evaluation // Argumentation. 2020. Vol. 34, no. 4. 2020, P. 469–498. URL: https://doi.org/10.1007/s10503-020-09512-4