Оценка надежности лексических списков для автоматизированной оценки уровня владения русским языком как иностранным

Оценка языковой грамотности играет важную роль в образовании, но она часто оценивается субъективно, что может внести предвзятость и несоответствия в результаты оценки. В связи с этим многие исследователи предлагают использовать автоматизированные и полуавтоматизированные методы оценки на основе лингвистических характеристик текстов. В данном исследовании рассматривается применимость доступных списков лексики в качестве инструментов для автоматической оценки уровня владения русским языком студентами.

Существует несколько различных видов лексических списков, такие как списки по частотности слов и минимальные списки лексики. В этом исследовании анализируются четыре популярных русскоязычных лексических списка, которые используются в образовании и анализе лексических знаний. Предполагается, что тексты студентов, оцененные на более низких уровнях языковой грамотности, будут в большей степени содержать часто употребляемые слова и слова низкого уровня, соответствующие распределению лексических элементов по частотности или уровню владения языком, представленному в этих списках. Студенты, оцененные на более высоких уровнях грамотности, наоборот, будут использовать менее часто встречающиеся и более сложные лексические единицы. Анализ корреляции между этими ресурсами и текстами, созданными студентами, позволяет получить понимание о целесообразности использования лексических списков для оценки уровня владения русским языком.

Для анализа корреляции между выбранными лексическими списками и текстами студентов используются собственные скрипты Python. Кроме того, был применен метод кластерного анализа, известный как анализ главных компонент (PCA), чтобы проверить гипотезу о том, что тексты студентов на одном и том же уровне грамотности имеют тенденцию использовать схожий базовый словарь с некоторой степенью вариации.

Исследование поднимает важные вопросы о том, насколько эффективно можно использовать лексические списки для оценки языковой грамотности. Полученные результаты могут стать основой для создания более точных и всесторонних методов оценки лексической грамотности студентов, изучающих русский язык.

1. Андрюшина Н. П., Козлова Т. В. Лексический минимум по русскому языку как иностранному. Элементарный уровень. Общее владение. 5-е изд. СПб.: Златоуст, 2015.

2. Андрюшина Н. П., Козлова Т. В. Лексический минимум по русскому языку как иностранному. Базовый уровень. Общее владение. 5-е изд. СПб.: Златоуст, 2013.

3. Андрюшина Н. П. и др. Лексический минимум по русскому языку как иностранному. Первый сертификационный уровень. Базовое владение. 7-е изд. СПб.: Златоуст, 2015.

4. Андрюшина Н. П. и др. Лексический минимум по русскому языку как иностранному. Второй сертификационный уровень. Общее владение. 5-е изд. СПб.: Златоуст, 2015.

5. Дайс Ли Р. Меры экологической ассоциации между видами. Экология, 1945. 26 (3): 297–302. [Online] DOI:10.2307/1932409. JSTOR 1932409

6. Джанда Лора А. и Фрэнсис М. Тайерс. Меньше – значит лучше: почему все парадигмы дефектны, и почему это хорошо. Корпусная лингвистика и лингвистическая теория, 2018. 14(2), 33 стр. [Online] DOI.org/10.1515/cllt-2018-0031

7. Килгаррифф А. и др. (Списки лексики на основе корпуса для изучающих язык в девяти языках. Языковые ресурсы и оценка, 2014. 48 стр. 121–163. [Online] DOI 10.1007/s10579-013-9251-2

8. Лапошина А. Опыт экспериментального исследования сложности текстов по РКИ // Конференция «Динамика языковых и культурных процессов в современной России» [Электронный ресурс]. Вып. 6. Материалы VI Конгресса РОПРЯЛ (г. Уфа, 11–14 октября 2018 года) В: СПб.

9. Лапошина А. Н., & Лебедева М. Ю. Текстометр: онлайн-инструмент определения уровня сложности текста по русскому языку как иностранному // Русская языковая студия, 2021. 19(3), 331–345. [Online] DOI: 10.22363/2618-8163-2021-19-3-331-345

10. Лу Ши. Автоматический анализ синтаксической сложности вторичного языка // Международный журнал корпусной лингвистики, 2010. 15(4), 474–496.

11. Луман Дж., Кэмпбелл Дж. Б. Адаптация K Соренсена (1948) для оценки аффинитета элементов в степных растительных сообществах // Экология. 1960, 41 (3): 409–416. DOI:10.2307/1933315. JSTOR 1933315

12. Ляшевская О. Н., и др. Оценка методов автоматического анализа текста: морфологические парсеры русского языка // Вычислительная лингвистика и интеллектуальные технологии. Труды ежегодной международной конференции «Диалог», 2010. Т. 9. Вып. 16. С. 318–326. М.: РГГУ.

13. Ляшевская О. Н., Шарофф С. А.: Частотный словарь современного русского языка (на основе материалов Национального корпуса русского языка). М.: Азбуковник, 2009.

14. Совет Европы. Общеевропейские рекомендации по владению иностранными языками: схема. [Online] Доступно: https://www.coe.int/en/web/common-european-framework-referencelanguages/level-descriptions

15. Соренсен Т. Метод формирования групп с равными амплитудами в растительной социологии на основе сходства видов и его применение для анализа растительности датских общин // Kongelige Danske Videnskabernes Selskab, 1948. 5 (4): 1–34.

16. Чирнер Э., Беренфенгер О., Ваннер И. Оценка доказательств обоснованности присвоения рейтингов CEFR собеседованию по устной речи ACTFL (OPI) и собеседованию по устной речи с помощью компьютера (OPIc) // Лейпциг: Университат Лейпциг, Институт Гердера. 2012.

17. American Council on the Teaching of Foreign Languages (ACTFL) proficiency guidelines, [Online] Доступно: https://www.actfl.org/resources/actfl-proficiency-guidelines-2012

18. Abdi H., Lynne J. Williams. Principal component analysis // Wiley interdisciplinary reviews: computational statistics 2, no. 4 (2010): 433–459.

19. Hawkins J. A., & Buttery P. Criterial features in learner corpora: Theory and illustrations // English Profile Journal, 2010. 1, e5.

20. Bast R., et al. (2018–2023). SMARTool. [Online] Доступно: https://smartool.github.io/smartoolrus-eng/ (дата обращения: 26.06.2023).

21. Callies M., & Götz S. Learner corpora in language testing and assessment: Prospects and challenges. Learner corpora in language testing and assessment, 2015. 1–9.

22. Clancy S. (2014–2023). Visualizing Russian. [Online] Доступно: https://digitalhumanities.fas.harvard.edu/project/visualizing-russian/ (дата обращения: 26.06.2023).

23. Ondov Brian D. et al. Mash: fast genome and metagenome distance estimation using MinHash // Genome biology 17.1 (2016): 1–14.

24. UDPipe 1 Models. 2021. (дата обращения: 30.06.2021).