Сервисы автоматического распознавания речи на русском языке: исследование качества и инклюзивности на примере датасета RuAphasiaBank

Технологии автоматического распознавания речи (АРР) к настоящему моменту стали базовым компонентом бэкенд-инфраструктуры различных голосовых и когнитивных ассистентов, обеспечивая доступ пользователей к коммерческим сервисам и государственным платформам. Однако из-за неравномерного распределения данных, на которых модели АРР обучаются, острой становится проблема предвзятости моделей при работе с атипичной речью. Цель исследования заключается в оценке качества распознавания и сравнении уровня инклюзивности моделей АРР, доступных сегодня на российском рынке, при обработке речи пациентов с афазией. Материалом для тестирования стал новый датасет RuAphasiaBank с фонограммами русскоговорящих пациентов с афазией и нейротипичных людей. В датасете представлены записи пациентов с разными типами афазий трех степеней тяжести речевого расстройства, а также образцы разных видов речевой деятельности: диалоги, монологи, пересказы и чтение вслух. Для оценки систем АРР использовались транскрипции 44 записей пациентов с легкой и умеренной комплексной моторной афазией и 24 записей нейротипичных информантов. Сравнению подверглись значения стандартных метрик WER и CER у демоверсий четырех коммерческих АРР, поддерживающих русский язык (Yandex SpeechKit, SaluteSpeech, Shopot, T-bank). Все модели показали наибольшее количество ошибок при распознавании записей чтения и пересказа. Монологи были распознаны лучше всего: Yandex SpeechKit показал наилучшую точность (медианный WER 16–55 %), SaluteSpeech – худшую (34–72 %). Наибольшую стабильность при распознавании спонтанной речи в контрольной группе продемонстрировала модель T-Bank (WER 28–38 %). Обнаруженный высокий WER при низком CER указывает на лексический характер ошибок распознавания. Качество распознавания нейротипичной и афазической речи оказалось сопоставимым – модели в целом не справляются с обработкой естественной разговорной речи. Для атипической речи не удалось определить явного лидера, а общий уровень инклюзивности систем АРР на российском рынке оценивается как низкий.

1. Визель Т. Г. Нейролингвистический анализ атипичных форм афазии (системный интегрированный подход): автореф. дис. … д-ра психол. наук: 19.00.04. М., 2002. 49 с.

2. Карпов А. А., Кипяткова И. С. Методология оценивания работы систем автоматического распознавания речи // Известия высших учебных заведений. Приборостроение. 2012. Т. 55, № 11. С. 38–43.

3. Колмогорова А. В., Соловьева М. В. Методика упрощения текстов по критерию когнитивной трудности для пациентов с афазией // Десятая Междунар. конф. по когнитивной науке: тез. докл. (Пятигорск, 26–30 июня 2024 г.). Ч. II / под ред. Киреева М. В. Пятигорск, 2024. С. 185–186.

4. Лурия А. Р. Высшие корковые функции человека. СПб.: Питер, 2008. 431 с.

5. Лурия А. Р. Основы нейропсихологии. М.: Изд-во Моск. ун-та, 1973. 374 с.

6. Цветкова Л. С. Афазия и восстановительное обучение. М.: Просвещение, 1988. 207 с.

7. Шохор-Троцкая М. К. Речь и афазия. М.: Академический проект, 2001. 416 с.

8. Barberis M., De Clercq P., Tamm B., Van Hamme H., Vandermosten M. Automatic recognition and detection of aphasic natural speech. arXiv. [Preprint]. 2024. DOI: https://arxiv.org/abs/2408.14082

9. Bemmel van L., Harmsen W., Cucchiarini C., Strik H. Automatic Selection of the Most Characterizing Features for Detecting COPD in Speech. In: Karpov A., Potapova R. (eds) Speech and Computer. SPECOM 2021. Lecture Notes in Computer Science. 2021. No. 12997. P. 737–748. Springer, Cham. DOI: 10.1007/978-3-030-87802-3_66

10. Ben-David B. M., Schneider B. A., Alain C. Does it take older adults longer than younger adults to separate speech from a steady-state noise masker? Hearing Research. 2012. No. 292. P. 107–113. DOI: 10.1016/j.heares.2012.04.022

11. Escolano C., Barrué C., Picas J., Alenyà G. Studying the performance of automatic speech recognition systems on older adults. In: 2023 IEEE International Conference on Robotics and Automation (ICRA). 2023. P. 10323–10329. DOI: 10.1109/ICRA.2023.10124187

12. Feng S., Halpern B., Kudina O., Scharenborg O. Towards inclusive automatic speech recognition. Computer, Speech and Language. 2023. Vol. 84. P. 101567. DOI: 10.1016/j.csl.2023.101495

13. Harris K. C., Dubno J. R., Keren N. I., Ahlstrom J. B., Eckert M. A. Speech recognition in younger and older adults: a dependency on low-level auditory cortex. Journal of Neuroscience. 2009. Vol. 29(19). P. 6078–6087. DOI: 10.1523/JNEUROSCI.0412-09.2009

14. Khudyakova M., Bergelson M., Akinina Y., Iskra E., Toldova S., Dragoy O. Russian CliPS: a corpus of narratives by brain-damaged individuals. In: RaPID-2016. 2016. P. 22–26.

15. Latif S., Qadir J., Qayyum A., Usama M., Younis S. Speech technology for healthcare: opportunities, challenges, and state of the art. IEEE Revue of Biomedical Engineering. 2021. Vol. 14. P. 342–356. DOI: 10.1109/RBME.2020.3006860

16. MacWhinney B. Analyses of AphasiaBank data. Frontiers in Psychology. 2015. DOI: 10.3389/conf.fpsyg.2015.65.00055

17. Moreno-Torres I., Nava E. Consonant and vowel articulation accuracy in younger and middle-aged Spanish healthy adults. PLoS One. 2020. Vol. 15(11). P. 0242018. DOI: 10.1371/journal.pone.0242018

18. Orero P. Three different receptions of the same film: “The Pear Stories Project” applied to audio description. European Journal of English Studies. 2008. Vol.12(2). P. 179–193. DOI: 10.1080/13825570802151424

19. Sanguedolce G., Brook S., Gruia D., Naylor P., Geranmayeh F. When Whisper listens to aphasia: advancing robust post-stroke speech recognition. In: Proceedings of Interspeech 2024. Kos, Greece. 2024. P. 1995–1999. DOI: 10.21437/Interspeech.2024-2183

20. Tang J., Chen W., Chang X., Watanabe S., MacWhinney B. A new benchmark of aphasia speech recognition and detection based on E-Branchformer and multi-task learning. In: Proceedings of Interspeech 2023. Dublin, Ireland; 2023. P. 1528–1532. DOI: 10.21437/Interspeech.2023-2191

21. Vipperla R., Renals S., Frankel J. Longitudinal study of ASR performance on ageing voices. In: Proceedings of Interspeech 2008. Brisbane, Australia; 2008. P. 2550–2553. DOI: 10.21437/Interspeech.2008-632

22. Werner L., Huang G., Pitts B. J. Smart speech systems: a focus group study on older adult user and non-user perceptions of speech interfaces // International Journal of Human-Computer Interaction. 2023. Vol. 39(5). P. 1149–1161. DOI: 10.1080/10447318.2022.2050541

23. Xiong W., Droppo J., Huang X., Seide F., Seltzer M., Stolcke A., Yu D., Zweig G. Achieving human parity in conversational speech recognition. arXiv. [Preprint]. 2016. DOI: arxiv.org/abs/1610.05256