База данных русского жестового языка поликлинического предназначения: лингвистические особенности материала и аннотирования

Настоящая статья описывает цифровую базу данных русского жестового языка по тематической области «Первичный прием у врача-терапевта». Конкретной практической целью сбора базы данных является создание системы автоматического перевода с РЖЯ, основанной на технологиях глубокого машинного обучения. Вместе с тем, описываемая база данных представляет определенный интерес и с точки зрения лингвистики жестовых языков. Собранный материал позволяет проиллюстрировать ряд синтагматических явлений в слитной жестовой речи, аналогичных фонетической синтагматике, таких как эпентеза, ассимиляция, редукция и выпадение удержания. Данная работа проводится сотрудниками Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН в рамках междисциплинарного исследования по созданию системы машинного перевода с русского жестового языка.
Принципиальным отличием записанной базы данных от большинства датасетов, ориентированных на решение задач автоматического распознавания жеста, является наличие слитных высказываний и присутствие элементов развития собственно РЖЯ, а не калькирующей речи. К основным целям настоящей статьи относятся описание принципов создания базы данных, процесса ее формирования и записи, а также обоснование принятой системы аннотирования.
Автоматическая сегментация жестовой речи на минимальные компоненты является нетривиальной задачей, из-за вариативности формы (ср. плана выражения) жестов в слитной речи, серьезно затрудняющей четкое определение межжестовых границ.
В настоящей работе жест анализируется по модели движение-удержание, что позволяет выделить функциональное ядро жеста и отследить потенциальные вариации жестовых сегментов. Соответственно, в процессе аннотирования базы данных каждое высказывание на жестовом языке разбивалось на сегменты движения и удержания; полученные схемы жестов заносились затем в отдельный каталог, содержащий информацию об основных параметрах каждого удержания, в том числе и о возможности его контактной модификации. Результатом проделанной работы является полная декомпозиция записанных жестов, которая может быть использована при создании статистических моделей русского жестового языка.
К собственно лингвистическим особенностям базы данных относятся вариативность жестов, спонтанное переключение кодов (русский жестовый язык – калькирующая речь) и маусинг. Информанты, принявшие участие в записи базы данных, являются учащимися колледжа для глухих и овладели жестовой речью в разных регионах России, поэтому потенциально собранный материал может служить инструментом для исследования диалектной вариативности в РЖЯ.

1. Буркова С. И., Варинова О. А. К вопросу о территориальном и социальном варьировании русского жестового языка // Федорова О. В. (ред.). Русский жестовый язык: Первая лингвистическая конференция. М.: Буки Веди, 2012. С. 127–143.

2. Буркова С. И., Киммельман В. И., Филимонова Е. В., Кюсева М. В., Варинова О. А., Заварицкий Д. А., Приставко К. В., Кадыргулова Р. С. Введение в лингвистику жестовых языков. Русский жестовый язык. Учебник. Новосибирск: НГТУ, 2019. 356 с.

3. Гейльман И. Ф. Словарь русского жестового языка. В 2 т. СПб: Прана, 2004. 363 с.

4. Гриф М. Г., Королькова О. О., Мануева Ю. С. Разработка алгоритмического и программного обеспечения выбора значения многозначного слова и омонима в системе компьютерного сурдоперевода русского языка на основе семантической модели // Вестн. Новосиб. гос. ун-та. Серия: Лингвистика и межкультурная коммуникация, 2018. Т. 16. № 3. С. 32–44.

5. Драпкина О. М. Краткие алгоритмы ведения пациентов на этапе оказания первичной медико-санитарной помощи. Пособие для врачей-терапевтов / под ред. О. М. Драпкиной. М.: Видокс, 2019. 20 с.

6. Зайцева Г. Л. Жестовая речь. Дактилология: Учеб. для студ. высш. учеб. заведений. М.: Гуманит. изд. центр ВЛАДОС, 2000. 192 с.

7. Кагиров И. А., Рюмин Д. А., Аксенов А. А., Карпов А. А. Мультимедийная база данных жестов русского жестового языка в трехмерном формате // Вопросы языкознания, 2020. № 1. С. 104–123. DOI: 10.31857/S0373658X0008302-1

8. Кибрик А. Е. Методика полевых исследований (К постановке проблемы). М.: Издательство Московского университета, 1972.

9. Королькова О. О. Изучение функциональной стороны русского жестового языка // Вестн. Новосиб. гос. ун-та. Серия: Лингвистика и межкультурная коммуникация, 2017. Т. 15. № 3. С. 67–75.

10. Brentari D. A Prosodic Model of Sign Language Phonology. Cambridge, MA: MIT Press, 1998.

11. Camgöz N. C., Kındıroğlu A. A., Karabüklü S., Kelepir M., Özsoy A. S., Akarun L. Bosphorus Sign: A Turkish Sign Language Recognition Corpus in Health and Finance Domains. Proc. of the 10th International Conference on Language Resources and Evaluation (LREC’16), Portoroz, Slovenia, 2016, pp. 1383–1388. URL: https://aclanthology.org/L16-1220

12. de Souza R. S., de Martino J. M., Temoteo J., Rodrigues I. Automatic Recognition of Continuous Signing of Brazilian Sign Language for Medical Interview. Proc. of the Sixth International Conference on Informatics and Assistive Technologies for Health-Care, Medical Support and Wellbeing HEALTHINFO, Barcelona, Spain, 2021, pp. 41–46. URL: https://www.researchgate.net/publication/355208551_Automatic_Recognition_of_Continuous_Signing_of_Brazilian_Sign_Language_for_Medical_Interview

13. Grenoble L. An overviEw of Russian Sign Language. Sign Language Studies, 1992, no. 77, pp. 321– 338.

14. Grif M. G., Kugaevskikh A. V. Recognition of Deaf Gestures Based on a Bio-Inspired Neural Network. Journal of Physics: Conference Series, 2020, 1661 012038. DOI:10.1088/1742-6596/1661/1/012038

15. Kimmelman V. Reflexive Pronouns in Russian Sign Language and Sign Language of the Netherlands: MA Thesis in Linguistics. Amsterdam: Universiteit van Amsterdam, 2009.

16. Klezovich A. Automatic Extraction of Handshapes Inventory in Russian Sign Language. Linguistics.

17. WP BRP. NRU HSE, 2019, no. 86. Higher School of Economics Research Paper No. WP BRP 86/LNG/2019.

18. Kosmopoulos D., Oikonomidis I., Constantinopoulos C., Arvanitis N., Antzakas K., Bifis A., Lydakis G., Roussos A., Argyros A. Towards a Visual Sign Language Dataset for Home Care Services. Proc. of the 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020), 2020, pp. 520–524. DOI: 10.1109/FG47880.2020.00099

19. Leech G. Introducing Corpus Annotation. In Corpus Annotation / Ed. by R. Garside, G. Leech, and A. McEnery. London, U.K.: Longman, 1997, pp. 1-18.

20. Liddell S., Johnson R. E. American Sign Language: The Phonological Base. Washington, D.C.: Ms. Gallaudet University, 1989.

21. Perlmutter D. M. Sonority and Syllable Structure in American Sign Language. Linguistic inquiry, 1992, no. 23(3), pp. 407-442.

22. Rozelle L. The structure of sign language lexicons: inventory and distribution of handshape and location: PhD Dissertation. Washington: University of Washington, 2003.

23. Sandler W. The Spreading Hand Autosegment of American Sign Language. Sign Language Studies, 1986, no. 50, pp. 1–28.

24. Sandler W., Lillo-Martin D. Sign Language and Linguistic Universals. Cambridge: Cambridge University Press, 2006.

25. Stokoe W. C. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. Buffalo: Dept. of Anthropology and Linguistics, University of Buffalo. 1960.

26. Vidalón Y. J. E., de Martino J. M. Continuous Sign Recognition of Brazilian Sign Language in a Healthcare Setting. Journal of Communication and Information Systems, 2015, no. 30(1), pp. 82–89. DOI:10.14209/jcis.2015.10