«Руки на коленях»: компьютерный анализ жестов в контексте произнесения прагматического маркера «вот»

В статье рассматривается взаимосвязь между произнесением прагматического маркера (ПМ) и жестикуляцией на примере маркера «вот», выполняющего разграничительную функцию в спонтанной речи. Цель исследования – проверить гипотезу о том, что произнесению ПМ «вот» соответствует остановка активной жестикуляции, проявляющаяся в жесте «руки на коленях», при котором руки располагаются на коленях или около них. Чтобы выявить специфичность жестовой реакции именно на прагматический маркер «вот», для сопоставления были взяты близкие по частоте контрольные лексемы: местоимение «он» и словоформа «груши».

Для анализа использовались данные мультимодального корпуса «Рассказы и разговоры о грушах», обработанные с помощью оригинального программного обеспечения на Python, разработанного автором статьи для выявления и квантификации корреляций между вербальными и кинетическими компонентами речи. В программе использовался автоматизированный трекинг кинетических параметров (координаты ключевых точек и скорость их движения), а также временная привязка жестовых паттернов к речевым событиям и статистическая обработка корреляций между вербальными и невербальными компонентами.

Результаты наблюдений подтвердили, что между произнесением значимых слов и жестом «руки на коленях» корреляции не обнаруживается, тогда как для ПМ «вот» такая связь очевидна. Это указывает на рефлекторный характер подобных проявлений и их принадлежность к метакоммуникативному уровню речи. Анализ показал, что исследование прагматических маркеров без учета сопутствующей жестикуляции неполно.

Настоящее исследование выполнено на примере одного прагматического маркера («вот») и одного жеста («руки на коленях»), но очевидно, что его методика может и должна быть распространена на другие прагматические маркеры, лингвистические явления и жесты. Работа показывает необходимость интеграции изучения вербальных и невербальных компонентов коммуникации для более полного понимания функционирования языка в живом общении, а также перспективы использования нейросетевых технологий компьютерного зрения для более глубокого анализа взаимосвязи речи и жестов.

1. Богданова-Бегларян Н. В., Блинова О. В., Зайдес К. Д., Шерстинова Т. Ю. Корпус «Сбалансированная аннотированная текстотека» (САТ): изучение специфики русской монологической речи // Тр. Ин-та русского языка им. В. В. Виноградова. 2019. Вып. 21. Национальный корпус русского языка: исследования и разработки. С. 111–126.

2. Богданова-Бегларян, Н. В. Прагматические маркеры русской повседневной речи: словарь-монография. СПб.: Нестор-История, 2021. 520 с.

3. Кибрик А. А., Федорова О. В. An empirical study of multichannel communication: Russian Pear Chats and Stories // Психология. Журнал Высшей школы экономики. 2018. № 15 (2). С. 191-200. DOI: 10.17323/1813-8918-2018-2-191-200, EDN: ZAHPML

4. Кибрик А. А., Федорова О. В., Подлесская В. И. Мультиканальные корпуса: вчера, сегодня, завтра // А. Б. Безбородов (ред.) Гуманитарные чтения РГГУ – 2017. 2018. М.: РГГУ. С. 499–511. EDN: VUISMK

5. Корпус «Рассказы и разговоры о грушах». URL: https://multidiscourse.ru/corpus/ (дата обращения: 02.06.2025).

6. Литвиненко А. О., Николаева Ю. В., Кибрик А. А. Аннотирование русских мануальных жестов: теоретические и практические вопросы // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной междунар. конф. «Диалог» (Москва, 31 мая – 3 июня 2017 г.). 2017. Вып. 16 (23): В 2 т. М.: Изд-во РГГУ. Т 2. С. 255–268. EDN: PRMZTV

7. Митренина О. В. Использование инструментов компьютерного зрения для исследования речи // Исследование речи: теоретические и прикладные аспекты: сб. науч. ст. Улан-Удэ: Бурят. гос. ун-т им. Доржи Банзарова, 2025. С. 85–90. EDN: ONADBF.

8. Ebert C. Semantics of Gesture (January 2024). Annual Review of Linguistics, Vol. 10, Issue 1, pp. 169–189, 2024, DOI: 10.1146/annurev-linguistics-022421-063057

9. Kendon A. Gesture: Visible Action as Utterance. Cambridge, UK: Cambridge Univ. Press, 2004. 400 p.

10. McNeill D. Gesture and Thought. Chicago, IL: Univ. Chicago Press, 2005. 328 p.MediaPipe Solutions. URL: https://github.com/google-ai-edge/mediapipe (дата обращения: 03.03.2025).