Экспозиторный дискурс от первого лица в полимодальной перспективе: комплементарность и дублирование в паттернах речи и жестов

Статья обращена к проблеме установления паттернов адаптации речи и жестов в полимодальном конструировании экспозиторного дискурса от первого лица. Развивая когнитивно-семиотический подход, в работе определяется вклад семиотических измерений метафоричности, конвенциональности, индексальности, прагматичности, агентивности, переходности в конструировании референта и события в экспозиторном дискурсе от первого лица. Гипотеза исследования заключается в том, что несмотря на разнообразие в распределении жестов в этих измерениях, существуют устойчивые паттерны адаптации, описываемые отношениями комплементарности и дублирования. Материалом исследования являются 20 записей устных экспозиторных монологов, содержащих 5 603 жеста, в которых анализу подвергаются 725 высказываний от первого лица, синхронизированных с 1 959 случаями использования жестов четырех групп, дейктических, репрезентирующих, прагматических и адаптеров. В данных высказываниях устанавливаются паттерны комплементарных и дублирующих отношений в распределении жестов и речевых маркеров – метафор, пространственных дейктиков и дискурсивных маркеров, агентивных и транзитивных глаголов, описывающих полимодальный профиль экспозиторного дискурса от первого лица. Результаты показывают, что иконичность, реализующаяся в использовании репрезентирующих и прагматических жестов, проявляется в комплементарных и дублирующих паттернах адаптации с речью, а индексальность, реализующаяся в дейктических жестах, – в основном, в комплементарных. Также обнаружено, что исследуемые семиотические измерения определяют варьирование в распределении жестов несмотря на то, что в высказываниях референты конструируются одновременно в нескольких измерениях, что позволяет справиться с проблемой вынужденного анализа жестов как синхронизированных с конкретными маркерами этих измерений. В целом, работа вносит вклад в установление общих когнитивно-семиотических оснований в адаптацию речи и жестов в дискурсе, а также в разработку прогностических инструментов оценки адаптации с учетом разных семиотических измерений. 

1. Bressem J., Müller C. The family of away gestures. Body – Language – Communication: An International Handbook on Multimodality in Human Interaction, vol. 2. Ed. by C. Müller, A. Cienki, E. Fricke, S. H. Ladewig, D. McNeill, and S. Teßendorf. Berlin, De Gruyter Mouton), 2014, pp. 1592–1604.

2. Chan D. M., Kelly S. Construing events first-hand: Gesture viewpoints interact with speech to shape the attribution and memory of agency. Memory and Cognition, 2021, no. 49, pp. 884–894.

3. Chen Y., Adolphs S., Knight D. Towards a speech-gesture profile of discourse markers: The case of ‘I mean’. Lingua, 2024, no. 312, 2024, Article number 103836.

4. Cienki A., Müller C. (eds.) Metaphor and gesture. Amsterdam and Philadelphia, John Benjamins Publishing Company, 2008, 306 p.

5. de Ruiter J. P. The Production of gesture and speech. Language and Gesture. Ed. by D. McNeill. Cambridge, Cambridge University Press, 2000, pp. 284–311.

6. Denisova V. A., Cienki A., Iriskhanova O. K. Boundary expression in verbs and gesture: Differences between l1 and l2 speakers. Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue”, 2018, no. 17 (4), pp. 163–171.

7. Grishina Е. А. Manual pointing as a system (based on Multimedia Russian Corpus). Voprosy Yazykoznanija, 2012, no. 3, pp. 3–50. (in Russ.)

8. Hinnell J., Parrill F. Gesture influences resolution of ambiguous statements of neutral and moral Preferences. Frontiers of Psychology, 10 December 2020, vol. 11. URL: https://doi.org/10.3389/fpsyg.2020.587129 (accessed 15.08.2025).

9. Iriskhanova O. K., Cienki A. The semiotics of gestures in cognitive linguistics: Contribution and challenges. Voprosy Kognitivnoy Lingvistiki, 2018, no. 4, pp. 25–36.

10. Iriskhanova O. K., Kiose M. I., Leonteva A. V., Agafonova O. V. Multimodal languaging: Reification profiles in language and gesture. Linguistic Frontiers, 2023, no. 6 (2), pp. 78–91.

11. Kelly S., Ozyürek A., Maris E. Two sides of the same coin: speech and gesture mutually interact to enhance comprehension. Psychological Science, 2010, no. 21, pp. 260–267.

12. Kendon A. Gesture: Visible action as utterance. Cambridge, Cambridge University Press, 2004, 410 p.

13. Leonteva A. V., Cienki A., Agafonova O. V. Metaphoric gestures in simultaneous interpreting. Russian Journal of Linguistics, 2023, no. 27 (4), pp. 820–842.

14. Litvinenko A. O., Kibrik A. A., Fedorova O. V., Nikolaeva J. V. Annotating hand movements in multichannel discourse: Gestures, adaptors and manual postures. The Russian Journal of Cognitive Science, 2018, no. 5 (2), pp. 4–17.

15. Mittelberg I., Waugh L. R. 2009. Metonymy first, metaphor second: A cognitive semiotic approach to multimodal figures of thought in co-speech gesture. Ed. by Ch. J. Forceville, E. Urios-Aparisi. Multimodal metaphor. Berlin, De Gruyter Mouton, 2009, pp. 329–358.

16. Müller C. Gestural modes of representation as techniques of depiction. Ed. by C. Müller, A. Cienki, E. Fricke, S. H. Ladewig, D. McNeill, J. Bressem. Body – language – communication. Berlin, De Gruyter Mouton, 2014, pp. 1687–1702.

17. Wu Suwei. Multimodality of transitive, intransitive and copular constructions in spoken language. Linguistics and Literature Studies, 2019, no. 7, pp. 241–249.

18. Wu Suwei, Cienki A. Transitivity, events, and gesture: The Case of the causative-inchoative alternation. Open Linguistics, 2019, no. 5, pp. 311–331.