Адаптация речевого и жестового поведения в условиях иммерсивной коммуни- кации: режимы взаимодействия «человек–человек» и «человек–компьютер»

Цель. На основании пилотного полимодального исследования в статье изучаются модели распределения адаптации речи и жеста у участников эксперимента в условиях иммерсивной коммуникации, осуществляемой в двух режимах взаимодействия: «человек–человек» и «человек–компьютер».
Процедура и методы. Проведён полимодальный эксперимент, в ходе которого осуществлялась фиксация речевого и жестового поведения участников в процессе взаимодействия с другим человеком или с экраном компьютера (с представленным на нём динамическим стимулом). С помощью иерархического кластерного анализа, позволившего сгруппировать участников со схожими проявлениями иммерсивной коммуникации, установлено индивидуальное варьирование в распределении дискурсивных схем в речи и типов жестов.
Результаты. Полученные результаты демонстрируют, что коммуникативное намерение говорящего в режиме «человек–человек» было усилено с помощью синхронизированного использования жеста и речи. Проведённый регрессионный анализ показал, что индивидуальное различие в распределении дискурсивных схем наблюдалось в использовании дескриптивных схем вне зависимости от режима взаимодействия.
Теоретическая и/или практическая значимость. Полученные результаты позволяют предположить, что степень иммерсивности может быть измерена, спрогнозирована и даже намеренно предустановлена. В целом, данное исследование доказывает эффективность применения полимодального метода для исследования иммерсивности.

1. Ефименко Т. Н., Иванова Ю. Е. Вербальные и невербальные средства коммуникации как операторы смысла в англоязычном деловом дискурсе (на материале публичных выступлений) // Вестник Московского государственного областного университета. Серия: Лингвистика. 2020. № 1. С. 15–28. DOI: 10.18384/2310-712X-2020-1-15-28.

2. Karray F., Alemzadeh M., Saleh J. A., Arab M. N. Human-computer interaction: Overview on state of the art // International Journal of Smart Sensing and Intelligent Systems. 2008. Vol. 1. Iss. 1. P. 137–159. DOI: 10.21307/ijssis-2017-283.

3. Valtolina S., Matamoros R. A., Epifania F. Methods for Evaluating Conversational Agents’ Communicability, Acceptability and Accessibility Degree // Human-Computer Interaction – INTERACT 2023. Proceedings of 19th IFIP TC13 International Conference (York, UK, August 28 – September 1, 2023), Part II. Cham: Springer, 2023. P. 372–382. DOI: 10.1007/978-3-031-42283-6_21 (Series: Lecture Notes in Computer Science (LNCS). Vol. 14143).

4. Диттрих А. Г. Современные области прагмалингвистических исследований // Вопросы современной лингвистики. 2023. № 4. С. 42–52. DOI: 1018384/2949-5075-2023-4-42-52.

5. Mcneill D., Levy E. T., Duncan S. D. Gesture in Discourse // The Handbook of Discourse Analysis / D. Tannen, H. E. Hamilton and D. Schiffrin (eds.). Chichester, UK: John Wiley & Sons, Inc., 2014. P. 262–289. DOI: 10.1002/9781118584194.ch12.

6. Ирисханова O. К., Ченки А. The semiotics of gestures in cognitive linguistics: contribution and challenges (Семиотика жестов в когнитивной лингвистике: достижения и актуальные вопросы) // Вопросы когнитивной лингвистики. 2018. № 4. С. 25–36. DOI: 10.20916/1812-3228-2018-4-25-36.

7. Kiose M., Leonteva A., Agafonova O. Aesthetic multimodality of speech and gesture: Towards its functional framework // Languages and Modalities. 2022. No. 2. P. 1–17. DOI: 10.3897/lamo.@.78840.

8. Apostolopoulos J. G., Chou P. A., Culbertson B., Kalker T., Trott M. D., Wee S. The road to Immersive Communication // Proceedings of IEEE. 2012. Vol. 100. No. 4. P. 974–990. DOI: 10.1109/JPROC.2011.2182069.

9. Шилина М. Г., Вирт Ю. Immersive technologies in media: Towards the concept of generative mediatization? // Вестник Российского университета дружбы народов. Серия: Литературоведение. Журналистика. 2021. Т. 26. № 4. С. 672–680. DOI: 10.22363/2312-9220-2021-26-4-672-680.

10. Holzapfel H., Nickel K., Stiefelhagen R. Implementation and evaluation of a constraint-based multimodal fusion system for speech and 3D pointing gestures // ICIM ʹ04: Proceedings of the 6th International Conference on Multimodal Interfaces. New York: Association for Computing Machinery, 2004. P. 175–182. DOI: 10.1145/1027933.1027964.

11. Gunes H., Piccardi M. Bi-modal emotion recognition from expressive face and body gestures // Journal of Network and Computer Applications. 2007. Vol. 30. Iss. 4. P. 1334–1345. DOI: 10.1016/j.jnca.2006.09.007.

12. Котов А., Зайдельман Л., Зинина А., Аринкин Н. Генеративная классификация элементов невербальной коммуникации // Компьютерная лингвистика и интеллектуальные технологии: материалы ежегодной международной конференции «Диалог» (2021). Москва: РГГУ, 2021. Вып. 20 S. С. 1095–1105. DOI: 10.28995/2075-7182-2021-20-1095-1105.

13. Khan T., Barthel H., Amrhein K., Ebert A., Liggesmeyer P. An Interactive Approach for Inspecting Software System Measurements // Human-Computer Interaction – INTERACT 2015. Proceedings of 15th IFIP TC.13 International Conference on Human-Computer Interaction (INTERACT’ 2015). Cham: Springer, 2015. P. 1–8. DOI: 10.1007/978-3-319-22698-9_1 (Series: Lecture Notes in Computer Science (LNCS). Vol. 9298).

14. Малахова В. Л. Анализ формирования мультимодального смыслового пространства английского дискурса через призму интегративной функциональной методологии // Вестник Московского государственного областного университета. Серия: Лингвистика. 2022. № 1. С. 60–69. DOI: 10.18384/2310-712X-2022-1-60-69.

15. Werlich E. A Text Grammar of English. Heidelberg: Quelle and Meyer, 1976. 315 p.

16. Longacre R. E. The Grammar of Discourse. New York: Plenum, 1983. 423 p.

17. Virtanen T. Issues of text typology: Narrative – a ‘basic’ type of text? // Text – Interdisciplinary Journal for the Study of Discourse. 1992. Vol. 12. No. 2. P. 293–310. DOI: https://doi.org/10.1515/text.1.1992.12.2.293.

18. Кибрик А. А. Модус, жанр и другие параметры классификации дискурсов // Вопросы языкознания. 2009. № 2. С. 3–21.

19. Van Dijk T. A. Macrostructures: An interdisciplinary study of global structures in discourse, interaction, and cognition. Hillsdale, NJ: Lawrence Erlbaum Associates, 1980. 317 p.

20. Mann W. C., Thompson S. A. Rhetorical Structure Theory: Toward a functional theory of text organization // Text – Interdisciplinary Journal for the Study of Discourse. 1988. Vol. 8. No. 3. P. 243–281. DOI: https://doi.org/10.1515/text.1.1988.8.3.243.

21. Mandler J. M., Johnson N. S. Remembrance of things parsed: Story structure and recall // Cognitive Psychology. 1977. Vol. 9. Iss. 1. P. 111–151. DOI: https://doi.org/10.1016/0010-0285(77)90006-8.

22. MacSaveny T. Towards a Description of Descriptive Discourse // GIALens. 2010. Vol. 4. No. 3 [Электронный ресурс]. URL: https://www.diu.edu/documents/gialens/Vol4-3/Tim-MacSaveny-Description-of-Descriptive-Discourse.pdf (дата обращения: 21.10.2023).

23. Expository discourse in Children, Adolescents, and Adults: Development and Disorders / M. A. Nippold, C. M. Scott (eds.). New York, NY: Psychology Press, 2010. 336 p.

24. van Eemeren F. H. Strategic maneuvering. Extending the pragma-dialectical theory of argumentation. Amsterdam-Philadelphia: John Benjamins, 2010. 308 p. DOI: https://doi.org/10.1075/aic.2 (Series: Argumentation in Context. Vol. 2).

25. McNeill D., Duncan S. D. Growth points in thinking for speaking // Language and Gesture / ed. D. McNeill. Cambridge: Cambridge University Press, 2000. P. 141–161.