linmgouВопросы современной лингвистикиKey Issues of Contemporary Linguistics2949-50592949-5075Federal State University of Education10.18384/2949-5075-2024-2-40-51linmgou-1736Research ArticleТЕОРЕТИЧЕСКАЯ, ПРИКЛАДНАЯ И СРАВНИТЕЛЬНО-СОПОСТАВИТЕЛЬНАЯ ЛИНГВИСТИКАTHEORETICAL, APPLIED AND COMPARATIVE LINGUISTICSАдаптация речевого и жестового поведения в условиях иммерсивной коммуни- кации: режимы взаимодействия «человек–человек» и «человек–компьютер»Speech and gesture alignment in immersive communication: Human-Human vs. Human-Computer interactionhttps://orcid.org/0009-0003-2370-5097ПотехинВ. О.PotekhinV.

Потехин Вадим Олегович  – старший преподаватель кафедры европейских языков

119021, г. Москва, ул. Остоженка 53/2, стр. 1

Vadim O. Potekhin  – Senior Lecturer, Department of European Languages

ulitsa Ostozhenka 53/2 build. 1, Moscow 119021

vadim.nebarsuk@gmail.comДипломатическая академия Министерства иностранных дел Российской ФедерацииРоссияDiplomatic Academy of the Ministry of Foreign Affairs of the Russian FederationRussian Federation202425062024024051Copyright © Потехин В.О., 20242024Потехин В.О.Potekhin V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.linguamgou.ru/jour/article/view/1736

Цель. На основании пилотного полимодального исследования в статье изучаются модели распределения адаптации речи и жеста у участников эксперимента в условиях иммерсивной коммуникации, осуществляемой в двух режимах взаимодействия: «человек–человек» и «человек–компьютер».Процедура и методы. Проведён полимодальный эксперимент, в ходе которого осуществлялась фиксация речевого и жестового поведения участников в процессе взаимодействия с другим человеком или с экраном компьютера (с представленным на нём динамическим стимулом). С помощью иерархического кластерного анализа, позволившего сгруппировать участников со схожими проявлениями иммерсивной коммуникации, установлено индивидуальное варьирование в распределении дискурсивных схем в речи и типов жестов.Результаты. Полученные результаты демонстрируют, что коммуникативное намерение говорящего в режиме «человек–человек» было усилено с помощью синхронизированного использования жеста и речи. Проведённый регрессионный анализ показал, что индивидуальное различие в распределении дискурсивных схем наблюдалось в использовании дескриптивных схем вне зависимости от режима взаимодействия.Теоретическая и/или практическая значимость. Полученные результаты позволяют предположить, что степень иммерсивности может быть измерена, спрогнозирована и даже намеренно предустановлена. В целом, данное исследование доказывает эффективность применения полимодального метода для исследования иммерсивности.

Aim. Based on a pilot multimodal study, this paper explores the alignment patterns of speech and gesture distribution elicited from participants in two regimes of immersive communication, Human–Human and Human–Computer interaction.Methodology. A multimodal experiment was carried out in two interactional regimes, with the participants discoursing with a human partner and to a computer (with a computer stimulus exposure). Individual variance in discourse schemata in speech and gesture types distribution was established based on hierarchical cluster analysis that enabled to identify groups of participants exhibiting discursive recurrencies in immersive communication.Results. The obtained results showed that the co-occurrence of gesture and discourse schemata helped reinforce the communicative intent in Human-Human communication. Using regression analysis, the study confirmed that individual variance in discourse schemata distribution was observed in the use of descriptive schemata irrespective of the interactional regime at play.Research implications. The research findings suffice to assume that the extent of immersion in multimodal communication can be measured, predicted, and even deliberately preset. Overall, the article attests to the applicability of multimodal methodology to exploring immersion

дискурсивные схемыиммерсивностьполимодальностьполимодальное поведениефункциональные типы жестовdiscourse schematagesture functionsimmersionmultimodalitymultimodal behaviourReferencesЕфименко Т. Н., Иванова Ю. Е. Вербальные и невербальные средства коммуникации как операторы смысла в англоязычном деловом дискурсе (на материале публичных выступлений) // Вестник Московского государственного областного университета. Серия: Лингвистика. 2020. № 1. С. 15–28. DOI: 10.18384/2310-712X-2020-1-15-28.Efimenko, T. N. & Ivanova, Yu. E. (2020). Verbal and nonverbal means of communication as functional operators of the meaning in English business discourse (exemplified in public speeches). In: Bulletin of Moscow Region State University. Series: Linguistics, 1, 15–28. DOI: 10.18384/2310-712X-2020-1-15–28 (in Russ.).Karray F., Alemzadeh M., Saleh J. A., Arab M. N. Human-computer interaction: Overview on state of the art // International Journal of Smart Sensing and Intelligent Systems. 2008. Vol. 1. Iss. 1. P. 137–159. DOI: 10.21307/ijssis-2017-283.Karray, F., Alemzadeh, M., Saleh, J. A. & Arab, M. N. (2008). Human-computer interaction: Overview on state of the art. In: International Journal of Smart Sensing and Intelligent Systems, 1 (1), 137–159. DOI: 10.21307/ijssis-2017-283.Valtolina S., Matamoros R. A., Epifania F. Methods for Evaluating Conversational Agents’ Communicability, Acceptability and Accessibility Degree // Human-Computer Interaction – INTERACT 2023. Proceedings of 19th IFIP TC13 International Conference (York, UK, August 28 – September 1, 2023), Part II. Cham: Springer, 2023. P. 372–382. DOI: 10.1007/978-3-031-42283-6_21 (Series: Lecture Notes in Computer Science (LNCS). Vol. 14143).Valtolina, S., Matamoros, R. A. & Epifania, F. (2023). Methods for Evaluating Conversational Agents’ Communicability, Acceptability and Accessibility Degree. In: Human-Computer Interaction – INTERACT 2023. Proceedings of 19th IFIP TC13 International Conference. Part II. Cham: Springer. pp. 372–382. DOI: 10.1007/978-3-031-42283-6_21 (Series: Lecture Notes in Computer Science (LNCS). Vol. 14143).Диттрих А. Г. Современные области прагмалингвистических исследований // Вопросы современной лингвистики. 2023. № 4. С. 42–52. DOI: 1018384/2949-5075-2023-4-42-52.Dittrikh, A. G. (2023). The modern fields of pragmalinguistics research. In: Key Issues of Contemporary Linguistics, 4, 42–52. DOI: 10.18384/2949-5075-2023-4-42-52 (in Russ.).Mcneill D., Levy E. T., Duncan S. D. Gesture in Discourse // The Handbook of Discourse Analysis / D. Tannen, H. E. Hamilton and D. Schiffrin (eds.). Chichester, UK: John Wiley & Sons, Inc., 2014. P. 262–289. DOI: 10.1002/9781118584194.ch12.Mcneill, D., Levy, E. T. & Duncan, S. D. (2014). Gesture in Discourse. In: Tannen, D., Hamilton, H. E. & Schiffrin, D. (eds.). The Handbook of Discourse Analysis. Chichester, UK: John Wiley & Sons, Inc. pp. 262–289. DOI: 10.1002/9781118584194.ch12.Ирисханова O. К., Ченки А. The semiotics of gestures in cognitive linguistics: contribution and challenges (Семиотика жестов в когнитивной лингвистике: достижения и актуальные вопросы) // Вопросы когнитивной лингвистики. 2018. № 4. С. 25–36. DOI: 10.20916/1812-3228-2018-4-25-36.Iriskhanova, O. K. & Cienki, A. (2018). The semiotics of gestures in cognitive linguistics: contribution and challenges. In: Issues of Cognitive Linguistics, 4 (57), 25–36. DOI: 10.20916/1812-3228-2018-4-25-36.Kiose M., Leonteva A., Agafonova O. Aesthetic multimodality of speech and gesture: Towards its functional framework // Languages and Modalities. 2022. No. 2. P. 1–17. DOI: 10.3897/lamo.@.78840.Kiose, M., Leonteva, A. & Agafonova, O. (2022). Aesthetic multimodality of speech and gesture: Towards its functional framework. In: Languages and Modalities, 2, 1–17. DOI: 10.3897/lamo.@.78840.Apostolopoulos J. G., Chou P. A., Culbertson B., Kalker T., Trott M. D., Wee S. The road to Immersive Communication // Proceedings of IEEE. 2012. Vol. 100. No. 4. P. 974–990. DOI: 10.1109/JPROC.2011.2182069.Apostolopoulos, J. G., Chou, P. A., Culbertson, B., Kalker, T., Trott, M. D. & Wee, S. (2012). The road to immersive communication. In: Proceedings of IEEE, 100 (4), 974–990. DOI: 10.1109/JPROC.2011.2182069.Шилина М. Г., Вирт Ю. Immersive technologies in media: Towards the concept of generative mediatization? // Вестник Российского университета дружбы народов. Серия: Литературоведение. Журналистика. 2021. Т. 26. № 4. С. 672–680. DOI: 10.22363/2312-9220-2021-26-4-672-680.Shilina, M. G. & Wirth, J. (2021). Immersive technologies in media: Towards the concept of generative mediatization? In: RUDN Journal of Studies in Literature and Journalism, 26 (4), 672–680. DOI: 10.22363/2312-9220-2021-26-4-672-680.Holzapfel H., Nickel K., Stiefelhagen R. Implementation and evaluation of a constraint-based multimodal fusion system for speech and 3D pointing gestures // ICIM ʹ04: Proceedings of the 6th International Conference on Multimodal Interfaces. New York: Association for Computing Machinery, 2004. P. 175–182. DOI: 10.1145/1027933.1027964.Holzapfel, H., Nickel, K. & Stiefelhagen, R. (2004). Implementation and evaluation of a constraint-based multimodal fusion system for speech and 3D pointing gestures. In: ICIM ʹ04: Proceedings of the 6th International Conference on Multimodal Interfaces. New York: Association for Computing Machinery. pp. 175–182. DOI: 10.1145/1027933.1027964.Gunes H., Piccardi M. Bi-modal emotion recognition from expressive face and body gestures // Journal of Network and Computer Applications. 2007. Vol. 30. Iss. 4. P. 1334–1345. DOI: 10.1016/j.jnca.2006.09.007.Gunes, H. & Piccardi, M. (2007). Bi-modal emotion recognition from expressive face and body gestures. In: Journal of Network and Computer Applications, 30 (4), 1334–1345. DOI: 10.1016/j.jnca.2006.09.007.Котов А., Зайдельман Л., Зинина А., Аринкин Н. Генеративная классификация элементов невербальной коммуникации // Компьютерная лингвистика и интеллектуальные технологии: материалы ежегодной международной конференции «Диалог» (2021). Москва: РГГУ, 2021. Вып. 20 S. С. 1095–1105. DOI: 10.28995/2075-7182-2021-20-1095-1105.Kotov, A., Zinina, A., Zaidelman, L. & Arinkin, N. (2021). Generative Classification of Elements of Nonverbal Communication. In: Computational Linguistics and Intellectual Technologies: papers from the Annual International Conference “Dialogue” (2021), 20S, 1095–1105. Moscow: Russian State University for the Humanities. DOI: 10.28995/2075-7182-2021-20-1095-1105 (in Russ.).Khan T., Barthel H., Amrhein K., Ebert A., Liggesmeyer P. An Interactive Approach for Inspecting Software System Measurements // Human-Computer Interaction – INTERACT 2015. Proceedings of 15th IFIP TC.13 International Conference on Human-Computer Interaction (INTERACT’ 2015). Cham: Springer, 2015. P. 1–8. DOI: 10.1007/978-3-319-22698-9_1 (Series: Lecture Notes in Computer Science (LNCS). Vol. 9298).Khan, T., Barthel, H., Amrhein, K., Ebert, A. & Liggesmeyer, P. (2015). An Interactive Approach for Inspecting Software System Measurements. In: Human-Computer Interaction – INTERACT 2015. Proceedings of 15th IFIP TC.13 International Conference on Human-Computer Interaction (INTERACT’ 2015). Cham: Springer. pp. 1–8. DOI: 10.1007/978-3-319-22698-9_1 (Series: Lecture Notes in Computer Science (LNCS). Vol. 9298).Малахова В. Л. Анализ формирования мультимодального смыслового пространства английского дискурса через призму интегративной функциональной методологии // Вестник Московского государственного областного университета. Серия: Лингвистика. 2022. № 1. С. 60–69. DOI: 10.18384/2310-712X-2022-1-60-69.Malakhova, V. L. (2022). Analysis of the formation of English discourse multimodal sense space from the perspective of integrative functional methodology. In: Bulletin of the Moscow Region State University. Series: Linguistics, 1, 60–69. DOI: 10 .18384/2310-712X-2022-1-60-69 (in Russ.).Werlich E. A Text Grammar of English. Heidelberg: Quelle and Meyer, 1976. 315 p.Werlich, E. (1976). A Text Grammar of English. Heidelberg: Quelle and Meyer.Longacre R. E. The Grammar of Discourse. New York: Plenum, 1983. 423 p.Longacre, R. E. (1983). The Grammar of Discourse. New York: Plenum.Virtanen T. Issues of text typology: Narrative – a ‘basic’ type of text? // Text – Interdisciplinary Journal for the Study of Discourse. 1992. Vol. 12. No. 2. P. 293–310. DOI: https://doi.org/10.1515/text.1.1992.12.2.293.Virtanen, T. (1992). Issues of text typology: Narrative – a ‘basic’ type of text? In: Text – Interdisciplinary Journal for the Study of Discourse, 12 (2), 293–310. DOI: https://doi.org/10.1515/text.1.1992.12.2.293.Кибрик А. А. Модус, жанр и другие параметры классификации дискурсов // Вопросы языкознания. 2009. № 2. С. 3–21.Kibrik, А. А. (2009). Modus, genre and other parameters of discourse classification. In: Topics in the study of language, 2, 3–21 (in Russ.).Van Dijk T. A. Macrostructures: An interdisciplinary study of global structures in discourse, interaction, and cognition. Hillsdale, NJ: Lawrence Erlbaum Associates, 1980. 317 p.Van Dijk, T. A. (1980). Macrostructures: An interdisciplinary study of global structures in discourse, interaction, and cognition. Hillsdale, NJ: Lawrence Erlbaum Associates.Mann W. C., Thompson S. A. Rhetorical Structure Theory: Toward a functional theory of text organization // Text – Interdisciplinary Journal for the Study of Discourse. 1988. Vol. 8. No. 3. P. 243–281. DOI: https://doi.org/10.1515/text.1.1988.8.3.243.Mann, W. C. & Thompson, S. A. (1988). Rhetorical Structure Theory: Toward a functional theory of text organization. In: Text – Interdisciplinary Journal for the Study of Discourse, 8 (3), 243–281. DOI: https://doi.org/10.1515/text.1.1988.8.3.243.Mandler J. M., Johnson N. S. Remembrance of things parsed: Story structure and recall // Cognitive Psychology. 1977. Vol. 9. Iss. 1. P. 111–151. DOI: https://doi.org/10.1016/0010-0285(77)90006-8.Mandler, J. M. & Johnson, N. S. (1977). Remembrance of things parsed: Story structure and recall. In: Cognitive Psychology, 9 (1), 111–151. DOI: https://doi.org/10.1016/0010-0285(77)90006-8.MacSaveny T. Towards a Description of Descriptive Discourse // GIALens. 2010. Vol. 4. No. 3 [Электронный ресурс]. URL: https://www.diu.edu/documents/gialens/Vol4-3/Tim-MacSaveny-Description-of-Descriptive-Discourse.pdf (дата обращения: 21.10.2023).MacSaveny, T. (2010). Towards a Description of Descriptive Discourse. In: GIALens, 4 (3). URL: https://www.diu.edu/documents/gialens/Vol4-3/Tim-MacSaveny-Description-of-Descriptive-Discourse.pdf (accessed: 21.10.2023).Expository discourse in Children, Adolescents, and Adults: Development and Disorders / M. A. Nippold, C. M. Scott (eds.). New York, NY: Psychology Press, 2010. 336 p.Nippold, M. A. & Scott, C. M. (eds.) (2010). Expository discourse in children, adolescents, and adults: Development and disorders. New York, NY: Psychology Press.van Eemeren F. H. Strategic maneuvering. Extending the pragma-dialectical theory of argumentation. Amsterdam-Philadelphia: John Benjamins, 2010. 308 p. DOI: https://doi.org/10.1075/aic.2 (Series: Argumentation in Context. Vol. 2).van Eemeren, F. H. (2010). Strategic maneuvering. Extending the pragma-dialectical theory of argumentation. Amsterdam-Philadelphia: John Benjamins. DOI: https://doi.org/10.1075/aic.2 (Series: Argumentation in Context. Vol. 2).McNeill D., Duncan S. D. Growth points in thinking for speaking // Language and Gesture / ed. D. McNeill. Cambridge: Cambridge University Press, 2000. P. 141–161.McNeill, D. & Duncan, S. D. (2000). Growth points in thinking for speaking. In: McNeill, D. (ed.). Language and Gesture. Cambridge: Cambridge University Press. pp. 141–161.

The authors declare that there are no conflicts of interest present.