Инклюзивная диалоговая система нового поколения: лингвистический аспект

Цель. Выявление стратегии разработки языковых моделей с помощью искусственного интеллекта для поддержки инклюзии людей с ментальными нарушениями.

Процедура и методы. В исследовании сравниваются два подхода к построению диалоговых систем: вопросно-ответные системы на основе извлечения информации и генеративные модели. Собрана коллекция текстов на тему инклюзивного образования. Методами нейросетевого трансферного обучения также создан комплекс вопросно-ответных систем для анализа производительности рассматриваемых подходов. Проведён лингвистический анализ собранной коллекции данных и результатов работы диалоговой системы.

Результаты. Исследование показало, что оба подхода к построению диалоговых систем имеют свои преимущества и ограничения. Вопросно-ответные системы на основе извлечения информации обеспечивают высокую релевантность ответов. Генеративные модели, в свою очередь, обладают большей гибкостью в широком контексте. Лингвистический анализ показал, что для достижения наилучших результатов целесообразно комбинировать оба подхода, используя сильные стороны каждого из них в зависимости от конкретной задачи и контекста взаимодействия.

Теоретическая и/или практическая значимость заключается в развитии теории диалоговых систем, углублении понимания взаимодействия между структурными и семантическими аспектами языка и их влияния на эффективность различных подходов к созданию диалоговых систем, а также в возможности применения результатов исследования в образовательной системе.

1. World Report on Disability / World Health Organization; The World Bank. Geneva, Switzerland; Malta: World Health Organization, 2011. 325 + XXIV p.

2. Борисов П. М. Вербальная характеристика концепта деструктивной личности // Вестник Московского государственного областного университета. Серия: Лингвистика. 2010. № 2. С. 78–92.

3. Leifler E. Educational inclusion for students with neurodevelopmental conditions: Thesis for Doctoral Degree (Ph. D.). Stockholm, 2022. 167 p.

4. Eshghie M., Eshgie M. ChatGPT as a Therapist Assistant: A Suitability Study [Электронный ресурс] // arXiv: [сайт]. URL: https://arxiv.org/abs/2304.09873 (дата обращения: 13.09.2023). DOI: 10.48550/arXiv.2304.09873.

5. Gillespie A., Best C., O'Neill B. Cognitive Function and Assistive Technology for Cognition: a Systematic Review // Journal of the International Neuropsychological Society. 2012. Vol. 18. Iss. 1. P. 1–19. DOI: 10.1017/S1355617711001548.

6. Ruder S. Neural Transfer Learning for Natural Language Processing: A thesis submitted in partial fulfillment for the degree of Doctor of Philosophy. Galway, 2019. 329 p.

7. SQuAD: 100,000+ Questions for Machine Comprehension of Text / P. Rajpurkar, J. Zhang, K. Lopyrev, P. Liang // Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin, Texas: Association for Computational Linguistics, 2016. P. 2383–2392. DOI: 10.18653/v1/D16-1264.

8. Rajpurkar P., Jia R., Liang P. Know What You Don’t Know: Unanswerable Questions for SQuAD C// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Volume 2: Short Papers. Melbourne, Australia: Association for Computational Linguistics, 2018. P. 784–789. DOI: 10.18653/v1/P18-2124.

9. Gao J., Galley M., Li L. Neural Approaches to Conversational AI: Question Answering, Task-Oriented Dialogues and Social Chatbots // Foundations and Trends® in Information Retrieval. 2019. Vol. 13. No. 2-3. P. 127–298. DOI: 10.1561/1500000074.

10. Hewitt J., Manning P. D. A Structural Probe for Finding Syntax in Word Representations // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Volume 1. Long and Short Papers. Minneapolis, Minnesota: Association for Computational Linguistics, 2019. P. 4129–4138. DOI: 10.18653/v1/N19-1419.

11. Chi E. A., Hewitt J., Manning P. D. Finding Universal Grammatical Relations in Multilingual BERT [Электронный ресурс] // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. URL: https://aclanthology.org/2020.acl-main.493.pdf (дата обращения: 13.09.2023). DOI: 10.18653/v1/2020.acl-main.493.

12. Максименко О. И. Информационно-поисковые системы: оценка методом нечёткой логики // Вестник Московского государственного областного университета. Серия: Лингвистика. 2014. № 5. С. 45–52.

13. Shwartz S. Artificial Intelligence 101 [Электронный ресурс] // AI Perspectives: [сайт]. URL: https://www.aiperspectives.com/artificial-intelligence-101 (дата обращения: 15.09.2023).

14. Attention is All You Need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, J. Llion, A. N. Gomez, L. Kaiser, I. Polosukhin // NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, New York: Curran Associates Inc., 2017. P. 6000–6010. DOI: 10.5555/3295222.3295349.

15. Unsupervised Cross-Lingual Representation Learning at Scale [Электронный ресурс] / A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzmán, E. Grave, M. Ott, L. Zettlemoyer, V. Stoyanov // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. URL: https://aclanthology.org/2020.acl-main.747.pdf (дата обращения: 15.09.2023). DOI: 10.18653/v1/2020.acl-main.747.

16. Sousa N., Oliveira N., Praça I. Machine Reading at Scale: A Search Engine for Scientific and Academic Research //Systems. 2022. Vol. 10. No. 2. Article 43. DOI: 10.3390/systems10020043.

17. Manning C. D., Raghavan P., Schütze H. An Introduction to Information Retrieval. Cambridge: Cambridge University Press, 2009. 506 p.

18. Language Models are Few-Shot Learners / T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, et al. // NIPS'20: Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook, New York: Curran Associates Inc., 2020. P. 1877–1901. DOI: 10.48550/arXiv.2005.14165.

19. Клепальченко И. А. Использование теории лексико-семантического поля в качестве основы для представления декларативных знаний // Вестник Московского государственного областного университета. Серия: Лингвистика. 2018. № 1. С. 18–24. DOI: 10.18384/2310-712X-2018-1-18-24.