АВТОМАТИЧЕСКАЯ ОЦЕНКА КАЧЕСТВА МАШИННОГО ПЕРЕВОДА НАУЧНОГО ТЕКСТА: 5 ЛЕТ СПУСТЯ СВЕТЛОЙ ПАМЯТИ МОЕГО УЧИТЕЛЯ НЕЛЮБИНА Л. Л.

Цель. Проведено сравнение переводов систем нейронного машинного перевода Google и PROMT с переводами, полученными 5 лет назад, когда в основе данных систем использовались алгоритмы статистического перевода и перевода на основе правил (см. Вестник МГОУ. Серия Лингвистика. 2016. № 4. С. 174-182). Процедуры и методы. Использованы современные метрики автоматической оценки качества машинного перевода BLEU, F-measure и TER для сравнения качества переводов современных систем нейронного машинного перевода на примере онлайн-систем Google и PROMPT. Результаты. Проведённая оценка качества перевода текстов-кандидатов Google и PROMT в сравнении с референтным переводом при помощи автоматической программы позволила выявить существенные качественные изменения по сравнению с результатами, полученными 5 лет назад, что свидетельствует о значительном улучшении работы вышеуказанных переводческих онлайн-сервисов. Теоретическая и/или практическая значимость. Описанные способы автоматической оценки качества машинного перевода (МП), т. е. методы, основанные на сравнении строк, и n-граммные модели позволяют провести оценку качества переводов систем машинного перевода. Обсуждаются способы улучшения качества МП. Показано, что современные системы автоматической оценки качества перевода позволяют выявлять и систематизировать ошибки, допущенные системами МП, что позволит в будущем совершенствовать данные системы.

автоматическая оценка, качество перевода, машинный перевод, метрики, BLEU, TER, F-measure, эталонный перевод

1. Комиссаров В. Н., Коралова А. Л. Практикум по переводу с английского языка на русский. М.: Высшая школа, 1990. 127 c.

2. Митренина О. В. Машинный перевод // Прикладная и компьютерная лингвистика / ред. Николаев И. С., Митренина О. В., Ландо Т. М. М.: УРСС, 2016. C. 156-189.

3. Улиткин И. А. Автоматическая оценка качества машинного перевода научно-технического текста // Вестник Московского государственного областного университета. Серия: Лингвистика. 2016. № 4. С. 174-182. DOI: 10.18384/2310-712X-2016-4-174-182.

4. A Study of Translation Edit Rate with Targeted Human Annotation / Snover M., Dorr B., Schwartz R., Micciulla L., Machoul J. // Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers. 2006. P. 223-231.

5. Austermьhl F. Electronic Tools for Translators. Manchester: St. Jerome, 2001. 202 p.

6. Bleu: A Method for Automatic Evaluation of Machine Translation / Papineni K., Roukos S., Ward T., Zhu W.-J. // ACL ‘02: Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. 2002. P. 311-318. DOI: 10.3115/1073083.1073135.

7. Confidence Estimation for Machine Translation / Blatz J., Fitzgerald E., Foster G., Gandrabur S., Goutte C., Kulesza A., Sanchis A., Ueffing N. // COLING’ 04. Proceedings of the 20th International conference on Computational Linguistics. 2004. P. 315-321. DOI: 10.3115/1220355.1220401.

8. Gross A. Limitations of Computers as Translation Tools // Computers and Translation / ed. J. Newton. London: Routledge, 1992. P. 96-130.

9. Hutchins J. Current commercial machine translation systems and computer-based translation tools: System types and their uses // International Journal of Translation. 2005. Vol. 17 (1-2). P. 5-38.

10. Hutchins J. Machine Translation: History // Encyclopedia of Language and Linguistics / ed. K. Brown. Oxford: Elsevier, 2006. P. 375-383.

11. Language and Machines: Computers in Translation and Linguistics: a report by the Automatic Language Processing Advisory Committee, National Academy of Science / Pierce J. R., Carroll J. B., Hamp E. P., Hays D. G., et al. Washington, DC: The National Academic Press, 1966. 138 p.

12. Melamed I. D., Green R., Turian J. P. Precision and Recall of Machine Translation // NAACL-Short ‘03: Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology: Companion volume of the Proceedings of HLT-NAACL 2003 (short papers). 2003. Vol. 2. P. 61-63. DOI: 10.3115/1073483.1073504.

13. Quah C. K. Translation and Technology. Basingstoke: Palgrave, 2006. 221 p.

14. Ulitkin I. A. Human Translation vs. Machine Translation: Rise of the Machines // Translation Journal. 2013. Vol. 17. № 1 [Электронный ресурс]. URL: http://translationjournal.net/journal/63mtquality.htm (дата обращения: 20.10.2021).