Нейронные сети vs тестовые материалы для оценки метрик

Abstract

Статья посвящена изучению особенностей нейросетевых метрик автоматической оценки качества перевода. Вследствие широкого использования программ машинного перевода растет потребность в его быстрой и адекватной оценке. Для решения этой задачи активно разрабатываются метрики автоматической оценки, сильными сторонами которых являются скорость, доступность и объективность. Качественным прорывом, определяющим в настоящее время развитие методов оценки, стал переход от традиционных метрик, использующих статистическое сравнение перевода с эталоном, к обучаемым нейросетевым метрикам. Это позволило значительно повысить гибкость и адекватность оценки метрик. Вместе с тем усложнился процесс оценки работы метрик, увеличилось количество требований к тестовым материалам. В статье рассматриваются изменения тестовых материалов на примере корпусов текстов Конференции по машинному переводу (Workshop on Machine Translation) за 2017–2022 гг. Выделяются основные факторы, влияющие на оценку работы нейросетевых метрик, указываются вариативные и инвариантные параметры текстов. В статье также приводятся практические рекомендации по отбору тестовых материалов. К л ю ч е в ы е с л о в а: машинный перевод; оценка качества; метрики автоматической оценки качества; нейросетевые метрики; тестовые материалы; оценка работы метрик.