Digital Repository
Of Minsk State Linguistic University
ISSN (online):
Please use this identifier to cite or link to this item:
http://e-lib.mslu.by/handle/edoc/15730| Title: | Нейронные сети vs тестовые материалы для оценки метрик |
| Other Titles: | Neural networks vs. test materials for metric evaluation |
| Authors: | Елизарова, Л. В. Дмитриева, К. К. |
| Keywords: | Языкознание (лингвистика) Прикладное языкознание Перевод Машинный перевод Английский язык |
| Issue Date: | 2024 |
| Publisher: | Минский государственный лингвистический университет |
| Citation: | Елизарова, Л. В. Нейронные сети vs тестовые материалы для оценки метрик / Л. В. Елизарова, К. К. Дмитриева // Язык в эпоху цифровых трансформаций и развития искусственного интеллекта : сб. науч. ст. по итогам междунар. науч. конф., Минск, 23-24 окт. 2024 г. / редкол.: Н. Е. Лаптева (отв. ред.) [и др.]. – Минск : МГЛУ, 2024. – С. 527–534. |
| Abstract: | Статья посвящена изучению особенностей нейросетевых метрик автоматической оценки качества перевода. Вследствие широкого использования программ машинного перевода растет потребность в его быстрой и адекватной оценке. Для решения этой задачи активно разрабатываются метрики автоматической оценки, сильными сторонами которых являются скорость, доступность и объективность. Качественным прорывом, определяющим в настоящее время развитие методов оценки, стал переход от традиционных метрик, использующих статистическое сравнение перевода с эталоном, к обучаемым нейросетевым метрикам. Это позволило значительно повысить гибкость и адекватность оценки метрик. Вместе с тем усложнился процесс оценки работы метрик, увеличилось количество требований к тестовым материалам. В статье рассматриваются изменения тестовых материалов на примере корпусов текстов Конференции по машинному переводу (Workshop on Machine Translation) за 2017–2022 гг. Выделяются основные факторы, влияющие на оценку работы нейросетевых метрик, указываются вариативные и инвариантные параметры текстов. В статье также приводятся практические рекомендации по отбору тестовых материалов. К л ю ч е в ы е с л о в а: машинный перевод; оценка качества; метрики автоматической оценки качества; нейросетевые метрики; тестовые материалы; оценка работы метрик. |
| Description: | Elizarova L., Dmitrieva К. The article is devoted to the study of the neural metrics for automatic assessment of translation quality. With the widespread use of machine translation programs, the need for its rapid and adequate evaluation is constantly growing. This leads to an increased interest in metrics, the strengths of which are speed, accessibility and objectivity. A qualitative breakthrough that currently determines the development of assessment methods has been the transition from traditional metrics using statistical comparison of translation with a reference translation to trained neural metrics. This has significantly increased the flexibility and adequacy of metric evaluation. At the same time the process of evaluating the metrics has become more complicated, and the number of requirements for test materials has increased. The article discusses changes in test materials using the example of the corpus of texts of the 2017–2022 Workshop on Machine Translation. The main factors influencing the evaluation of neural network metrics are highlighted, variable and invariant parameters of texts are indicated. The article also provides practical recommendations on the selection of test materials. K e y w o r d s: machine translation; quality assessment; automatic metrics; neural metrics; test materials; evaluation of metrics. |
| URI: | http://e-lib.mslu.by/handle/edoc/15730 |
| ISBN: | 978-985-28-0275-8 |
| Appears in Collections: | Язык в эпоху цифровых трансформаций и развития искусственного интеллекта (статьи) |
Files in This Item:
| File | Size | Format | |
|---|---|---|---|
| 527-534.pdf | 408,74 kB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.