Применение машинного обучения для автоматического извлечения метафор

Abstract

Данное исследование направлено на оценку эффективности нейронных сетей для задач бинарной классификации текста, в частности, для выявления наличия метафоры в предложениях. Для проведения сравнительного анализа были разработаны и протестированы шесть классификаторов, половина из которых основывалась на классических моделях машинного обучения (наивный байесовский классификатор, логистическая регрессия, метод опорных векторов), а другая половина – на нейросетевых архитектурах (рекуррентная нейронная сеть, сверточная нейронная сеть, глубокая нейронная сеть). В качестве датасета для обучения и тестирования классификаторов был использован корпус размеченных вручную примеров метафорической сочетаемости, содержащий 166 765 предложений. Для оценки качества классификации текста использовались такие метрики, как precision, recall, F1-score и accuracy, при этом приоритетной оценкой являлся F1-score. Результаты показали, что нейронные сети демонстрируют значительное преимущество в выявлении метафор в предложениях по сравнению с методами машинного обучения. Особенно выделяется глубокая нейронная сеть (DNN), которая достигает высоких значений precision, recall и F1-score для обоих классов (наличие/отсутствие метафоры). Это может быть связано с ее способностью извлекать сложные зависимости из данных и строить более глубокие иерархические представления. Также стоит отметить, что метод опорных векторов (SVM) показывает неплохие результаты, хотя его эффективность немного ниже нейронных сетей. Проведение исследований в области автоматической классификации текстов с использованием нейронных сетей открывает дорогу к усовершенствованию способов автоматического извлечения метафор в текстах, что имеет важное значение для задач обработки естественного языка и лингвистического анализа. К л ю ч е в ы е с л о в а: классификация текста; нейронные сети; машинное обучение; Natural Language Processing; автоматическое выявление метафор.