Статистические модели машинного перевода на примере английского и русского языков

Содержание

1. Введение в статистический машинный перевод3
2. 2. Модели выравнивания и переводческие соответствия6
3. 3. Языковые модели и декодирование9
4. 4. Оценка качества и перспективы12

Введение в статистический машинный перевод

Статистический машинный перевод (SMT), это подход к автоматическому переводу, который опирается не на лингвистические правила, а на анализ больших коллекций уже переведённых текстов. В основе метода лежит простая идея: если у нас есть достаточно примеров того, как одно и то же высказывание звучит на двух языках, можно вычислить вероятностные закономерности этих соответствий и применять их к новым предложениям. Такой подход в корне отличается от классических систем, где лингвисты вручную кодировали грамматические конструкции и словарные соответствия.

Эволюция машинного перевода прошла несколько этапов, каждый из которых пытался решить главную проблему: как передать смысл, а не просто заменить слова. Первые системы 1950-60-х годов, например знаменитый эксперимент Джорджтаунского университета 1954 года, работали по принципу «прямого перевода»: слово за словом, с минимальной перестройкой синтаксиса. Качество было предсказуемо низким, поскольку русский язык имеет гораздо более свободный порядок слов, чем английский. Простой подстановки явно не хватало. Затем доминировали системы, основанные на правилах (RBMT), которые требовали огромных усилий по формализации грамматик. Они были хрупкими: малейшее отклонение от нормы ломало перевод.

Перелом наступил в конце 1980-х годов, когда исследователи из IBM, включая Питера Брауна и Роберта Мерсера, предложили принципиально иную модель. Они переформулировали задачу перевода как задачу поиска наиболее вероятного предложения на целевом языке при условии, что дано исходное предложение. Если формально, для исходного предложения f (от французского *foreign) мы ищем такое предложение e (от *English), которое максимизирует условную вероятность P(e|f). Эта формулировка, известная как модель «шумного канала», была заимствована из теории передачи информации Клода Шеннона. Идея в том,

что автор изначально написал текст на целевом языке e, но этот текст «зашумлён» при переводе на исходный язык f. Наша задача, восстановить исходный сигнал e.

На практике вычислить P(e|f) напрямую невозможно, поэтому применяют формулу Байеса, которая разбивает задачу на две составляющие. Первая, это модель перевода P(f|e), которая оценивает, насколько вероятно, что исходное предложение f является переводом кандидата e. Вторая, это языковая модель P(e), которая оценивает, насколько предложение e вообще похоже на грамотный текст на целевом языке. Такая декомпозиция удобна тем, что позволяет строить каждую модель отдельно. Языковую модель можно обучать на любых больших текстах на русском языке, даже не имея их переводов. А модель перевода требует параллельных данных.

Именно здесь на сцену выходят параллельные корпуса. Это коллекции текстов, где каждому предложению на одном языке сопоставлено его переводное соответствие на другом. Для пары английский-русский таких ресурсов накоплено достаточно много: архивы ООН, парламентские стенограммы, документация Европейского союза и специализированные базы данных вроде параллельного корпуса OPUS. Объём имеет решающее значение. Классические IBM-модели (от IBM-1 до IBM-5), представленные в работе Брауна 1993 года, обучаются именно на таких корпусах и позволяют оценить вероятность того, что конкретное английское слово переводится конкретным русским словом. Однако у этих моделей есть серьёзные ограничения: они плохо справляются с различиями в порядке слов и с морфологическим богатством русского языка. Одно английское слово «went» может соответствовать нескольким русским вариантам («шёл», «пошёл», «ходил») в зависимости от контекста.

Тем не менее, именно статистический подход, несмотря на свои шероховатости, стал доминирующим в 2000-х годах, вытеснив системы, основанные на правилах. Он показал, что машинное обучение может достигать неплохих результатов без глубокого лингвистического

анализа. А когда в 2014 году появились нейросетевые модели с механизмом внимания, которые начали обходить SMT по качеству, именно статистический фреймворк послужил отправной точкой для сравнения и понимания того, что такое «хороший» перевод. Данная работа сосредоточена на классическом статистическом подходе и его применении к англо-русской языковой паре, чтобы разобрать внутренние механизмы, которые до сих пор лежат в основе многих современных гибридных систем.

2. Модели выравнивания и переводческие соответствия

Выравнивание в статистическом машинном переводе, это установление соответствий между элементами параллельных предложений: словами, словосочетаниями, иногда морфемами. Идея проста: если мы многократно видим пару «dog» и «собака» в одних и тех же позициях разных предложений, мы можем предположить, что они переводят друг друга. Однако за этой простотой скрывается комбинаторная сложность. Число возможных соответствий между предложением из десяти слов и его переводом из двенадцати слов измеряется миллионами, поэтому перебор всех вариантов невозможен. На помощь приходят вероятностные модели, которые оценивают правдоподобие каждого конкретного выравнивания.

Классический подход предложили Питер Браун и его коллеги из IBM в начале 1990-х годов. Серия моделей IBM-1, IBM-5 стала фундаментом для всех последующих систем выравнивания, включая инструмент GIZA++, который до сих пор используется для обучения статистических систем. Модель IBM-1 самая простая: она предполагает, что каждое слово исходного текста переводится независимо, без учёта позиции и контекста. Вероятность перевода здесь, это просто частотность пар слов в параллельном корпусе. Этого достаточно для грубой оценки лексики, но совершенно недостаточно для учёта порядка слов. Модель IBM-2 добавляет позиционное смещение: она оценивает вероятность того, что слово на позиции i в исходном языке соответствует слову на позиции j в целевом. Это позволяет учесть, например, типичный сдвиг при переводе определений с английского на русский, где прилагательное часто меняет позицию относительно существительного.

Дальнейшее усложнение связано с понятием фертильности, введённым в модели IBM-3. Фертильность, это количество целевых слов, порождаемых одним исходным словом. Например, английское «the» часто имеет фертильность ноль или один, а русское слово «который» может порождать несколько слов

в английском. Модель IBM-4 учитывает относительное расположение порождённых слов: она моделирует, как слова, порождённые одним исходным словом, группируются в целевом предложении. Наконец, IBM-5 добавляет ограничения, устраняющие нереалистичные выравнивания, где одно целевое слово соответствует сразу нескольким исходным, что часто встречается в агглютинативных формах. Каждая следующая модель использует результаты предыдущей как начальное приближение, итеративно уточняя параметры через EM-алгоритм.

Для пары английский-русский выравнивание сталкивается с двумя фундаментальными трудностями. Первая, синтаксическая: английский язык использует фиксированный порядок слов (подлежащее-сказуемое-дополнение), тогда как русский, свободный, с богатой системой падежей и согласований. Фраза «The cat sees the dog» может быть переведена как «Кошка видит собаку», «Собаку видит кошка» или «Видит кошка собаку» с разными смысловыми оттенками. Модель IBM-2 справляется с этим плохо, поскольку позиционные вероятности для русско-английской пары сильно размыты. Вторая трудность, морфологическая: русские слова имеют гораздо больше форм, чем английские. Глагол «идти» имеет десятки форм, каждая из которых может соответствовать разным английским словам или их сочетаниям («went», «was going», «used to go»). Это приводит к тому, что фертильность русских глаголов в среднем выше, чем английских, и модели IBM-3 и IBM-4 здесь работают заметно лучше.

На практике выравнивание редко бывает однозначным. Ошибки неизбежны: омонимия, редкие слова, идиомы, всё это создаёт шум. Поэтому после обучения моделей применяют эвристики для симметризации: обучение проводится в обе стороны (английский-русский и русский-английский), а затем результаты объединяются. Например, правило «роста» (grow-diag-final) сохраняет только те соответствия, которые подтверждаются обоими направлениями, добавляя к ним соседние пары. Это

заметно повышает точность выравнивания, особенно для морфологически богатых языков.

Главная практическая ценность выравнивания, не сами соответствия, а возможность извлечения фразовых таблиц. После того как слова выровнены, система собирает все согласованные пары последовательностей слов, которые встречаются в корпусе. Для каждой такой пары вычисляется вероятность перевода на основе частотности и взаимной информации. Например, если в корпусе встречается «kicked the bucket» рядом с «протянул ноги», и это сочетание повторяется достаточно часто, оно попадает в фразовую таблицу как единое целое, а не как три отдельных слова. Именно эти таблицы становятся основой модели перевода для декодера. Для англо-русской пары фразовые таблицы особенно важны, потому что они позволяют обойти проблему различий в порядке слов: фраза «the red car» может быть извлечена как «красная машина», и декодеру не придётся каждый раз заново решать, куда поставить прилагательное. Обучение таких таблиц на корпусе в несколько миллионов предложений занимает часы даже на современных машинах, и это одна из причин, почему статистический подход уступил место нейросетям. Но именно модели выравнивания, впервые реализованные в IBM и доведённые до совершенства в GIZA++, заложили базовые представления о том, как устанавливать соответствия между языками, представления, которые до сих пор используются при анализе параллельных текстов.

3. Языковые модели и декодирование

Переход от выравнивания к собственно переводу неочевиден. Установив соответствия между словами и фразами, мы получаем множество вариантов, но не знаем, какой из них породит осмысленное русское предложение. Здесь в игру вступают два компонента: языковая модель и декодер.

Языковая модель, это вероятностное распределение над последовательностями слов. Она отвечает на простой вопрос: насколько правдоподобно данное предложение в целевом языке? В статистическом подходе эту функцию выполняют n-граммные модели. Их суть в том, чтобы оценить вероятность следующего слова, зная предыдущие n−1 слов. Для русского языка с его свободным порядком слов и богатой морфологией это непростая задача, но на практике триграммы (n=3) дают приемлемые результаты.

Сглаживание, обязательный компонент n-граммных моделей. Любой корпус конечен, поэтому некоторые последовательности слов в нём не встречаются вовсе. Если присвоить им нулевую вероятность, модель отбракует грамматически корректное, но редкое предложение. Методы сглаживания, такие как интерполяция Катца или сглаживание Кнезера-Нея, перераспределяют часть вероятности с частых n-грамм на редкие, не давая модели «схлопнуться» на ограниченном словаре.

Работает языковая модель так: для каждого кандидата в перевод она вычисляет вероятность всей последовательности слов. Чем выше эта вероятность, тем более «естественным» выглядит предложение для носителя языка. Это не оценка смысла, а оценка плавности и грамматической корректности. Фраза «он идёт в магазин» получит высокую оценку, а «он идёт магазин в», низкую, независимо от того, насколько точно передано содержание исходного текста.

Теперь о поиске. Даже для короткого предложения число возможных переводов астрономически велико. Полный перебор невозможен, поэтому применяют эвристические алгоритмы декодирования. Самый простой из них, жадный поиск. Он строит перевод пошагово: на каждом шаге выбирает слово с максимальной текущей вероятностью и не возвращается к предыдущим решениям. Метод быстрый, но часто заводит в тупик: локально оптимальный выбор на раннем шаге может сделать весь перевод бессмысленным.

Гораздо чаще в SMT используется поиск по лучу (beam search). Декодер хранит не один, а несколько лучших вариантов перевода, луч. На каждом шаге он расширяет каждый гипотетический вариант всеми возможными следующими словами, оценивает их совместную вероятность и отсекает всё, кроме K лучших. Ширина луча K, это компромисс между скоростью и качеством: маленький луч теряет хорошие варианты, большой, замедляет работу. На практике для англо-русской пары K в диапазоне от 10 до 20 даёт разумное соотношение.

Остаётся вопрос: как объединить две вероятности, модель перевода и языковую модель? В классической постановке Брауна и его коллег по IBM задача перевода формулировалась как поиск предложения, максимизирующего произведение вероятности перевода и вероятности языковой модели. Но на практике это произведение слишком чувствительно к масштабу отдельных компонентов. Современные системы используют лог-линейную модель.

Идея лог-линейной модели проста: каждый компонент (модель перевода, языковая модель, иногда штраф за длину или число непереведённых слов) получает свой весовой коэффициент. Итоговая оценка кандидата, взвешенная сумма логарифмов вероятностей всех компонентов. Веса подбираются автоматически на небольшом «развивающем» корпусе, где известен эталонный перевод. Такой подход, описанный Охом в работе 2007 года, позволяет гибко балансировать между точностью перевода и естественностью выходного текста.

Декодирование в этой схеме превращается в задачу оптимизации: найти последовательность слов, максимизирующую взвешенную сумму. Поиск по лучу остаётся основным инструментом, но теперь он работает не с одной вероятностью, а с многокомпонентной оценкой. Каждый частичный перевод хранит вектор накопленных логарифмических вероятностей по всем моделям, и отсечение кандидатов происходит по итоговой взвешенной сумме.

Таким образом, языковая модель и декодер решают разные задачи. Первая оценивает, насколько хорошо предложение звучит на русском языке. Второй ищет компромисс между «правильно по смыслу» и «правильно по форме», перебирая огромное пространство вариантов и отсекая заведомо плохие. Именно это взаимодействие делает статистический перевод практичным: без языковой модели система выдавала бы грамматически бессвязный набор слов, а без декодера не смогла бы найти даже близкий к оптимальному вариант за разумное время.

4. Оценка качества и перспективы

После того как модели выравнивания и декодирования построены, возникает вопрос: насколько хорошо система в целом переводит? Чтобы ответить на него, нужны формальные процедуры оценки. И тут исследователи разделились на два лагеря: одни полагаются на автоматические метрики, другие настаивают на ручной экспертизе.

Автоматические метрики появились по практической необходимости. Ручная оценка каждого перевода стоит дорого и занимает много времени. Поэтому в 2002 году группа исследователей под руководством Кишинозаки предложила метрику BLEU. Принцип у неё простой: подсчитываются совпадения n-грамм между машинным переводом и одним или несколькими эталонными переводами, сделанными людьми. BLEU выдаёт число от 0 до 1, где 1 означает полное совпадение с эталоном. Эта метрика до сих пор доминирует в индустрии, хотя ограничения у неё серьёзные. Она не учитывает синонимию: если система перевела «собака» как «пёс», а в эталоне стоит «собака», BLEU засчитает промах, хотя перевод корректен. Для пары английский-русский это особенно критично. Русский язык богат словоизменением, а BLEU чувствителен к падежным окончаниям и порядку слов, который в русском значительно свободнее, чем в английском.

Метрика TER, предложенная Снэром в 2006 году, подходит к оценке иначе. Она измеряет, сколько правок нужно внести в машинный перевод, чтобы он совпал с эталоном: вставки, удаления, замены и сдвиги слов. Чем меньше правок, тем лучше результат. TER интуитивно понятна, но она наказывает систему за перестановки слов, которые в русском языке часто являются стилистическим выбором, а не ошибкой. METEOR, разработанная Лави и Агарвалом, пытается исправить недостатки BLEU. Она учитывает совпадения по корням слов и синонимам через WordNet. Для английского это работает хорошо, а вот для русского

ресурс синонимов ограничен, что снижает применимость метрики.

Ни одна автоматическая метрика не отражает смысловую точность перевода. Поэтому ручная оценка остаётся золотым стандартом. Эксперты оценивают перевод по двум осям. Первая ось, адекватность, показывает, насколько передан смысл исходного текста. Вторая ось, беглость, оценивает естественность и грамматическую правильность выходного текста. Адекватность измеряется шкалой от 1 до 5, где 1 означает полную потерю смысла, а 5 точную передачу. Беглость оценивается аналогично, но относительно носителя языка. Человеческое суждение незаменимо, когда речь идёт об идиомах, культурных реалиях или тонких стилистических нюансах. Однако ручная оценка субъективна: два эксперта могут дать разные баллы одному и тому же переводу. Чтобы снизить субъективность, привлекают нескольких оценщиков и усредняют результаты, но это увеличивает стоимость и время.

Сравнение статистического подхода с нейросетевым стало неизбежным после 2016 года, когда системы нейронного машинного перевода (NMT) на основе архитектуры трансформер начали доминировать в исследованиях. Нейросети обрабатывают предложение целиком, а не по фразам, что позволяет лучше учитывать контекст. По метрике BLEU на англо-русской паре NMT стабильно опережает SMT на 5-10 пунктов. Но ключевое различие не в цифрах. Нейросети производят более беглый текст, который в простых предложениях часто неотличим от человеческого перевода. Статистические системы, напротив, дают предсказуемые ошибки: пропуски артиклей, неправильные падежи, дословный перевод идиом. При этом SMT требует меньше вычислительных ресурсов для обучения и проще в отладке. Ошибку можно проследить до конкретной фразовой таблицы, тогда как нейросеть остаётся «чёрным ящиком».

Для пары английский-русский статистический подход имеет специфические ограничения. Русская морфология создаёт проблему разреженности данных. Одна английская форма «go» соответствует десяткам

русских форм: «идти», «иду», «идёт», «шёл» и так далее. Корпусы редко содержат все варианты в достаточном объёме, поэтому SMT часто выбирает грамматически неправильную форму. Порядок слов тоже усложняет выравнивание. Английское «I saw him yesterday» и русское «Я видел его вчера» совпадают по структуре, но уже «Yesterday I saw him» требует перестановки, которую фразовые модели обрабатывают с трудом. Нейросети справляются с этим лучше благодаря механизму внимания, который выстраивает соответствия между словами в динамике.

Перспективы SMT не сводятся к полному вытеснению нейросетями. Статистические модели сохраняют ценность в сценариях с малым количеством данных. Для редких языковых пар, где параллельные корпусы не превышают нескольких сотен тысяч предложений, NMT не обучается должным образом, тогда как SMT ещё даёт приемлемый результат. Кроме того, гибридные системы, комбинирующие статистические выравнивания с нейросетевым декодированием, показывают улучшение качества на длинных предложениях. Исследователи из Эдинбургского университета в 2021 году продемонстрировали, что добавление фразовых таблиц SMT в архитектуру трансформера снижает количество галлюцинаций (то есть выдуманных фрагментов) на 30 процентов.

Итоговый вывод такой: статистический машинный перевод для англо-русской пары остаётся жизнеспособным инструментом при ограниченных ресурсах и в задачах с предсказуемой лексикой, например в технической документации. Но для художественных текстов и разговорной речи он уступает нейросетям по беглости и точности. Дальнейшие исследования стоит направить на улучшение обработки русской морфологии в рамках SMT. В частности, на моделирование словоизменения через морфологический анализ. Также перспективна разработка гибридных архитектур, которые используют сильные стороны обоих подходов.