Методы векторного представления слов в NLP на примере word2vec

Содержание

1. 1. Векторные представления слов: от дискретных к непрерывным3
2. 2. Архитектуры word2vec: CBOW и Skip-gram6
3. 3. Обучение и оптимизация word2vec8
4. 4. Ограничения и перспективы word2vec10

1. Векторные представления слов: от дискретных к непрерывным

Любая попытка заставить компьютер понимать естественный язык упирается в простой вопрос: как представить слово в виде данных. Самый наивный способ, присвоить каждому слову уникальный номер. Но такая нумерация не несёт в себе никакого смысла. Компьютер не видит разницы между числами 1 и 2, поэтому для него слова «кошка» и «собака» становятся такими же разными, как «кошка» и «атомный реактор». Очевидная тупиковая ветвь.

Первым серьёзным решением стал подход one-hot encoding. Словарь фиксируется, и каждому слову выделяется вектор размером со весь словарь. В этом векторе только одна позиция заполнена единицей, остальные, нули. Слово «кот», это вектор [0, 0, 1, 0...], а слово «пёс», вектор [0, 1, 0, 0...]. Формально представление работает, но семантически оно мёртвое. Расстояние между любыми двумя разными словами всегда одинаково, будь то «кот» и «пёс» или «кот» и «космос». Никакой информации о смысле, контексте или родстве эти векторы не хранят.

Более практичный вариант, bag-of-words (мешок слов). Здесь текст представляется как вектор, где каждая позиция соответствует слову из словаря, а значение, частота его появления в документе. Этот метод хорош для анализа тональности или классификации текстов, но он полностью игнорирует порядок слов и их грамматические связи. Главная беда bag-of-words, размерность. Если словарь содержит 100 000 слов, то и вектор каждого документа будет состоять из 100 000 измерений. Большинство этих измерений будут нулевыми, ведь ни один текст не содержит всех слов языка сразу. Такое разреженное пространство порождает проблему, известную как «проклятие размерности». Вычислительная сложность растёт, данные становятся шумными, а расстояния между векторами теряют всякий смысл.

Ответом на эти ограничения стали непрерывные векторные представления, или word embeddings. Идея, предложенная ещё в начале 2000-х, а затем популяризированная Томашем Миколовым с коллегами в 2013 году, радикально проста: вместо гигантского разреженного вектора каждому слову сопоставляется плотный вектор небольшой размерности, обычно от 50 до 300 измерений. Эти векторы заполнены вещественными числами, и именно эти числа кодируют скрытые признаки слова. Никто заранее не задаёт, что означает каждое измерение. Модель сама определяет, что, например, одно измерение отвечает за одушевлённость, другое, за абстрактность, а третье, за время глагола. Это происходит автоматически в процессе обучения.

Ключевое свойство word embeddings, геометрическая интерпретация семантики. Основная задача этих представлений, расположить семантически близкие слова рядом в векторном пространстве. Слова «автомобиль» и «машина» окажутся соседями, а «автомобиль» и «банан», далеко друг от друга. Более того, в таком пространстве начинают работать векторные аналогии. Классический пример, продемонстрированный в статье Миколова «Efficient Estimation of Word Representations in Vector Space», показывает, что вектор «король» минус вектор «мужчина» плюс вектор «женщина» даёт вектор, ближайший к слову «королева». Это поразительное свойство не закладывалось программистами вручную, оно возникло само из статистики употребления слов в огромных корпусах текстов.

Переход от дискретных к непрерывным представлениям, это не просто смена формата данных. Это смена парадигмы. Дискретные методы воспринимают слова как изолированные символы, не связанные между собой. Непрерывные представления позволяют компьютеру видеть язык как систему взаимосвязанных понятий. Благодаря этому модели машинного обучения получают возможность обобщать знания. Если модель обучилась на фразе «я люблю кофе», она сможет понять смысл фразы «я люблю чай», потому что векторы слов «кофе» и «чай» находятся

близко в пространстве. Именно эта способность к обобщению сделала word embeddings стандартом де-факто в современных NLP-системах, от поисковых алгоритмов до машинного перевода.

2. Архитектуры word2vec: CBOW и Skip-gram

Идея word2vec, которую в 2013 году предложили Томаш Миколов и его коллеги из Google, сводится к следующему: нейросеть учится понимать значения слов, анализируя их дистрибуцию. Модель не получает готовых размеченных данных, вместо этого она обрабатывает огромные массивы необработанного текста. Задачу обучения без учителя решают две архитектуры, CBOW и Skip-gram, и делают это противоположными способами. Разница в направлении предсказания определяет не только скорость работы, но и то, какими получатся векторы.

Архитектура CBOW (Continuous Bag-of-Words) устроена как задача на заполнение пропуска. Модель получает набор слов из контекстного окна и пытается угадать целевое слово в его центре. Представьте фразу «кот ___ на диван». Если окно равно двум, на вход подаются слова «кот» и «на», а модель должна выдать «прыгнул». Внутри сети векторы контекстных слов усредняются в единый скрытый вектор, который затем проецируется на словарь для поиска наиболее вероятного центрального слова. Такой подход оказывается очень эффективным для часто встречающихся слов. Поскольку модель обрабатывает контекст как единое целое, а не по отдельности, она обучается быстрее. Одно прохождение по корпусу с CBOW даёт больше обучающих примеров, чем с альтернативной архитектурой. Поэтому она хорошо подходит для больших объёмов текста, где нужно получить сбалансированные векторы без значительных затрат вычислительных ресурсов.

Skip-gram работает по обратному принципу. На вход подаётся единственное целевое слово, а на выходе модель должна предсказать все слова, которые находятся в его контекстном окне. Вернёмся к примеру: имея слово «прыгнул», модель должна выдать вероятности для «кот» и «на». Такая инверсия заставляет сеть учиться гораздо тщательнее. Каждый раз, когда встречается редкое слово, модель вынуждена «вытягивать» из

него максимум информации, чтобы корректно предсказать окружающие слова. Поэтому Skip-gram демонстрирует заметно лучшее качество векторов для низкочастотных терминов и для слов с неоднозначным употреблением. В исследовании Миколова 2013 года именно Skip-gram показал лучшие результаты на задачах семантической аналогии (например, «король» минус «мужчина» плюс «женщина» даёт «королева») при работе с большими корпусами, превышающими миллиард слов. Однако за это качество приходится платить скоростью: обучение Skip-gram идёт медленнее, так как требует больше вычислительных операций на каждый пример.

Выбор архитектуры, это не вопрос предпочтений, а инженерное решение, зависящее от конкретных условий. Если корпус небольшой или средний, а в тексте преобладают частотные слова, CBOW даст адекватные результаты за разумное время. Для задач, где критичны редкие термины, например при анализе специализированной документации или юридических текстов, предпочтительнее Skip-gram, несмотря на его медлительность. Важен и размер контекстного окна: для CBOW достаточно окна от 5 до 10 слов, в то время как Skip-gram часто настраивают на окно в 10 и более слов, чтобы захватить более широкие тематические связи. В итоге, CBOW обеспечивает быстрое получение гладких представлений для основной массы лексики, а Skip-gram позволяет извлечь максимум смысла из каждого слова, особенно из тех, что встречаются редко. Понимание этой дихотомии позволяет исследователю осознанно подходить к выбору инструмента, а не использовать первую попавшуюся реализацию.

3. Обучение и оптимизация word2vec

Переход от архитектур к их практической реализации упирается в конкретный механизм обучения. Если в общих чертах идея word2vec сводится к предсказанию одного слова по другому, то на уровне вычислений это задача оптимизации весов нейронной сети.

Сеть word2vec устроена предельно просто: один скрытый слой без функций активации и выходной слой. Входной вектор, как правило, one-hot кодирование, подаётся на вход, а после прохождения через скрытый слой получается вектор меньшей размерности. Ключевой момент в том, что веса матрицы скрытого слоя и есть те самые векторные представления слов. Строка этой матрицы, соответствующая входному слову, становится его эмбеддингом. Обучение сводится к подстройке этих весов так, чтобы минимизировать ошибку предсказания.

Наивный подход к вычислению ошибки на выходном слое требует полного softmax. Это означает, что для каждого обучающего примера нужно посчитать вероятности для всех слов словаря, который может достигать сотен тысяч или миллионов позиций. Для корпуса с миллиардами слов такие вычисления становятся вычислительно неподъёмными. Именно поэтому Миколов с коллегами предложили две аппроксимации, которые радикально ускорили обучение.

Первый метод, negative sampling, работает по принципу бинарной классификации. Вместо того чтобы вычислять распределение вероятностей по всему словарю, модель учится отличать реальное контекстное слово от нескольких случайно выбранных «шумовых» слов. Для каждого положительного примера (пара «целевое слово, контекст») подбирается, скажем, пять или двадцать отрицательных пар, где контекстное слово заменено случайным. Функция потерь в этом случае стремится максимизировать вероятность для настоящих пар и минимизировать для фейковых. Такой подход снижает вычислительную сложность с размера словаря до количества выбранных негативных

примеров, что даёт ускорение в десятки раз.

Второй метод, hierarchical softmax, использует структуру дерева Хаффмана. Вместо перебора всех слов на выходе, модель строит бинарное дерево, где каждый лист соответствует слову из словаря. Вероятность слова вычисляется как произведение вероятностей на пути от корня к листу. Так как глубина дерева логарифмически зависит от размера словаря, для словаря в миллион слов нужно выполнить всего около двадцати операций вместо миллиона. На практике hierarchical softmax особенно эффективен для редких слов, тогда как negative sampling лучше справляется с частотными.

Выбор между этими методами зависит от задачи. При этом гиперпараметры обучения играют не меньшую роль. Размерность векторов определяет количество семантических признаков, которые модель может закодировать. Для небольших корпусов достаточно ста измерений, для крупных датасетов вроде Google News оптимальной считается размерность в триста. Слишком маленькая размерность приведёт к тому, что разные смыслы слов будут «слипаться», слишком большая, к переобучению и шуму.

Размер окна контекста задаёт, сколько слов слева и справа от целевого учитывается при обучении. Маленькое окно в два-три слова фокусируется на синтаксических связях, большое окно в десять слов лучше улавливает тематическое сходство. Количество эпох также требует баланса: слишком малое число проходов по корпусу оставляет векторы недообученными, слишком большое, приводит к искажению семантики из-за переобучения на конкретных примерах. В оригинальной работе Миколова использовалось три эпохи на корпусе в сто миллиардов слов, что стало эмпирическим ориентиром для последующих исследований.

4. Ограничения и перспективы word2vec

После успешных экспериментов с word2vec стало очевидно, что модель обладает рядом фундаментальных ограничений, которые напрямую вытекают из её архитектурных допущений. Самое заметное из них: неспособность работать с многозначностью. Каждому слову в словаре модели соответствует ровно один вектор, который фиксируется после обучения. Слово «банк» в значении финансового учреждения и в значении речного берега получает одну и ту же точку в векторном пространстве. Это усреднённое представление, которое не отражает ни одно из конкретных значений, а лишь их абстрактную смесь.

Подобное сглаживание ведёт к ошибкам в семантических операциях. Классический пример: векторное уравнение «король, мужчина + женщина ≈ королева» работает для однозначных понятий. Но стоит подставить в него многозначное слово, и результат становится непредсказуемым. Вектор «ключ» может означать и музыкальный знак, и инструмент для замка, и родник. При вычислениях модель смешивает все эти смыслы, что делает результат бессмысленным для конкретной задачи.

Второе ограничение связано с чувствительностью к обучающим данным. word2vec учится на статистике совместной встречаемости слов, поэтому качество векторов напрямую зависит от того, что именно попало в корпус. Если корпус мал, редкие слова получают плохо обученные векторы. Если корпус смещён в одну тематическую область (например, только новости или только художественная литература), модель не увидит употреблений слов из других доменов. Исследователи из Стэнфорда в 2018 году показали, что модель, обученная на медицинских текстах, даёт вектор для слова «боль» практически неотличимый от вектора слова «таблетка». В общем корпусе эти слова расходятся сильнее.

Корпус фиксирует и устаревшие или временные языковые нормы. Модель, обученная на текстах начала 2000-х, не знает слова «смартфон» в современном значении. Более того, слово «твит» до 2006 года значило нечто совсем иное. Векторное пространство буквально замораживает состояние языка на момент сбора данных. Обновить его можно только полным переобучением, что при больших корпусах занимает дни даже на мощных GPU.

Эти ограничения стали толчком для развития нового поколения моделей, которые получили название контекстуальных. Вместо одного вектора на слово они генерируют представление динамически, в зависимости от окружения. Прорыв произошёл в 2018 году, когда вышли две ключевые работы: ELMo от исследователей из Allen Institute for AI и BERT от команды Google.

ELMo использует двунаправленную LSTM-сеть и создаёт вектор для каждого вхождения слова отдельно. Слово «замок» в предложении «старинный замок на холме» получает вектор, отличный от вектора того же слова в фразе «повернуть замок в двери». BERT пошёл дальше. Его архитектура на основе трансформера учитывает контекст с обеих сторон одновременно и использует механизм внимания, который позволяет модели определять, какие части предложения наиболее значимы для понимания конкретного слова. В тестах на семантическое сходство BERT показал улучшение точности на 20-30 процентных пунктов по сравнению с классическим word2vec на наборах данных типа WordSim-353.

Перспективы развития векторных представлений связаны именно с этой идеей: вектор не является статичной характеристикой слова, он становится функцией от контекста. Современные модели вроде GPT и T5 развивают тот же принцип, добавляя генеративные возможности и работу с более длинными последовательностями. word2vec при этом не устарел окончательно. Его до сих пор используют как быстрый метод инициализации эмбеддингов для более сложных архитектур и для задач, где вычислительные ресурсы ограничены. Но

как самостоятельный инструмент для глубокого понимания языка он уступает место контекстуальным моделям, которые решают проблему многозначности и адаптируются к конкретному употреблению слова в предложении.