Статистические методы машинного обучения в задачах классификации текстов

Содержание

1. Введение в классификацию текстов3
2. 2. Статистические алгоритмы для текстов5
3. 3. Оценка качества и выбор модели8
4. 4. Сравнение и практические рекомендации10

Введение в классификацию текстов

Классификация текстов, это задача автоматического отнесения документа к одной из заранее заданных категорий на основе его содержания. Формально её можно описать как построение функции, которая отображает множество текстов на множество меток классов. В этой постановке каждый текст представляется набором признаков, а алгоритм обучается на размеченной выборке, где для каждого документа известна его истинная категория. Без такой формализации говорить о машинном обучении бессмысленно: именно обучающая выборка задаёт критерий, по которому модель будет принимать решения в дальнейшем.

Прикладная ценность задачи трудно переоценить. Спам-фильтры в почтовых сервисах ежедневно отсеивают миллионы нежелательных писем, анализируя их содержание и заголовки. Системы анализа тональности определяют, позитивно или негативно высказывание о товаре или услуге, и компании могут оперативно реагировать на отзывы клиентов. Рубрикация новостных лент автоматически распределяет статьи по разделам «Политика», «Спорт», «Экономика», экономя редакторам часы ручной работы. Каждая из этих задач сводится к одной и той же математической сути: нужно найти закономерности, которые отличают тексты одного класса от другого.

Прежде чем алгоритм сможет работать с текстом, его необходимо преобразовать в численный вид. Процесс включает несколько обязательных шагов. Начальный этап, токенизация, то есть разбиение сплошного потока символов на отдельные слова, числа и знаки препинания. Затем выполняется нормализация словоформ: стемминг отсекает окончания и суффиксы, оставляя основу слова, а лемматизация приводит слово к его словарной форме. Например, слова «бежал», «бегу» и «бегут» после лемматизации сойдутся к инфинитиву «бежать». Далее строится частотная характеристика документа: для каждого токена подсчитывается, сколько раз он встречается в тексте. Так получается

вектор, где каждое измерение соответствует конкретному слову из словаря корпуса, а значение, его частоте. Эта процедура, известная как мешок слов (bag-of-words), остаётся базовой для большинства статистических подходов.

Методы машинного обучения, применяемые к таким векторам, делятся на два крупных лагеря. Классические статистические алгоритмы (наивный Байес, метод опорных векторов, логистическая регрессия) работают непосредственно с разреженными частотными векторами. Они основаны на строгих математических принципах и требуют относительно немного данных для обучения. Современные нейросетевые подходы, включая рекуррентные сети и трансформеры, оперируют с плотными векторными представлениями слов и способны улавливать сложные семантические связи. Однако за эту способность приходится платить: нейросетям нужны огромные размеченные корпусы, состоящие из миллионов примеров, и мощные графические ускорители для обучения. Для многих реальных задач, где доступно лишь несколько тысяч размеченных документов, такие требования невыполнимы.

Выбор статистических методов часто продиктован не столько их превосходством в точности, сколько практическими ограничениями. Обучение наивного байесовского классификатора на корпусе из десяти тысяч документов занимает секунды на обычном процессоре. Обучение нейросети на тех же данных может занять часы и потребовать специального оборудования. Статистические модели легко интерпретировать: веса признаков показывают, какие слова наиболее сильно влияют на решение. Это критически важно в задачах с регуляторными требованиями. Наконец, эти алгоритмы устойчивы к переобучению при малых выборках, поскольку их гипотезы имеют меньшую сложность по сравнению с глубокими сетями. В условиях, когда вычислительные ресурсы ограничены, а объём данных скромен, статистические методы дают надёжный результат, который не требует дата-центра для воспроизведения.

2. Статистические алгоритмы для текстов

Статистические алгоритмы классификации текстов объединяет общая идея: представить документ как вектор числовых признаков и построить на этом пространстве решающее правило. Каждый из четырех классических методов делает это по-своему, и разница между ними определяет их поведение на реальных данных.

Наивный байесовский классификатор опирается на теорему Байеса. Для каждого класса он оценивает вероятность того, что документ принадлежит этому классу, перемножая вероятности появления отдельных слов. Ключевое допущение здесь, как следует из названия, наивное: все признаки считаются условно независимыми при заданном классе. Для текста это означает, что появление слова «кредит» не влияет на вероятность появления слова «банк» в том же письме. В реальности это не так, но упрощение работает на удивление хорошо. Для расчета используется частотность термов: вероятность слова вычисляется как отношение его вхождений в документы класса к общему числу слов в этих документах. Метод особенно эффективен для спам-фильтров и анализа тональности, где важна суммарная частота ключевых лексем, а не их взаимное расположение.

Метод опорных векторов, предложенный Владимиром Вапником, решает задачу иначе. Вместо оценки вероятностей он ищет гиперплоскость, которая максимально разделяет два класса в пространстве признаков. Смысл в том, чтобы найти границу с наибольшим зазором до ближайших точек обучающей выборки, которые и называются опорными векторами. Для линейно неразделимых текстовых данных применяются ядра. Функция ядра неявно проецирует векторы в пространство большей размерности, где классы уже можно разделить плоскостью. Радиальная базисная функция и полиномиальные ядра позволяют учитывать нелинейные зависимости между терминами. SVM устойчив к переобучению за счет регуляризации и хорошо работает даже при тысячах признаков,

характерных для разреженных текстовых векторов.

Логистическая регрессия, несмотря на название, решает задачу классификации, а не регрессии. Модель вычисляет вероятность принадлежности документа классу через сигмоидальную функцию от линейной комбинации признаков. Веса при термах здесь интерпретируются напрямую: положительный вес слова «отличный» повышает вероятность положительного отзыва, отрицательный вес слова «ужасный» понижает ее. Это главное преимущество метода: модель прозрачна, по коэффициентам видно, какие слова сильнее всего влияют на решение. Обучение происходит методом градиентного спуска, что делает алгоритм вычислительно эффективным даже на больших корпусах. В отличие от наивного Байеса, логистическая регрессия не требует допущения о независимости, поэтому часто дает более точные результаты на текстах со сложной структурой.

Метод k-ближайших соседей занимает особое место, потому что он не строит модель вовсе. Алгоритм запоминает все обучающие векторы и при классификации нового документа вычисляет расстояние до каждого из них, выбирая k ближайших. Класс определяется большинством голосов среди этих соседей. Для текстовых векторов, где размерность достигает десятков тысяч термов, прямое вычисление евклидова расстояния проблематично: в разреженных пространствах все точки оказываются примерно равноудаленными. Частично проблему решает косинусная мера, которая учитывает только угол между векторами, игнорируя их длину. Но главный недостаток остается: каждый запрос требует прохода по всей обучающей выборке, что при больших корпусах становится крайне медленным.

Сравнение вычислительной сложности показывает разительные отличия. Наивный Байес обучается за один проход по данным, его временная сложность линейна по числу документов и числу уникальных термов. SVM в худшем случае требует квадратичных затрат на обучение, но после этого классификация нового документа занимает константное время. Логистическая регрессия также эффективна: каждая

итерация градиентного спуска линейна по размеру выборки, а число итераций обычно невелико. kNN имеет нулевую стоимость обучения, но линейную стоимость каждого предсказания, что делает его неприемлемым для задач реального времени с большими базами.

Объем требуемых данных тоже различается. Наивный Байес и логистическая регрессия хорошо работают с выборками от нескольких сотен документов, они быстро достигают плато точности. SVM требует больше данных для надежной настройки ядра, но при этом менее чувствителен к шуму в признаках. kNN нуждается в наибольшем объеме данных: плотность пространства должна быть достаточной, чтобы у каждого документа нашлись осмысленные соседи, иначе метод вырождается в случайное угадывание. В условиях малых корпусов, например, при классификации специализированных научных текстов, предпочтение стоит отдавать байесовскому классификатору или логистической регрессии, которые извлекают максимум из ограниченной статистики.

3. Оценка качества и выбор модели

Дальнейший выбор модели определяется не интуицией, а измеримыми показателями. Accuracy, то есть доля верных ответов, на первый взгляд кажется очевидной метрикой. Однако при работе с текстами она часто обманчива. Если в корпусе 95% сообщений, спам, а 5%, обычные письма, классификатор, предсказывающий всегда «спам», получит accuracy 0.95, не решив задачу вовсе. Поэтому для несбалансированных выборок используют precision и recall.

Precision отвечает на вопрос: сколько из объектов, отнесённых моделью к положительному классу, действительно таковыми являются. Recall показывает, какую долю всех реальных положительных объектов удалось найти. В задаче поиска редких юридических документов важнее recall: пропустить нужный файл дороже, чем получить несколько лишних в выдаче. F1-мера, гармоническое среднее этих двух величин, позволяет найти баланс. Она особенно полезна, когда нужно сравнить модели, работающие в условиях жёсткого дисбаланса классов (например, при анализе тональности, где негативных отзывов значительно меньше позитивных).

Отдельного внимания заслуживает AUC-ROC. Эта метрика оценивает качество ранжирования: вероятность того, что случайный положительный объект получит от модели более высокий балл, чем случайный отрицательный. Значение 0.5 соответствует случайному угадыванию, а 1.0, идеальному разделению. Для текстовой классификации, где порог принятия решения можно смещать, AUC-ROC удобен тем, что не зависит от этого порога и показывает внутреннюю способность алгоритма различать классы.

Полученные метрики ничего не стоят, если модель оценивалась на тех же данных, на которых обучалась. Классический приём, разбиение выборки на обучающую и тестовую части в пропорции 80/20. Но при малом объёме данных однократное разделение может быть случайным. Надёжнее работает k-блочная кросс-валидация, когда данные делятся на

пять или десять частей, и модель поочерёдно обучается на четырёх из них и проверяется на пятой. Итоговое качество, среднее по всем блокам. Чтобы распределение классов в каждом блоке повторяло распределение во всей выборке, применяют стратификацию. Для текстов с редкими категориями это критично: без стратификации в тестовый блок может вообще не попасть ни одного примера нужного класса.

Выбор оптимальной модели, это не только сравнение итоговых цифр. Анализ кривых обучения показывает, как качество растёт с увеличением объёма данных. Если кривые для тренировочной и валидационной выборок сходятся на низком уровне, модель страдает от смещения (underfitting). Если между ними сохраняется большой разрыв, модель переобучается (overfitting). Изучение ошибок классификатора на матрице неточностей часто даёт больше, чем усреднённые метрики: видно, какие конкретно категории путаются между собой. Например, новостные тексты о спорте и экономике могут систематически пересекаться из-за общих терминов.

Наконец, качество существенно зависит от гиперпараметров: числа признаков при векторизации, параметра регуляризации C в SVM, значения k в методе ближайших соседей. Подбор вручную, занятие неблагодарное. Grid search перебирает все комбинации из заданного набора значений, что гарантирует нахождение лучшей пары, но растёт экспоненциально с числом параметров. Random search, предложенный Джеймсом Бергстрой и Йошуа Бенжио в 2012 году, выбирает комбинации случайно. При равном количестве попыток он находит хорошие решения быстрее, так как не тратит время на перебор заведомо бесперспективных областей. В задачах с текстами, где обучение одной модели может занимать минуты, это разница между часом ожидания и рабочим днём.

4. Сравнение и практические рекомендации

Сопоставление статистических методов с нейросетевыми архитектурами даёт неоднозначную картину. Трансформеры вроде BERT стабильно выигрывают по точности на крупных размеченных корпусах, но цена этого превосходства высока. Обучение такой модели требует графических ускорителей и часов машинного времени, тогда как логистическая регрессия или метод опорных векторов обучаются за минуты на обычном процессоре. LSTM, появившиеся как компромисс, сохраняют способность улавливать последовательности, но уступают трансформерам в параллелизации и скорости инференса. В задачах с жёстким дедлайном или ограниченным бюджетом разница в вычислительных затратах становится решающим аргументом.

На малых выборках статистические методы часто доминируют. Причина в том, что нейросети требуют данных для настройки миллионов параметров, а классические алгоритмы оперируют десятками тысяч признаков. Эксперименты на корпусах объёмом до пяти тысяч документов показывают, что наивный Байес и SVM с линейным ядром достигают F1-меры на уровне 0,85. Fine-tuning трансформера на таких данных приводит к переобучению и падению метрики ниже 0,7. При этом статистические модели устойчивы к шуму в разметке: ошибки в пяти процентах меток незначительно сдвигают разделяющую гиперплоскость, в то время как градиентный спуск в нейросетях усиливает влияние аномалий.

Выбор конкретного алгоритма диктуется характеристиками задачи. Если классов немного, до десяти, и выборка сбалансирована, логистическая регрессия даёт интерпретируемые вероятности и легко калибруется. При большом числе категорий, свыше пятидесяти, предпочтителен линейный SVM: он строит разделение в многомерном пространстве без попарных сравнений, как kNN, и не требует оценки плотности, как Байес. Для потоковых данных с постоянным обновлением лучше подходит наивный Байес из-за инкрементального обновления параметров. Высокий

уровень шума в тексте (например, опечатки или сленг) снижает эффективность частотных признаков, но SVM с RBF-ядром частично компенсирует это за счёт нелинейной границы.

Перспективы статистических методов связаны не с их изоляцией, а с интеграцией. Гибридные схемы, где трансформер извлекает контекстные эмбеддинги, а SVM или градиентный бустинг классифицируют полученные векторы, показывают прирост точности на два-три процента по сравнению с чистым fine-tuning. Ансамблевые подходы также остаются релевантными: случайный лес поверх признаков TF-IDF устойчив к переобучению. Стекинг из Байеса, логистической регрессии и kNN с мета-уровнем на бустинге выигрывает у каждого базового алгоритма по отдельности. Такие комбинации позволяют сохранить скорость обучения статистических моделей и одновременно приблизиться к качеству нейросетей. В этом направлении, вероятно, и будет развиваться практика классификации текстов: не отказ от классики, а разумное её использование в связке с новыми инструментами.