Алгоритм обратного распространения ошибки в нейронных сетях

Содержание

1. 1. От перцептрона к многослойным сетям3
2. 2. Математические основы градиентного спуска5
3. 3. Алгоритм обратного распространения ошибки7
4. 4. Эффективность, ограничения и перспективы9

1. От перцептрона к многослойным сетям

Перцептрон, предложенный Фрэнком Розенблаттом в 1958 году, стал первой формальной моделью обучаемого классификатора. Его архитектура была предельно проста: входной слой сенсоров, набор весов и один выходной нейрон. Такой однослойный перцептрон мог научиться различать, например, буквы или простые геометрические фигуры. Однако в 1969 году Марвин Минский и Сеймур Пейперт в книге «Перцептроны» математически доказали принципиальное ограничение этой модели. Однослойная сеть способна разделить пространство признаков только прямой линией, плоскостью или гиперплоскостью. Она бессильна перед задачей XOR, где два класса точек перемешаны так, что их нельзя отделить одной прямой. Любая попытка обучить такой перцептрон на нелинейно разделимых данных обречена на неудачу: ошибка классификации не опустится ниже определённого порога, сколько бы эпох ни длилось обучение.

Выход из тупика виделся в добавлении промежуточных, скрытых слоёв нейронов. Многослойная сеть с нелинейной функцией активации, например сигмоидой, способна строить сколь угодно сложные границы решений. Теоретически такая архитектура может аппроксимировать любую непрерывную функцию с заданной точностью, что позднее было строго доказано в теореме о полноте. Практическая проблема заключалась в другом: как подобрать веса для всех этих скрытых нейронов? Правило Хебба, доминировавшее в то время, работало по принципу «нейроны, возбуждающиеся вместе, связываются вместе». Оно позволяло корректировать связи на основе локальной активности, но не давало ответа на вопрос, какой именно нейрон виноват в ошибке на выходе. Если выход сети неверен, как распределить ответственность между десятками нейронов скрытого слоя? Их активность не привязана напрямую к целевому ответу, и правило Хебба здесь бессильно.

Нужен был механизм, который вычислял бы величину ошибки для каждого внутреннего нейрона, а затем корректировал его веса. Решение пришло из математического анализа: если ошибку сети представить как функцию от всех весов, то её можно минимизировать, двигаясь в направлении антиградиента. Для вычисления этого градиента в многослойной структуре используется правило цепочки дифференцирования. Оно позволяет последовательно распространять ошибку от выходного слоя назад, к скрытым, отсюда и название метода. Сама идея градиентного спуска не была новой: её основы заложил Огюстен Луи Коши ещё в 1847 году. Однако именно в 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс опубликовали в журнале Nature статью, где ясно описали, как применить градиентный спуск к обучению многослойных перцептронов. Их работа «Learning representations by back-propagating errors» стала поворотной точкой: алгоритм обратного распространения ошибки получил чёткую формулировку и был продемонстрирован на практических задачах.

Любопытно, что аналогичные идеи высказывались и раньше. В 1970-х годах советский математик Александр Галушкин и финский исследователь Сеппо Линнаинмаа независимо друг от друга описывали сходные принципы. Но именно публикация 1986 года попала в нужный момент: она предложила ясную, вычислительно реализуемую процедуру, которую можно было применить к сетям с произвольным числом слоёв. Метод оказался достаточно простым для программной реализации, и вскоре его начали использовать для обучения сетей, решающих задачи распознавания образов и прогнозирования. Так завершился переход от ограниченного однослойного перцептрона к гибким многослойным архитектурам, для которых обратное распространение ошибки стало основным инструментом настройки параметров.

2. Математические основы градиентного спуска

Обучение нейронной сети всегда сводится к подгонке огромного числа параметров. Речь о весах связей между нейронами. Их нужно настроить так, чтобы сеть давала правильные ответы. Но как измерить качество этих ответов? Для этого вводится функция потерь. Она возвращает одно число: суммарную ошибку сети на обучающих данных. Чем меньше это число, тем лучше сеть решает задачу. Классический пример, среднеквадратичная ошибка, вычисляется как среднее квадратов разностей между предсказанными и истинными значениями. Обучение превращается в чистую математическую задачу: найти минимум этой функции в многомерном пространстве весов.

Пространство весов огромно, и перебирать все комбинации вручную невозможно. На помощь приходит градиент. Это вектор, составленный из частных производных функции потерь по каждому весу. У градиента есть замечательное свойство: он всегда указывает в сторону наискорейшего роста функции. Если мы хотим уменьшить ошибку, нам нужно двигаться в противоположном направлении. Именно эта простая идея лежит в основе градиентного спуска. Алгоритм итеративно корректирует веса, делая маленькие шаги против вектора градиента. С каждым таким шагом значение функции потерь уменьшается, пусть и незначительно.

Величина шага задаётся параметром, который называют скоростью обучения (learning rate). Это, пожалуй, самый критичный гиперпараметр во всём процессе. Если шаг слишком большой, алгоритм может перескочить через минимум и начать «осциллировать» вокруг него, так и не сойдясь. Если шаг слишком мал, обучение затянется на тысячи итераций, а риск застрять в локальном минимуме (не самом лучшем решении) резко возрастёт. Выбор оптимальной скорости обучения на практике часто требует экспериментов и эвристик, например, использования графиков её затухания со временем.

Классический градиентный спуск вычисляет градиент по всей обучающей выборке сразу. Это математически корректно, но крайне затратно при больших объёмах данных. Представьте, что нужно обработать миллион изображений, чтобы сделать один-единственный шаг. Стохастический градиентный спуск (SGD) решает эту проблему радикально: он обновляет веса после каждого отдельного примера. Это вносит шум в процесс, но позволяет делать тысячи шагов за то время, пока полный спуск сделал бы один. Компромиссным вариантом стал мини-пакетный метод: выборка разбивается на небольшие блоки, и обновление происходит по каждому такому блоку. Этот подход сочетает скорость стохастического метода с устойчивостью полного. Именно он стал стандартом де-факто в современных библиотеках глубокого обучения, таких как TensorFlow или PyTorch.

3. Алгоритм обратного распространения ошибки

Тезис о том, что многослойная сеть способна аппроксимировать сложные зависимости, остается лишь теорией, пока не решен вопрос о настройке её внутренних параметров. В 1986 году Румельхарт, Хинтон и Уильямс предложили алгоритм обратного распространения ошибки, который стал таким механизмом. Он отвечает на конкретный вопрос: как понять, какой именно скрытый нейрон виноват в ошибке на выходе, и насколько сильно менять каждый отдельный вес.

Сначала сигнал распространяется в прямом направлении. Входной вектор подается на нейроны первого слоя. Каждый из них вычисляет взвешенную сумму своих входов и пропускает её через нелинейную функцию активации. Результат передается дальше по сети, пока не сформируется выходной вектор. Затем вычисляется ошибка: для каждого выходного нейрона берется разница между полученным и целевым значением из обучающей выборки. Для всего набора выходов эта разница сводится в одну скалярную величину, например, в сумму квадратов отклонений.

Дальше начинается самое интересное. Ошибке с выходного слоя нужно «дойти» до весов глубоких слоёв, но прямой зависимости между ними нет. Здесь используется правило цепочки из математического анализа. Оно позволяет разложить производную ошибки по весу скрытого слоя на произведение трёх производных: ошибки по выходу нейрона, выхода по взвешенной сумме и взвешенной суммы по конкретному весу. Градиент ошибки для каждого веса вычисляется последовательно, слой за слоем, от конца сети к началу. Поэтому алгоритм и называется обратным распространением: сигнал ошибки движется в направлении, противоположном движению данных.

Дельта-правило, которое для однослойных сетей было частным случаем, здесь обобщается на произвольное число слоёв. Суть не меняется: корректировка пропорциональна величине ошибки и значению сигнала на

входе связи. Итоговая формула обновления весов выглядит лаконично: w_new = w_old - learning_rate * dE/dw. Параметр learning_rate задается заранее и определяет размер шага. Если шаг слишком маленький, обучение замедлится. Если слишком большой, процесс может потерять сходимость: ошибка начнет скакать и даже расти.

Веса обновляются не по одному примеру, а итеративно по всей обучающей выборке. Полный проход по всем примерам называется эпохой. После каждой эпохи вычисляется суммарная ошибка сети. Если она превышает допустимый порог, запускается следующая эпоха: снова прямое распространение, подсчёт ошибки, обратное распространение и корректировка весов. Цикл повторяется, пока ошибка не стабилизируется на приемлемом уровне или не перестанет уменьшаться. Процесс вычислительно затратный: для сети с сотнями тысяч параметров одна эпоха требует миллионов арифметических операций. Но именно эта последовательность действий превращает необученную сеть в работающий классификатор.

4. Эффективность, ограничения и перспективы

Обратное распространение остаётся самым универсальным способом обучения многослойных сетей, но его математическая элегантность оборачивается рядом практических проблем. Главная из них, попадание в локальные минимумы функции потерь. Градиентный спуск гарантированно находит лишь ближайшую точку, где градиент равен нулю, и эта точка часто оказывается не глобальным оптимумом, а «ловушкой», плато или седловой точкой. На практике это выражается в том, что обучение застревает: ошибка перестаёт уменьшаться, хотя архитектура сети и качество данных позволяют добиться большего. Спасают лишь случайная инициализация весов и запуск обучения несколько раз с разными начальными условиями, что не даёт формальных гарантий.

Скорость сходимости тоже оставляет желать лучшего. Классический стохастический градиентный спуск движется к минимуму зигзагообразно, особенно в оврагах функции потерь, где кривизна вдоль разных направлений сильно различается. В таких условиях шаг, подобранный для одного направления, оказывается слишком большим для другого. Алгоритм либо сходится мучительно медленно, либо расходится вовсе. Поэтому на практике используются адаптивные методы. RMSprop нормализует градиенты по их среднеквадратичному значению, а Adam (Kingma и Ba, 2015) комбинирует эту идею с инерцией, храня скользящие средние как первых, так и вторых моментов градиента. Adam стал дефолтным оптимизатором для большинства задач глубокого обучения. Он устойчив к выбору скорости обучения и заметно ускоряет сходимость по сравнению с чистым обратным распространением.

Вторая фундаментальная проблема, переобучение. Сеть с миллионами параметров легко запоминает обучающую выборку, включая шум, но теряет способность обобщать. Классическим индикатором служит расхождение между ошибкой на тренировочных данных и ошибкой на валидационных. Для борьбы с

этим применяют регуляризацию. L2-регуляризация штрафует большие веса, принуждая сеть к простым решениям, а dropout, предложенный Хинтоном в 2012 году, во время обучения случайным образом отключает часть нейронов. Это заставляет сеть не полагаться на отдельные признаки, а использовать распределённые представления. Дополнительно используются аугментация данных и early stopping (обучение прекращается, как только ошибка на валидации перестаёт снижаться).

Самое серьёзное ограничение обратного распространения обнаружилось при попытке строить по-настоящему глубокие сети. При обратном распространении градиент перемножается через цепочку производных функций активации. Для сигмоиды и гиперболического тангенса производные меньше единицы, и при 10-20 слоях произведение этих величин стремится к нулю. Веса первых слоёв почти не обновляются, сеть обучается крайне медленно или не обучается вовсе. Это явление назвали проблемой затухающего градиента. Её решили двумя путями. Во-первых, функция активации ReLU (выпрямитель, max(0, x)) имеет производную 1 для положительных входов, что не уменьшает градиент. Во-вторых, архитектура ResNet (He et al., 2015) добавила ярлычные соединения, передающие сигнал через несколько слоёв напрямую, минуя нелинейные преобразования. Это позволило обучать сети с сотнями слоёв.

Тем не менее, даже с ReLU и адаптивными оптимизаторами обратное распространение остаётся итеративным процессом, требующим огромных вычислительных ресурсов. Обучение современных трансформеров с миллиардами параметров занимает недели на кластерах из тысяч GPU. Поэтому появляются альтернативы: прямой дифференцируемый обучение через равновесные состояния (equilibrium propagation), методы, основанные на локальных правилах, вдохновлённых биологическими нейронами, и тренировка без обратного распространения через синтетические градиенты. Однако ни один из этих подходов пока не демонстрирует сопоставимой производительности на масштабных задачах.

Практический вывод однозначен: обратное распространение ошибки, предложенное Румельхартом, Хинтоном и Уильямсом в 1986 году, по-прежнему является фундаментом глубокого обучения. Все современные библиотеки, PyTorch, TensorFlow, JAX, реализуют автоматическое дифференцирование, которое по сути есть формализованное обратное распространение. Даже новые архитектуры вроде трансформеров, заменивших рекуррентные сети в обработке последовательностей, обучаются именно этим алгоритмом. Дальнейшие исследования сосредоточены не на замене самого принципа, а на смягчении его недостатков: борьбе с локальными минимумами через ландшафтные методы, ускорении сходимости через продвинутые оптимизаторы и снижении требований к данным через самообучение. Пока ни одна альтернатива не смогла поколебать позиции обратного распространения, и в обозримом будущем оно останется стандартом индустрии.