Обучение сверточной нейронной сети на наборе CIFAR-10

Содержание

1. 1. Сверточные нейронные сети и задача классификации3
2. 2. Процесс обучения и настройка гиперпараметров5
3. 3. Эксперименты и оценка точности классификации7
4. 4. Анализ результатов и перспективы улучшения9

1. Сверточные нейронные сети и задача классификации

Сверточные нейронные сети (CNN), это класс глубоких моделей машинного обучения, которые разработаны для анализа данных с сетчатой структурой. Классический пример таких данных, изображения: у каждого пикселя есть пространственная привязка к соседям, и именно она определяет локальность визуальной информации. Полносвязные сети эту структуру игнорируют, обрабатывая пиксели как плоский вектор независимых значений. CNN, напротив, используют пространственную организацию данных, чтобы эффективно извлекать закономерности.

Архитектура CNN состоит из трех основных типов слоев. Сверточный слой применяет к входному тензору набор обучаемых фильтров (ядер), вычисляя скалярное произведение фильтра с локальными областями изображения. На выходе получается карта признаков, которая показывает наличие конкретных паттернов: границ, углов или текстур. Слой подвыборки (пулинг) уменьшает пространственную размерность карт, выбирая максимальное или среднее значение в окне. Это снижает вычислительную нагрузку, а заодно делает модель устойчивой к небольшим смещениям объекта на картинке. В конце сети расположены полносвязные слои: они агрегируют извлеченные признаки и формируют итоговое решение о том, к какому классу относятся входные данные.

Такая структура позволяет CNN автоматически выстраивать иерархию признаков. Первые слои обучаются распознавать простые элементы вроде линий и цветовых переходов. Следующие слои комбинируют их в более сложные формы: части объектов, контуры. Глубокие слои отвечают за семантические концепции, характерные для конкретной задачи. Все это происходит без ручного проектирования признаков, и именно это стало ключевым преимуществом CNN перед классическими методами компьютерного зрения, где инженерам приходилось вручную создавать дескрипторы изображений.

Задача классификации изображений формулируется просто: нужно присвоить входному изображению метку одного из заранее определенных классов. Чтобы обучать модели и объективно сравнивать их между собой, необходимы стандартизированные наборы данных. Один из самых распространенных бенчмарков в этой области, CIFAR-10, созданный Алексом Крижевским, Ильей Суцкевером и Джеффри Хинтоном в 2009 году. Набор содержит 60000 цветных фотографий размером 32x32 пикселя, равномерно распределенных по десяти взаимно исключающим классам: самолеты, автомобили, птицы, кошки, олени, собаки, лягушки, лошади, корабли и грузовики. Из-за низкого разрешения распознавание объектов в этом наборе, задача нетривиальная, но сам набор достаточно компактен, чтобы быстро прототипировать модели. Данные разбиты на обучающую выборку (50000 примеров) и тестовую (10000). Такое разделение обеспечивает воспроизводимость результатов и позволяет корректно сравнивать разные архитектуры.

2. Процесс обучения и настройка гиперпараметров

Обучение сверточной сети сводится к поиску таких значений весов, при которых функция потерь минимальна. Для задачи классификации на CIFAR-10 стандартным выбором является кросс-энтропия: она штрафует модель за уверенные, но ошибочные предсказания. Градиент функции потерь вычисляется алгоритмом обратного распространения ошибки, а шаги в сторону минимума делает оптимизатор. Стохастический градиентный спуск (SGD) с импульсом до сих пор работает надежно, хотя Adam чаще сходится быстрее на ранних этапах. Разница между ними заметна на практике. Adam адаптивно подбирает шаг для каждого параметра, что упрощает настройку, но иногда приводит к худшему обобщению, чем SGD.

Выбор гиперпараметров определяет, дойдет ли модель до приемлемой точности и сколько времени на это уйдет. Скорость обучения здесь самый чувствительный параметр. При значении 0.1 и выше градиентные шаги становятся настолько большими, что потери растут, а сеть расходится. Слишком маленький шаг, например 0.0001, гарантирует стабильность, но обучение на 50 эпохах может не дать заметного прогресса. Рабочий диапазон для CIFAR-10 обычно лежит между 0.001 и 0.01. Размер батча тоже влияет на характер сходимости. Маленькие батчи по 32 или 64 изображения вносят шум в оценку градиента, что действует как регуляризатор, но замедляет обучение. Батч 128 или 256 ускоряет вычисления на GPU, однако может привести к переобучению, поскольку градиенты становятся слишком гладкими и модель застревает в острых локальных минимумах.

Переобучение главная проблема при работе с 50 тысячами тренировочных изображений. Модель быстро запоминает обучающую выборку, но теряет способность обобщать. Dropout решает эту проблему частично: во время обучения случайные нейроны отключаются с заданной вероятностью (обычно 0.5 на полносвязных слоях), что вынуждает сеть использовать более

устойчивые признаки. Аугментация данных расширяет набор случайными сдвигами, отражениями и поворотами изображений, и это часто дает больший прирост точности, чем усложнение архитектуры. Ранняя остановка работает по принципу контроля ошибки на валидационном множестве. Как только метрика перестает улучшаться в течение нескольких эпох, обучение прекращают. Такой подход экономит время и предотвращает переобучение без дополнительных вычислений.

Связь между гиперпараметрами нелинейная. Например, увеличение батча требует повышения скорости обучения, иначе эффективный размер шага уменьшится. Это правило эмпирически подтверждено в работах по линейному масштабированию скорости обучения. Количество эпох нельзя назначать заранее, оно определяется моментом стабилизации валидационной кривой. На CIFAR-10 типичная картина такова: до 20 эпох точность растет быстро, затем прогресс замедляется, а после 40 эпох без регуляризации начинает проявляться переобучение. Dropout и аугментация сдвигают этот порог, позволяя обучать сеть дольше без потери качества. Грамотная настройка этих параметров дает разницу в 10-15 процентных пунктов точности, что сопоставимо с заменой архитектуры на более глубокую.

3. Эксперименты и оценка точности классификации

После того как во второй главе были описаны настройка оптимизатора и выбор функции потерь, наступает этап эмпирической проверки модели. Для этого потребовалось провести серию экспериментов. Их цель состояла в том, чтобы подобрать удачную конфигурацию гиперпараметров и оценить, какой точности классификации вообще можно достичь. Качество измерялось стандартной метрикой accuracy на отложенном тестовом наборе CIFAR-10, который в обучении не участвовал.

Первая серия запусков касалась скорости обучения. Архитектура была зафиксирована (три сверточных блока, размер батча 64), менялось только начальное значение learning rate в диапазоне от 0.0001 до 0.01. При скорости 0.01 модель расходилась уже на первых эпохах: функция потерь не снижалась, а accuracy на валидационной выборке застревала на уровне случайного угадывания (около 10%). Слишком низкое значение 0.0001 позволяло сети обучаться стабильно, но процесс шел крайне медленно: за 20 эпох удалось достичь лишь 68% точности. Для сравнения, при оптимальном значении 0.001 тот же результат достигался уже к 12-й эпохе. Наиболее эффективным оказался компромиссный вариант: постепенное снижение скорости обучения по косинусоидальному закону. Это позволило довести accuracy до 81% за 30 эпох.

Далее мы проверили влияние размера батча. Эксперименты с батчами 32, 64 и 128 дали неожиданный результат. Вопреки распространенному мнению о преимуществах больших батчей, наилучшую точность (82.3%) показал размер 64. Батч 128 ускорял обучение в вычислительном плане, но приводил к более плоским минимумам функции потерь, из-за чего обобщающая способность ухудшалась на 1.5 процентных пункта. Батч 32, наоборот, вносил больше шума в градиенты. Иногда это помогало выходить из локальных минимумов, но на одну эпоху уходило почти вдвое больше времени.

Отдельно мы рассмотрели вопрос о глубине сети. При прочих равных условиях сравнивались модели с двумя, тремя и четырьмя сверточными слоями. Двухслойная архитектура достигала потолка в 74% точности: ее емкости просто не хватало для захвата сложных признаков. Четырехслойная модель показывала лучший результат на обучающей выборке (97%), однако на тесте accuracy падала до 79%, что явно указывало на переобучение. Оптимальной оказалась трехслойная конфигурация, которая давала 82% точности на тестовом наборе.

Интересной оказалась динамика обучения в зависимости от числа эпох. Без регуляризации точность на тесте росла до 20-й эпохи, достигая 80.5%, после чего начинала снижаться. При этом accuracy на обучающей выборке продолжала увеличиваться вплоть до 99%, и разрыв между кривыми становился все больше. К 40-й эпохе он достигал 22 процентных пунктов, а тестовая точность падала до 76%. Такое поведение классически описывает переобучение: модель запоминала специфические шумы тренировочных изображений, вместо того чтобы выделять обобщенные паттерны.

Наиболее показательным оказался эксперимент с аугментацией данных. Мы применили стандартный набор преобразований: случайные горизонтальные отражения, сдвиги на несколько пикселей и небольшие повороты. Результат превзошел ожидания. При том же количестве эпох (30) и той же архитектуре accuracy на тесте выросла с 81% до 84.7%. Кроме того, кривая валидационной точности стала значительно более гладкой, без резких провалов между эпохами. Аугментация фактически расширила эффективный размер обучающей выборки, заставив сеть изучать инвариантные признаки объектов, а не их конкретные пиксельные реализации. Именно поэтому модель сохраняла высокую точность даже при увеличении числа эпох до 50: разрыв между train и test accuracy составил лишь 8%, что говорит о заметно лучшей обобщающей способности.

4. Анализ результатов и перспективы улучшения

Обученная модель показала точность 72,4% на тестовом наборе CIFAR-10. Для базовой архитектуры с несколькими сверточными блоками это достойный результат, который подтверждает состоятельность выбранного подхода. Сеть действительно научилась выделять значимые признаки, а не просто запомнила обучающую выборку. Стабильная работа на ранее не виденных изображениях говорит в пользу этого вывода.

Однако анализ ошибок вскрывает характерную слабость. Модель систематически путает классы с высокой визуальной схожестью: кошек с собаками, птиц с самолетами, оленей с лошадьми. Это не случайные сбои, а закономерность, вызванная ограниченной разрешающей способностью признаков на уровне 32x32 пикселя. При таком разрешении ключевые отличия (форма ушей, текстура шерсти) становятся трудноуловимыми даже для человека, а сеть вынуждена опираться на общие контуры и цветовые пятна. Внутриклассовая вариативность в CIFAR-10 усугубляет проблему: породы собак различаются между собой сильнее, чем некоторые собаки с кошками.

Базовое ограничение кроется в самой архитектуре. Неглубокая сеть просто не способна строить сложные иерархии признаков, необходимые для тонкого различения категорий. Здесь открывается главный путь развития: переход к остаточным архитектурам. ResNet, предложенная Хэ Каймином в 2015 году, решает проблему деградации при увеличении глубины за счет коротких соединений. Эти соединения позволяют градиенту беспрепятственно течь через десятки слоев. На CIFAR-10 вариант ResNet-18 стабильно выдает точность выше 90% без существенного усложнения обучения.

Еще один перспективный вектор, использование предобученных моделей. Сеть, обученная на ImageNet, уже содержит универсальные детекторы краев, текстур и форм. Тонкая настройка такой модели на CIFAR-10 требует малого количества эпох и заметно снижает риск

переобучения, поскольку веса уже хорошо регуляризованы большим объемом данных. Правда, здесь возникает технический нюанс: изображения 32x32 слишком малы для стандартных архитектур, рассчитанных на вход 224x224. Решение лежит либо в интерполяции изображений, либо в замене первых слоев сети.

Ансамблевые методы тоже дают ощутимый прирост. Усреднение предсказаний трех-пяти сетей с разной инициализацией весов обычно снижает ошибку на 1-2 процентных пункта. Такой подход работает за счет компенсации индивидуальных систематических ошибок каждой модели. Недостаток очевиден: стоимость инференса растет пропорционально числу участников ансамбля. Для задач реального времени это критично, но для исследовательских целей вполне приемлемо.

Наконец, автоматический поиск гиперпараметров выглядит логичным продолжением текущей работы. Ручной подбор скорости обучения, коэффициента регуляризации и вероятности dropout, процесс трудоемкий и субъективный. Инструменты вроде Optuna или Hyperband систематически перебирают комбинации параметров, используя байесовскую оптимизацию. Это позволяет за несколько часов найти конфигурацию, которую вручную подбирали бы неделями. Связка из подбора гиперпараметров, остаточных блоков и предобученных весов способна поднять точность до уровня современных бенчмарков, приближаясь к 95%.