Иерархия памяти и кэширование в современных процессорах

Содержание

1. 1. Проблема производительности и роль памяти3
2. 2. Уровни кэш-памяти и их организация6
3. 3. Алгоритмы замещения и оптимизация кэша9
4. 4. Влияние кэша на производительность и перспективы11

1. Проблема производительности и роль памяти

Разрыв между скоростью вычислений и скоростью доступа к данным стал главным барьером на пути роста производительности. Ещё в 1994 году группа исследователей во главе с Уильямом Вульфом и Салимом Маккли из Национального центра суперкомпьютерных приложений США зафиксировала этот феномен, назвав его «стеной памяти». Суть проблемы проста: тактовая частота и вычислительные конвейеры процессоров растут гораздо быстрее, чем скорость работы оперативной памяти. Если в 1980-х годах процессор и память работали примерно с сопоставимой скоростью, то к началу 2000-х разрыв достиг двух порядков. Сегодня типичный процессор выполняет операцию за доли наносекунды, в то время как обращение к оперативной памяти DDR5 занимает порядка 80 наносекунд. Процессор простаивает сотни тактов в ожидании данных.

Это техническое неудобство сказывается практически на всём. Приложения от научных расчётов до обработки видео проводят значительную часть времени не в вычислениях, а в ожидании данных из памяти. Попытка решить проблему простым наращиванием объёма быстрой памяти упирается в физику и экономику. Статическая память SRAM, работающая на скорости ядра, стоит примерно в сотни раз дороже динамической DRAM, используемой в качестве оперативной. Микросхема SRAM ёмкостью 32 мегабайта занимает на кристалле площадь, сопоставимую с самим вычислительным ядром, и потребляет заметно больше энергии. Держать весь объём данных в такой памяти экономически нецелесообразно.

Решение было найдено в построении иерархии памяти: нескольких уровней хранения с разной ёмкостью, скоростью и стоимостью. Идея опирается на принцип локальности, впервые систематически описанный в работах Питера Деннинга в конце 1960-х годов. Деннинг заметил, что программы не обращаются к памяти равномерно. Они работают с небольшим активным набором данных: адреса, к которым программа обращалась недавно,

с высокой вероятностью будут использованы снова в ближайшее время. Это временная локальность. Пространственная локальность дополняет картину: если программа обратилась к ячейке с адресом X, то скорее всего вскоре понадобятся соседние ячейки X+1, X+2 и так далее. Циклы, последовательная обработка массивов, вызовы функций, всё это порождает локальность в доступе.

На принципе локальности строится вся иерархия. Самые быстрые и дорогие уровни, регистры и кэш, имеют малый объём, но хранят данные, к которым процессор обращается чаще всего. Оперативная память медленнее, но значительно больше. Дисковая память или твердотельный накопитель, самый медленный и дешёвый уровень, вмещает терабайты данных. Ключевой момент: если локальность действительно работает, то подавляющее большинство обращений процессора попадает в быстрые уровни. Эмпирическое правило гласит, что 90 процентов времени выполнения программа обращается лишь к 10 процентам своего кода и данных. Именно это распределение делает иерархию эффективной.

Характеристики уровней иерархии находятся в прямом противоречии. Ёмкость, время доступа, стоимость хранения бита и пропускная способность взаимосвязаны. Увеличение объёма памяти неизбежно ведёт к росту задержки доступа: сложнее адресовать большее пространство, сложнее маршрутизировать сигналы на больших физических расстояниях. Быстрая память стоит дороже, потому что требует более совершенной технологии производства. Пропускная способность, то есть скорость передачи данных между уровнями, также ограничена физическими шинами и интерфейсами. Современная DRAM может передавать десятки гигабайт в секунду, но этого всё равно недостаточно для питания нескольких ядер, каждое из которых способно потреблять данные на порядок быстрее.

Цель иерархии формулируется просто: предоставить процессору данные с максимально возможной скоростью, укладываясь в приемлемую стоимость и физический объём. Достигается это не выбором одного

идеального типа памяти, а комбинацией уровней, где каждый следующий уровень компенсирует недостатки предыдущего. Процессор обращается к быстрому, но маленькому кэшу. При промахе, то есть отсутствии нужных данных, запрос уходит на следующий уровень, который больше и медленнее. И так до оперативной памяти и далее, к диску. Если бы все обращения попадали только в оперативную память, производительность системы упала бы в десятки раз. Именно поэтому инженеры на протяжении последних тридцати лет вкладывали основные усилия в организацию иерархии памяти, а не в наращивание тактовой частоты.

2. Уровни кэш-памяти и их организация

Кэш первого уровня устроен не так, как остальные. Он физически разбит на два независимых блока: один хранит инструкции, другой данные. Такое разделение позволяет ядру одновременно подтягивать и следующую команду, и операнд для неё. Для конвейерной обработки это условие обязательное. Задержка доступа к L1 минимальная, обычно 3-5 тактов, потому что этот кэш работает на частоте самого ядра. Объём у него скромный, от 32 до 64 килобайт на каждый блок. Главная задача L1, мгновенно выдать данные, а не хранить их много. Размер линии здесь стандартный, 64 байта. Это оптимальное соотношение между скоростью передачи и объёмом служебных тегов.

Второй уровень кэша унифицирован: и команды, и данные лежат в одном массиве. Его объём варьируется от 256 килобайт до 2 мегабайт на ядро, а задержка доступа составляет 10-15 тактов. По сути, L2 работает буфером между быстрым, но маленьким L1 и сравнительно медленным L3. Если в L1 случился промах, запрос уходит именно в L2. Там нужный блок почти наверняка найдётся, благодаря принципу пространственной локальности. Любопытная деталь: в процессорах Intel Core, начиная с Sandy Bridge, L2 жёстко привязан к конкретному ядру. А вот в некоторых серверных решениях AMD он может быть частично общим для пары ядер.

Третий уровень кэша принципиально другой: он общий для всех вычислительных ядер. Его объём достигает 16-32 мегабайт в потребительских процессорах, а в серверных моделях доходит до 64 мегабайт. Задержка доступа к L3 составляет 30-50 тактов. Это заметно больше, чем у L2, но всё равно в несколько раз быстрее обращения к оперативной памяти. Смысл L3 в том, чтобы снизить трафик к контроллеру памяти. Когда два ядра работают с одними и теми же данными, они находят их в общем кэше и не отправляют запрос в DRAM. В процессорах AMD с чиплетной компоновкой L3 разделён на сегменты по 16 мегабайт,

каждый привязан к своему чиплету. Получается такой распределённый общий кэш.

Ассоциативность кэша определяет, сколько конкретных позиций в нём может занимать один блок памяти. Самое простое решение, прямое отображение: каждый блок имеет строго фиксированное место. Оно даёт минимальную задержку поиска, но страдает от конфликтов: два часто используемых адреса могут постоянно вытеснять друг друга. Полностью ассоциативный кэш позволяет блоку располагаться где угодно. Конфликты устраняются, но приходится сравнивать адрес со всеми тегами одновременно, а это дорого в реализации. Практическое решение лежит посередине: частично-ассоциативный кэш, разбитый на наборы. Каждый набор содержит от 2 до 16 линий, и блок может занять любую из них. Современные процессоры используют 8-16-канальную ассоциативность для L2 и L3, а L1 часто имеет 8 каналов. Увеличение ассоциативности с 2 до 8 каналов снижает количество конфликтных промахов примерно на 30 процентов. Дальнейший рост даёт уже всё меньший выигрыш.

Политика записи определяет, как процессор обрабатывает операции записи в кэш. При стратегии write-through данные немедленно уходят и в кэш, и в оперативную память. Это гарантирует абсолютную согласованность и упрощает аппаратную реализацию. Но каждый цикл записи упирается в медленную DRAM, что резко бьёт по производительности. Стратегия write-back откладывает запись в память до момента вытеснения линии из кэша. Данные сначала попадают только в кэш, а флаг «грязной» линии фиксирует факт изменения. При вытеснении линия записывается в память целиком, что позволяет группировать множество отдельных записей в одну широкую операцию. Почти все современные процессоры используют write-back для L2 и L3. Для L1 применяют комбинированный подход: кэш инструкций работает без записи, а кэш данных использует write-back с буфером отложенной записи. Побочный эффект write-back, необходимость поддерживать когерентность между уровнями. Это решается протоколами

типа MESI на аппаратном уровне.

3. Алгоритмы замещения и оптимизация кэша

Когда кэш заполнен, встаёт вопрос: какую линию принести, а какую вытеснить? От ответа зависит, сколько будущих обращений окажутся промахами. Простейший вариант, случайный выбор: он дёшев, но не учитывает историю обращений. На практике чаще используют LRU (Least Recently Used), который вытесняет строку, к которой дольше всего не обращались. Этот алгоритм хорошо работает, когда программа последовательно проходит по данным, но для циклических обходов больших массивов он почти бесполезен: каждая новая итерация вытесняет строку, которая понадобится следующей. Альтернатива, LFU (Least Frequently Used), считающий частоту обращений к каждой линии. Он полезен для устойчиво горячих данных, но чувствителен к всплескам: однажды загруженная строка может «зависнуть» в кэше, даже если больше не нужна. В реальных процессорах применяют приближения LRU, например pseudo-LRU с битовыми векторами, потому что точный LRU требует слишком много аппаратных ресурсов.

Промахи кэша неоднородны. Обязательные возникают при первом обращении к данным, которые ещё ни разу не были в кэше, их не устранить никаким алгоритмом замещения. Ёмкостные появляются, когда рабочее множество программы превышает размер кэша, тут помогает только увеличение кэша или изменение структуры данных. Конфликтные промахи происходят из-за ограниченной ассоциативности: несколько адресов отображаются в один набор, и строки вытесняют друг друга, хотя свободное место в кэше ещё есть. Эта классификация из работы Марка Хилла и Алана Смита 1989 года стала стандартным инструментом анализа: она подсказывает, какой метод оптимизации применить.

Аппаратные методы борются с промахами, не дожидаясь, пока программа запросит данные. Предвыборка (prefetching) анализирует паттерны обращений и заранее подгружает строки, которые с высокой вероятностью понадобятся. В

современных процессорах, например в Intel Core и AMD Zen, работают несколько предикторов: один отслеживает последовательные обращения, другой, шаблоны с постоянным шагом, третий, повторяющиеся последовательности адресов. Эффективность предвыборки ограничена: слишком агрессивная загрузка засоряет кэш и увеличивает трафик к памяти. Аппаратное предсказание ветвлений решает смежную задачу. Оно не загружает данные напрямую, но позволяет процессору спекулятивно выполнять инструкции и подтягивать данные по предсказанному пути, сокращая задержки при условных переходах.

Программные методы дают разработчику прямой контроль над локальностью. Оптимизация циклов, самый распространённый приём. Если массив обрабатывается по строкам, но хранится по столбцам, каждая итерация вытесняет целую кэш-линию; перестановка циклов или использование блочной обработки (tiling) уменьшают число конфликтных и ёмкостных промахов. Классический пример, умножение матриц: наивная реализация делает O(n³) обращений к памяти, а блочная версия с размером блока, кратным размеру кэш-линии, сокращает промахи на порядок. Явные инструкции предвыборки, такие как prefetcht0 в наборе SSE или prfm в ARM, позволяют программисту подсказать процессору, какие данные нужны через несколько итераций. Это особенно полезно для связанных структур данных, где аппаратный предиктор не видит регулярного паттерна.

Выбор стратегии всегда зависит от характера нагрузки. Для потоковой обработки больших массивов случайное замещение работает не хуже LRU, а для баз данных с повторяющимися запросами LFU оправдывает свою сложность. Аппаратная предвыборка эффективна для регулярных структур, но бессильна перед разреженными графами, где программная настройка циклов и явные подсказки дают ощутимый выигрыш. Ключевой принцип, сформулированный ещё в работе Хилла и Смита, остаётся в силе: сначала определи тип промахов, потом выбирай инструмент.

4. Влияние кэша на производительность и перспективы

Кэш-память существует не сама по себе, а ради конкретной метрики: среднего времени доступа к данным. Этот показатель вычисляется через коэффициент попаданий (hit rate) и время доступа при промахе. Если кэш L1 отвечает за 4 цикла, а оперативная память за 200, то даже при попадании в 90% случаев среднее время доступа составит 0,9 × 4 + 0,1 × 200 = 23,6 цикла. Поднимите коэффициент до 99%, и среднее время упадёт до 5,96 цикла. Разница в четыре раза. Это не абстракция, а реальная разница между комфортной работой системы и ощутимыми тормозами. Поэтому инженеры одержимы борьбой за каждый процент попаданий.

В многозадачной среде всё усложняется. Кэш перестаёт быть личным пространством одного потока, он становится общим ресурсом, за который конкурируют десятки процессов. Представьте: два приложения активно работают с разными массивами данных, и каждое вытесняет чужие кэш-линии. Коэффициент попаданий проседает, производительность становится непредсказуемой. Хуже того, в виртуализированных средах несколько виртуальных машин делят физический кэш, и одна «прожорливая» гостевая система может вытеснить данные всех остальных. Это явление получило название «шумный сосед» (noisy neighbor), и оно давно стало головной болью для администраторов облачных платформ.

Индустрия отвечает на это аппаратными механизмами управления. В 2016 году Intel представила технологию Cache Allocation Technology (CAT), которая позволяет администратору жёстко закрепить за конкретным приложением или виртуальной машиной определённую долю кэша последнего уровня. Вместо того чтобы полагаться на честную конкуренцию, система сама решает, кому сколько положено. Это стабилизирует производительность критичных сервисов и защищает их от деградации из-за активности соседей. Аналогичные решения развивает и ARM в архитектуре DynamIQ, так что тенденция явно стала отраслевой.

Если смотреть в будущее, главная цель остаётся прежней: сократить разрыв между скоростью процессора и памятью. Одно из перспективных направлений, использование энергонезависимой памяти со случайным доступом на основе магниторезистивных элементов (MRAM). В отличие от SRAM, из которой сейчас делают кэш, MRAM не теряет данные при отключении питания, а по скорости приближается к традиционным статическим ячейкам. В 2020 году компания Everspin объявила о поставках 28-нанометровых чипов MRAM для встраиваемых систем, и хотя до массового внедрения в процессоры ещё далеко, потенциал очевиден.

Второе направление, трёхмерная компоновка. Идея проста: вместо того чтобы тащить данные через длинные медные дорожки на материнской плате, можно разместить кристалл памяти прямо поверх вычислительного кристалла, соединив их вертикальными межслойными переходами (TSV). Компания AMD уже использует подобный подход в процессорах серии EPYC Milan-X, где 3D-стекирование кэша L3 позволило увеличить его объём с 32 до 96 мегабайт без увеличения площади чипа. Сокращение физического расстояния между ядром и кэшем уменьшает задержки и энергопотребление.

Развитие иерархии памяти на этом не остановится. Продолжающееся масштабирование транзисторов упирается в физические пределы, поэтому выигрыш всё чаще ищут не в ускорении отдельного уровня, а в умной организации данных между уровнями. Кэш перестаёт быть просто буфером, он становится инструментом планирования ресурсов, которым можно управлять программно. И чем плотнее память интегрируется с вычислительными блоками, тем меньше остаётся от печально известной «стены памяти», впервые описанной Вульфом и Маккли три десятилетия назад.