Samsung разрабатывает «трёхэтапную HBM-дорожную карту»: на пути к настоящему 3D ZHBM, где DRAM напрямую укладывается на вычислительный чип

В последние дни на технологической конференции Hot Chips команда по разработке DRAM компании Samsung под руководством Сангука Хана выступила с докладом, официально представив трехэтапную дорожную карту развития HBM от Samsung. Финальной точкой этого пути станет совершенно новая архитектура с названием zHBM — при которой DRAM напрямую вертикально накладывается на вычислительные чипы, такие как GPU или TPU, полностью устраняя 2.5D промежуточный слой (interposer).

Согласно отчету wccftech от 23 августа, Samsung заявляет, что по сравнению со стандартом HBM4E, решение zHBM обещает на 70% снизить энергопотребление, на 230% повысить пропускную способность DRAM и сэкономить по 100 Вт на каждый модуль DRAM, одновременно освобождая для GPU дополнительно 8,3% мощности.

Что такое HBM и где его узкое место

HBM, или память высокой пропускной способности, — один из ключевых компонентов хранения, используемых сегодня в системах обучения и вывода AI. Она состоит из двух типов чипов:

• C-die (ядро-чип): содержит DRAM-ячейки, может быть вертикально скомпонован до 16 слоёв

• B-die (базовый чип/Base Die): находится внизу всей структуры стека, отвечает за обработку различных функций управления DRAM и через PHY (физический интерфейс) соединяется с вычислительными чипами, такими как GPU

Эти чипы соединяются между собой с помощью TSV (Through-Silicon Via, сквозные кремниевые отверстия), что представляет собой вертикальный электропроводящий канал, проходящий через микросхему.

По данным Wccftech, текущая пропускная способность одного стека HBM4 превышает 3 ТБ/с, HBM4E приближается к диапазону 4 ТБ/с, а HBM5 удваивает параметры HBM4, достигая объёма выше 60 ГБ.

Однако дальнейшее увеличение пропускной способности сталкивается с двумя жёсткими ограничениями: физическим пределом количества и расстояния между TSV, а также лимитом количества и скорости I/O интерфейсов PHY внутри Base Die. При этом разрыв в технологическом процессе между B-die и вычислительным чипом (xPU SoC) с каждым поколением становится всё меньше. Это и вызов, и отправная точка для дорожной карты Samsung.

Этап первый: освободить место для вычислительных чипов

Главная задача первого этапа дорожной карты Samsung — “отвоевать” площадь кремния у xPU (вычислительных чипов).

Samsung уже применила 1c- и 4нм-логические техпроцессы к Base Die (B-die) для HBM4, в первую очередь для снижения энергопотребления и сокращения занимаемой площади. Это стало настоящим началом интеграции DRAM и передовых логических техпроцессов.

Основные меры включают:

• Замена традиционного HBM PHY на D2D-интерфейс, что сокращает длину канала и прямо улучшает энергоэффективность, высвобождая при этом ценную площадь кристалла для XPU

• Вынесение контроллера памяти с XPU на B-die чипа cHBM, что сможет высвободить для XPU 5–10% площади, а также даст прирост производительности на 10–20%

• Введение тонкозернистой схемы ремонта на основе SRAM (Near-MC SRAM-Based Cell Repair), позволяющей использовать неиспользуемое пространство на B-die для размещения ресурсов ремонта на основе SRAM

Побочным эффектом уменьшения площади стал вопрос температурных пиков. Для этого Samsung внедрила технологию Heat Path Block (HPB), построенную на базе cHBM4, которая способна снизить пиковую температуру более чем на 35%, охватив 50% зоны PHY.

Второй этап: B-die начинает “обрастать” вычислительными возможностями

На втором этапе акцент смещается с “освобождения пространства” на “добавление функциональности”, и Samsung определяет это как стадию расширения функционала.

Расширение объема памяти. По мере резкого роста контекстных окон (context window) в крупных AI-моделях, потребности в KV cache (Key-Value Cache — область памяти для хранения промежуточных состояний при выводе модели) растут экспоненциально. Samsung планирует интегрировать на неиспользуемой площади Base Die контроллеры расширения памяти и PHY, чтобы путем подключения LPDDR или HBM повысить общую доступную ёмкость системы.

Интеграция вычислительных ядер (PE). Также Samsung намерена интегрировать на Base Die часть вычислительных элементов (Processing Elements), что позволит часть вычислений, изначально возлагавшихся на xPU, перенести на память и тем самым снизить требования к D2D-пропускной способности, уменьшить энергопотребление и снизить тепловую нагрузку. Эта концепция называется AHBM (Advanced HBM – продвинутая высокоскоростная память).

Усиление надежности и тестирования. На втором этапе планируется внедрить на Base Die продвинутые RAS-сенсоры (Reliability, Availability, Serviceability — надёжность, доступность и обслуживаемость) с функциями телеметрии в реальном времени, а также встроенное самотестирование (ATIP), что повысит выход и охват тестирования.

Третий этап: zHBM – уничтожение промежуточного слоя, DRAM размещается непосредственно на вычислительном чипе

Третий этап — это финальная форма всей дорожной карты: zHBM.

На сегодняшний день в большинстве AI-систем применяется архитектура 2.5D-упаковки: GPU и HBM размещаются бок о бок на одном interposer, а данные передаются по горизонтальным соединениям. Концепция zHBM заключается в том, чтобы “поставить это вертикально” — штабелировать DRAM прямо на чип xPU, формируя полноценную 3D вертикальную интеграцию.

Ключевые особенности zHBM, описанные Samsung:

• Распределенный I/O: минимизация расстояния передачи данных внутри стека HBM

• 3D-архитектура: устранение традиционного 2D-интерфейса для резкого роста эффективности системы

• Целевое энергопотребление I/O – около 0,5 пДж/бит: за счет устранения лишних модулей, таких как SerDes

• Прирост пропускной способности более чем в 2,3 раза, тепловой запас системы — 100 Вт

В демонстрационных материалах Samsung четырёхстековый zHBM размещался на одном XPU.

Для достижения этих целей в Samsung разрабатывают две ключевые упаковочные технологии: WoW (Wafer on Wafer) и HCB (Hybrid Cube Bonding), чтобы реализовать сверхвысокую плотность I/O, и в итоге создать единую систему проектирования SoC-DRAM.

Ключевая логика дорожной карты

Основной посыл доклада Samsung — это переопределение роли Base Die в HBM: от “пассивного транспортного узла данных” к “интеллектуальному компаньону с активными вычислительными возможностями”.

Три этапа эволюции логичны: сначала за счет технологического прогресса сжать площадь и высвободить пространство для xPU (первый этап); затем — используя это пространство, добавить больше функций, расширить емкость и вычислительные возможности (второй этап); и, наконец, с помощью вертикальной 3D-интеграции полностью перестроить архитектуру системы, одновременно совершая прорывы по энергопотреблению, пропускной способности и тепловому балансу (третий этап).

В резюме Samsung заявляет: “Овладев передовыми упаковочными технологиями и единой системой совместного проектирования SoC-DRAM, мы преодолеем ограничения по энергопотреблению, площади и ёмкости в системах AI, прокладывая путь к более эффективным, производительным и масштабируемым решениям на ближайшие годы.”