Samsung визначила «трикрокову дорожню карту HBM»: досягнення справжнього 3D ZHBM із прямим стекуванням DRAM на обчислювальному чипі

Нещодавно на технічній конференції Hot Chips команда дизайнерів DRAM компанії Samsung на чолі із Sangwook Han виступила із доповіддю, офіційно представивши трьохетапну дорожню карту еволюції HBM від Samsung. Фінальною точкою цієї дорожньої карти є нова архітектура під назвою zHBM — коли DRAM напряму вертикально накладається поверх GPU, TPU та інших обчислювальних чипів, повністю виключаючи 2,5D проміжний шар (interposer).

За даними wccftech від 23 серпня, представники Samsung заявляють, що порівняно зі стандартною HBM4E, zHBM дозволяє досягти 70% зниження енергоспоживання, 230% збільшення пропускної здатності DRAM, а також економію 100W на кожному DRAM модулі й додатково звільнити для GPU 8,3% енергії.

Що таке HBM і де її вузькі місця

HBM, тобто високопропускна пам’ять, сьогодні є одним із ключових компонентів для систем навчання та інференсу штучного інтелекту. Вона складається із двох типів чипів:

• C-die (ядро чипа): містить DRAM осередки пам’яті, може вертикально накопичуватися максимум у 16 шарів

• B-die (базовий чип/Base Die): розташовується унизу всієї стекової структури, відповідає за обробку контролю DRAM та здійснює зв’язок із GPU та іншими обчислювальними чипами через PHY (фізичний інтерфейсний шар)

Зв’язок між ними здійснюється через TSV (Through-Silicon Via, наскрізні кремнієві канали) — вертикальні провідні шляхи крізь чип.

За даними Wccftech, сучасна HBM4 має понад 3 ТБ/с пропускної здатності на стек, HBM4E підвищує цей показник до понад 4 ТБ/с, а HBM5 подвоює пропускну здатність HBM4 і має понад 60 ГБ обсягу.

Втім, постійне збільшення пропускної здатності стикається із двома фундаментальними обмеженнями: фізичний ліміт кількості й відстані TSV та максимальна кількість і швидкість I/O PHY інтерфейсу базового чипа. Крім того, різниця у технологічних процесах між B-die і обчислювальним чипом (xPU SoC) з кожним поколінням зменшується, що створює виклики й одночасно слугує точкою входу для дорожньої карти Samsung.

Перший етап: "Звільнення простору" для обчислювального чипа

Головна мета першого етапу дорожньої карти Samsung — "відвоювати" площу кремнію у xPU (обчислювального чипа).

Samsung вже застосувала технології D1c та 4nm логіки для базового чипа (B-die) HBM4 з метою зниження енергоспоживання й зменшення реальної площі. Це справжній старт інтеграції DRAM та передових логічних технологій.

Конкретні кроки включають:

• Заміна стандартного HBM PHY на D2D інтерфейс, що скорочує довжину каналу й відразу покращує енергоефективність, а також звільняє цінний простір для XPU

• Вивантаження контролера пам’яті із XPU на B-die cHBM, що дозволить звільнити 5–10% площі кремнію XPU й підвищити продуктивність на 10–20%

• Впровадження SRAM-орієнтованої тонкої ремонтувальної схеми (Near-MC SRAM-Based Cell Repair), за допомогою SRAM у вільній площі B-die

Зменшення площі також створює точкові перегріви. Для цього Samsung уже розробила технологію Heat Path Block (HPB), що базується на cHBM4 і дозволяє знизити пікову температуру більш ніж на 35% у 50% області PHY.

Другий етап: базовий чип набуває обчислювальних можливостей

На другому етапі увага переміщується із "простору" на "функціонал", що Samsung називає етапом розширення можливостей.

Розширення обсягу пам’яті. У міру того, як контекстне вікно великих моделей AI швидко розширюється, потреби в KV кеші (Key-Value Cache — область пам’яті для проміжних станів під час інференсу) зростають експоненційно. Samsung планує інтегрувати контролер розширення пам’яті й PHY у вільну кремнієву площу Base Die, під’єднувати зовнішню LPDDR або HBM для збільшення доступного обсягу пам’яті системи.

Інтеграція обчислювальних блоків (PE). Також Samsung пропонує інтегрувати деякі блоки обробки (Processing Elements) прямо на Base Die, завдяки чому частину обчислень можна переносити на сторону пам’яті, зменшувати потребу у D2D пропускній здатності і скорочувати енергоспоживання та тепловий навантаження. Такий формат називається AHBM (Advanced HBM, покращена високопропускна пам’ять).

Посилення надійності й тестування. Етап передбачає додавання на Base Die сучасних сенсорів RAS (Reliability, Availability, Serviceability — надійність, доступність й сервісність) й функцій онлайн моніторингу, а також функціі самотестування (ATIP) для підвищення врожайності та охоплення тестування.

Третій етап: zHBM — ліквідація проміжного шару, DRAM напряму над обчислювальним чипом

Третій етап — це кінцева форма дорожньої карти: zHBM.

Сьогодні популярні AI системи використовують 2,5D архітектуру пакування: GPU та HBM розміщуються поруч на одному проміжному шарі (interposer), передача даних здійснюється горизонтально. Ідея zHBM — "підняти" цю структуру вертикально: DRAM стек накладається прямо на чип xPU, створюючи справжню 3D вертикальну інтеграцію.

Samsung визначає ключові особливості zHBM:

• Розподілений I/O: мінімізація відстані передачі даних усередині HBM стеку

• 3D структура: ліквідація традиційних 2D інтерфейсів, суттєве підвищення системної ефективності

• Цільове споживання I/O близько 0,5 пДж/біт: досягається завдяки вилученню SerDes та інших зайвих модулів

• Підвищення пропускної здатності більш ніж у 2,3 рази, тепловий запас системи — до 100W

Samsung демонструє концепцію чотиристекового zHBM, накладеного на один чип XPU.

Для досягнення цих цілей Samsung розробляє дві ключові технології пакування: WoW (Wafer on Wafer) і HCB (Hybrid Cube Bonding), щоб реалізувати надвисоку I/O щільність та в перспективі побудувати єдину систему спільного проектування SoC-DRAM.

Ключова логіка дорожньої карти

Ключова ідея презентації Samsung — перетворити Base Die HBM з "пасивного транзитного пункту даних" на "розумного партнера з активними обчислювальними можливостями".

Три етапи логічно пов’язані: спочатку технологічне оновлення для зменшення площі й звільнення простору xPU (перший етап); потім інтеграція нових функцій, розширення обсягу й обчислювальних можливостей (другий етап); на завершенні — повне вертикальне 3D інтегрування для реконструкції архітектури системи та одночасного прориву у сферах енергоспоживання, пропускної здатності й теплового менеджменту (третій етап).

У підсумку презентації Samsung зазначила: "Завдяки оволодінню передовими технологіями пакування та єдиною системою спільного проектування SoC-DRAM, ми подолаємо вузькі місця енергоспоживання, площі й обсягу у AI системах, прокладаючи шлях до ефективності, продуктивності й гнучкості у найближчі роки."