Samsung crea una "hoja de ruta de HBM en tres etapas": hacia el verdadero 3D ZHBM, apilando DRAM directamente sobre los chips de cómputo

Recientemente, en la conferencia tecnológica Hot Chips, Sangwook Han, del equipo de diseño de DRAM de Samsung, ofreció una presentación en la que reveló oficialmente la hoja de ruta de tres etapas para la evolución de HBM de Samsung. El punto final de esta hoja de ruta es una arquitectura completamente nueva llamada zHBM: apilar DRAM directamente y de manera vertical sobre chips de cómputo como GPU y TPU, eliminando completamente la capa intermedia 2.5D (interposer).

Según informó wccftech el 23 de agosto, Samsung declaró que, en comparación con el HBM4E estándar, la solución zHBM promete reducir el consumo energético en un 70%, aumentar el ancho de banda de la DRAM en un 230% y ahorrar 100W de consumo por cada módulo de DRAM, al mismo tiempo que libera un 8,3% adicional de capacidad energética para la GPU.

¿Qué es HBM y dónde están los cuellos de botella?

HBM, o memoria de alto ancho de banda, es actualmente uno de los componentes de almacenamiento más críticos en sistemas de entrenamiento e inferencia de IA. Está formada por dos tipos de chips:

• C-die (chip central): contiene las celdas de almacenamiento DRAM, puede apilarse verticalmente hasta 16 capas

• B-die (chip base/Base Die): ubicado en la base de toda la estructura apilada, se encarga del control de las funciones de la DRAM y comunica con chips de cómputo como la GPU a través de PHY (capa de interfaz física)

Ambos están conectados a través de TSV (Through-Silicon Via, vía a través de silicio), un canal conductor vertical que atraviesa el chip.

Según wccftech, la actual HBM4 ya supera los 3TB/s de ancho de banda por stack, HBM4E avanza hacia el entorno de los 4TB/s y HBM5 duplica el ancho de banda de HBM4, superando los 60GB de capacidad.

Sin embargo, la expansión continua del ancho de banda enfrenta dos límites técnicos clave: el límite físico en la cantidad y el espacio de los TSV y el número y la velocidad máxima de las interfaces I/O PHY dentro del Base Die. Al mismo tiempo, la brecha generacional de proceso entre el B-die y el chip de cómputo (xPU SoC) se está reduciendo generación tras generación, lo cual representa tanto un desafío como una oportunidad para la hoja de ruta de Samsung.

Primera etapa: "hacerle lugar" al chip de cómputo

La primera etapa de la hoja de ruta de Samsung tiene como objetivo principal recuperar espacio de silicio del xPU (chip de cómputo).

Samsung ya ha aplicado el proceso lógico D1c y 4nm a la Base Die (B-die) de HBM4, con el objetivo principal de reducir el consumo energético y achicar el área efectiva. Este es el punto de partida para la verdadera integración de la DRAM con procesos lógicos avanzados.

Las medidas específicas incluyen:

• Reemplazar la PHY tradicional de HBM por una interfaz D2D, acortar la longitud del canal y mejorar directamente la eficiencia energética, mientras libera valioso espacio en el wafer del XPU

• Descargar el controlador de memoria del XPU hacia el B-die de la cHBM, lo que permitiría liberar entre un 5% y un 10% del área del XPU, con una mejora del rendimiento que oscilaría entre el 10% y el 20%

• Introducir una solución de reparación fina basada en SRAM (Near-MC SRAM-Based Cell Repair), utilizando el espacio libre del B-die para incorporar recursos de reparación con SRAM

La reducción de área trae como efecto secundario el problema de los puntos calientes (hotspot). Para esto, Samsung ya lanzó la tecnología Heat Path Block (HPB), que se basa en la solución cHBM4 y puede reducir la temperatura máxima en más de un 35%, cubriendo el 50% del área de la PHY.

Segunda etapa: el B-die comienza a "ganar" capacidad de cómputo

El enfoque de la segunda etapa pasa de "hacer espacio" a "agregar funcionalidades", y Samsung la define como una fase de expansión funcional.

Expandir la capacidad de memoria. A medida que las ventanas de contexto (context window) de los modelos grandes de IA crecen drásticamente, la demanda de KV cache (Key-Value Cache, región de memoria utilizada para almacenar estados intermedios durante la inferencia de modelos) crece exponencialmente. Samsung planea integrar un controlador de expansión de memoria y PHY en el espacio libre de silicio del Base Die, ampliando la memoria del sistema mediante soluciones adicionales como LPDDR o HBM.

Integración de unidades de procesamiento (PE). Samsung también propone integrar algunas unidades de procesamiento (Processing Elements) en el Base Die, descargando algunos de los cálculos originalmente a cargo del xPU hacia el lado de la memoria, lo que reduce la demanda de ancho de banda D2D, y minimiza el consumo energético y la carga térmica. Esta forma es denominada AHBM (Advanced HBM, memoria de alto ancho de banda avanzada).

Refuerzo de la confiabilidad y la capacidad de pruebas. La segunda etapa también contempla la integración de sensores RAS avanzados (Reliability, Availability, Serviceability – Confiabilidad, Disponibilidad y Mantenibilidad) y capacidades de telemetría en tiempo real en el Base Die, así como capacidades de autoprueba en chip (ATIP), mejorando el rendimiento y la cobertura de pruebas.

Tercera etapa: zHBM—eliminar la capa intermedia, DRAM directamente sobre el chip de cómputo

La tercera etapa es la forma final de toda la hoja de ruta: zHBM.

Actualmente, los sistemas de IA de alto nivel adoptan una arquitectura de encapsulado 2.5D, colocando la GPU y el HBM uno al lado del otro sobre la misma capa intermedia (interposer), transfiriendo datos a través de interconexiones laterales. La propuesta de zHBM es "poner esto de pie": apilar la DRAM directamente sobre el chip xPU, formando una integración verdaderamente 3D y vertical.

Las características clave del zHBM descritas por Samsung incluyen:

• I/O distribuido: minimización de la distancia de transmisión de datos dentro del stack HBM

• Estructura 3D: eliminación de interfaces 2D tradicionales, aumentando significativamente la eficiencia del sistema

• Objetivo de consumo de I/O de ~0.5 pJ/bit: alcanzado eliminando módulos redundantes como SerDes

• Aumento del ancho de banda de más de 2.3 veces, margen térmico del sistema hasta 100W

La solución presentada por Samsung implica apilar cuatro stacks de zHBM sobre un solo XPU.

Para alcanzar estos objetivos, Samsung está desarrollando dos tecnologías de encapsulado clave: WoW (Wafer on Wafer) y HCB (Hybrid Cube Bonding), para lograr una súper alta densidad de I/O y finalmente construir un sistema de diseño colaborativo unificado SoC-DRAM.

La lógica central detrás de la hoja de ruta

El núcleo de la narrativa en la presentación de Samsung es reposicionar el Base Die de HBM de ser un “pasivo intermediario de datos” a ser un “socio inteligente con capacidad de cómputo activa”.

La evolución en tres etapas es clara: primero achicar el área vía mejora de proceso y liberar espacio en el xPU (primera etapa); luego usar ese espacio liberado para integrar más funcionalidades, capacidad y poder de cómputo (segunda etapa); y finalmente, a través de la integración vertical 3D, reconstruir completamente la arquitectura del sistema y avanzar coordinadamente en consumo energético, ancho de banda y gestión térmica (tercera etapa).

Samsung concluyó la presentación diciendo: "Dominando el encapsulado avanzado y el diseño colaborativo unificado de SoC y DRAM, superaremos los cuellos de botella de consumo, área y capacidad que restringen los sistemas de IA, allanando el camino para mayor eficiencia, rendimiento y escalabilidad en los próximos años".