Resumen:
Groq, una empresa de chips de inferencia de IA adquirida por NVIDIA, planea introducir la tecnología DRAM apilada en 3D en sus productos LPU (Unidad de procesamiento de lenguaje) de próxima generación para reemplazar la solución SRAM actualmente ampliamente utilizada. Este ajuste significa que la empresa se centrará más en aumentar la capacidad de almacenamiento de chips en el futuro para adaptarse a la creciente demanda de modelos de inteligencia artificial a gran escala.
A principios de este año, NVIDIA anunció el producto en rack Groq LPX y lo incluyó en el ecosistema Vera Rubin para mejorar el rendimiento de la inferencia de IA. La estantería entró en plena producción en masa en agosto de este año. Según los primeros resultados de las pruebas, cuando se trabaja junto con el servidor NVL72, el sistema puede alcanzar una velocidad de inferencia de 3400 tokens por segundo, estableciendo un nuevo récord de rendimiento.
La generación actual de Groq LPU está diseñada con 500 MB de SRAM y tiene un ancho de banda de memoria de hasta 150 TB/s. En el bastidor LPX, el sistema está configurado con 256 de estos chips, lo que proporciona un total de 128 GB de capacidad SRAM y 640 TB/s de capacidades de ancho de banda ampliadas. Una sola LPU Groq puede proporcionar aproximadamente 1,20 PFLOP de potencia informática del FP8.
Pero para la próxima generación de productos, Groq se está preparando para tomar una ruta completamente diferente. La compañía planea abandonar su dependencia únicamente de SRAM y, en su lugar, adoptar DRAM y combinarla con la tecnología de empaquetado 3D Stacked (3D apilado) para crear una nueva arquitectura. En comparación con la SRAM, la mayor ventaja de la DRAM es que puede proporcionar una capacidad de almacenamiento mucho mayor que la SRAM, pero a expensas de un ancho de banda y una velocidad de acceso relativamente bajos.
Una fuente de la industria de semiconductores dijo que Groq tiene planes de introducir la tecnología de empaquetado 3D en la próxima generación de chips, y el objeto de apilamiento cambiará de SRAM existente a DRAM. La medida se interpreta ampliamente en la industria como el deseo de Groq de aumentar significativamente la capacidad de almacenamiento de chips. Aunque SRAM es extremadamente rápida, su expansión de capacidad es limitada; en comparación, aunque la DRAM es más lenta, es más adecuada para construir sistemas de almacenamiento a gran escala.
Utilizando la tecnología de apilamiento 3D, Groq puede apilar múltiples capas de DRAM en un solo chip de estructura vertical y utilizar la tecnología TSV (Through Silicon Via) para lograr conexiones entre capas. Este concepto de diseño es muy similar a cómo se implementa la memoria HBM actual de gran ancho de banda. En comparación con el embalaje DRAM tradicional, la solución de apilamiento 3D no sólo puede aumentar significativamente la densidad de almacenamiento por unidad de área, sino también mejorar la eficiencia energética y reducir los requisitos de espacio.
A juzgar por la información revelada hasta ahora, el enfoque de la actualización del producto de Groq obviamente se ha desplazado a la capacidad de almacenamiento, mientras se espera conservar en la medida de lo posible algunas de las ventajas de gran ancho de banda que ofrece su arquitectura SRAM. A medida que la escala de los modelos de IA generativa continúa aumentando, la necesidad de memoria de gran capacidad y alta velocidad continúa creciendo, por lo que se espera que la nueva generación de chips Groq se utilice más ampliamente.
El informe también menciona que es posible que Groq no abandone SRAM por completo en el futuro, pero desarrollará líneas de productos DRAM y SRAM en paralelo para proporcionar soluciones diferenciadas según diferentes escenarios de aplicación. Para NVIDIA, que está construyendo fábricas y plataformas de IA, también se espera que este tipo de chips de inferencia de mayor capacidad desempeñen un papel más importante en el futuro.
Comentarios