Resumen:
Afectada por la continua escasez de suministro de DRAM, la industria de la IA está pasando de una "potencia de cálculo limitada" a una "memoria limitada". Según los informes, Google ha comenzado a desmantelar servidores fuera de servicio, reciclar los módulos de memoria DDR4 que aún se pueden usar y reutilizarlos en algunos servidores de IA recién construidos, estableciendo gradualmente una cadena de suministro de reciclaje de memoria interna.
Nikhil Cherian, director senior de infraestructura de la cadena de suministro de Google, reveló recientemente en un foro cumbre que la memoria de alto rendimiento representa actualmente alrededor del 75% del costo de materiales de un servidor de IA. Para superar el cuello de botella de la memoria, Google está promoviendo soluciones tanto a nivel de software como de hardware, incluido el desmantelamiento de servidores fuera de servicio y el reciclaje de componentes utilizables.
Google incluso ha diseñado adaptadores de hardware especialmente para permitir que generaciones anteriores de soluciones de memoria, como DDR4, se conecten a servidores de IA de nueva generación. Cherian también admitió que Google repatriará específicamente algunos servidores retirados sólo para retirar los módulos de memoria DDR4.
Al mismo tiempo, Google también continúa optimizando la biblioteca de funciones subyacente, la arquitectura del modelo y la tecnología de compresión de caché KV para reducir la capacidad de memoria requerida por unidad de potencia informática.
Google lanzó dos versiones de TPU ASIC este año, de las cuales TPU8t se utiliza principalmente para el entrenamiento de modelos de IA, mientras que TPU8i está optimizado para tareas de inferencia. Para eliminar los cuellos de botella en el rendimiento, TPU8i adopta un diseño de memoria multicapa altamente personalizado.
Cada chip TPU 8i está equipado con una memoria HBM3e de 288 GB, que puede proporcionar un ancho de banda de memoria ultraalto de 8,6 TB por segundo. El chip también integra 384 MB de SRAM en el chip para almacenar un caché de valores clave activo para evitar el acceso frecuente a la memoria externa del sistema.
En la parte del host del servidor, el servidor TPU 8i cancela por completo el procesador principal x86 tradicional y utiliza el procesador Axion personalizado de Google basado en la arquitectura Arm. El procesador Axion se basa en la arquitectura de memoria DDR5 de alta velocidad y es el principal responsable de tareas a nivel de host, como el preprocesamiento de datos.
Sin embargo, según la última declaración de Cherian, Google parece haber utilizado memoria DDR4 más antigua en algunos servidores de IA nuevos para reemplazar los módulos DDR5 que se suponía que debían estar equipados originalmente. La gama de servidores específica y la cantidad de módulos DDR4 involucrados aún no se han revelado.
Comentarios