Resumen:
NVIDIA ha ajustado algunas especificaciones de hardware de la plataforma informática de inteligencia artificial Vera Rubin de próxima generación, incluido el ancho de banda de memoria de alto ancho de banda HBM4 y el ancho de banda de interconexión de alta velocidad NVLink. En comparación con los indicadores previamente anunciados o difundidos, las nuevas especificaciones han disminuido, pero la expansión horizontal del ancho de banda de la red ha aumentado. Este cambio puede significar que Nvidia esté reequilibrando el rendimiento del chip, las capacidades de suministro y los costos del sistema en función de la producción en masa real.
De acuerdo con las especificaciones de la plataforma Vera Rubin anunciadas actualmente por NVIDIA, la GPU Rubin está equipada con una memoria HBM4 de 288 GB y un ancho de banda de memoria de 19,2 TB/s. Anteriormente, los datos técnicos de NVIDIA daban un ancho de banda de memoria máximo de 22 TB/s. En comparación con los dos, el valor anunciado actualmente es aproximadamente un 12,7% menor. Es importante tener en cuenta que Nvidia utilizó anteriormente una métrica de "máximo alcanzable", por lo que esto refleja cambios en los números de especificaciones y no significa necesariamente que todos los productos hayan experimentado una caída igual en el rendimiento real.
HBM4 es una nueva generación de tecnología de memoria de gran ancho de banda que utiliza una interfaz de memoria más amplia para proporcionar mayores capacidades de rendimiento de datos para el entrenamiento y la inferencia de modelos de inteligencia artificial. A medida que el tamaño del modelo continúa expandiéndose, la GPU no solo requiere una mayor potencia informática, sino que también debe obtener continuamente una gran cantidad de parámetros del modelo y datos intermedios. Si el ancho de banda de la memoria es insuficiente, incluso si la unidad informática tiene una alta potencia informática teórica, es posible que no pueda ejercer plenamente su rendimiento debido a la espera de datos.
El alto ancho de banda de memoria que anteriormente buscaba la plataforma Rubin también ha traído mayores requisitos técnicos a la cadena de suministro de HBM4. Los fabricantes de memorias de video deben cumplir con los requisitos de consumo de energía, disipación térmica, integridad de la señal y confiabilidad a largo plazo a velocidades de transferencia de datos más altas. Cuanto mayor sea la especificación del ancho de banda, mayores serán los desafíos que normalmente enfrentan los procesos de verificación del diseño y producción en volumen.
Si NVIDIA reduce sus requisitos de ancho de banda de memoria, la gama de chips HBM4 que cumplen con los estándares del producto puede ampliarse y los proveedores también tendrán la oportunidad de aumentar la proporción de producción de productos calificados. Esto no significa que los fabricantes de memorias de video deban rediseñar todo el conjunto de productos, pero puede permitir que algunos productos que no pueden alcanzar los objetivos de rendimiento más altos anteriores pero aún cumplen con nuevos requisitos ingresen al sistema de suministro, mejorando así las capacidades generales de suministro.
Además del ancho de banda de la memoria, Nvidia también ha ajustado la especificación de interconexión NVLink del superchip Vera Rubin. Según la información actual del producto, el ancho de banda NVLink del superchip Vera Rubin se ha ajustado de los 7,2 TB/s anteriores a 6 TB/s, una disminución de aproximadamente el 16,7 %. NVLink es la tecnología de interconexión de NVIDIA para la comunicación de alta velocidad entre GPU. Desempeña un papel importante en el intercambio de datos, el entrenamiento paralelo de modelos y tareas complejas de inferencia de inteligencia artificial en sistemas multi-GPU.
En grandes grupos de inteligencia artificial, los gradientes, los valores de activación y otros datos intermedios deben intercambiarse con frecuencia entre las GPU. La comunicación entre diferentes unidades informáticas es especialmente importante para modelos grandes con arquitecturas híbridas expertas. Por lo tanto, reducir el indicador de ancho de banda de NVLink puede afectar el rendimiento de algunas tareas de comunicación intensiva, pero el impacto final aún depende de la arquitectura del modelo, el método de programación del software y la carga real. La pérdida total de potencia informática no se puede calcular simplemente basándose en la relación de reducción del ancho de banda.
Al mismo tiempo, Nvidia ha aumentado las métricas de ancho de banda para algunas redes escalables. Los datos existentes muestran que el ancho de banda de la red de expansión horizontal del superchip Vera Rubin ha aumentado de los 0,8 TB/s anteriores a 0,9 TB/s. Este tipo de red se utiliza principalmente para conectar diferentes nodos informáticos, lo que permite a los centros de datos organizar una gran cantidad de GPU en un clúster informático unificado. Aumentar el ancho de banda de la red puede ayudar a mejorar las capacidades de transferencia de datos entre nodos, especialmente cuando las tareas informáticas deben completarse de forma colaborativa entre servidores.
Este ajuste de uno hacia abajo y uno hacia arriba refleja la relación de compensación en el diseño de plataformas informáticas de inteligencia artificial: las capacidades de comunicación dentro de la GPU y dentro del gabinete son importantes, pero a medida que la escala del clúster se expande, la comunicación entre nodos también puede convertirse en un factor que limite el rendimiento general. Es posible que Nvidia esté reasignando el presupuesto de rendimiento en los diseños de sistemas en función de las necesidades reales de las aplicaciones.
Sin embargo, el cambio de especificación en sí no prueba que Nvidia haya confirmado que hay escasez de memoria de video, ni puede por sí solo demostrar que reducir el indicador significa aumentar la producción. Las explicaciones relevantes aún deben juzgarse en función del progreso de la producción en masa del proveedor, el estado de certificación del producto y la información posterior divulgada por Nvidia.
Para la cadena de suministro de HBM4, los ajustes en las especificaciones pueden cambiar el foco de la competencia entre proveedores. Anteriormente, los fabricantes debían esforzarse por alcanzar mayores velocidades de transmisión de datos; Si Nvidia reduce los requisitos de ancho de banda para productos de producción en masa, la competencia puede centrarse más en el rendimiento, la escala de suministro, el consumo de energía, la estabilidad y el costo. Como resultado, los proveedores que puedan ofrecer productos calificados a escala pueden obtener más oportunidades.
Desde la perspectiva de toda la plataforma, Vera Rubin no depende únicamente del ancho de banda de la memoria para determinar el rendimiento. La potencia informática de la GPU, la capacidad de la memoria de vídeo, la interconexión de chip a chip, la arquitectura de red y la optimización del software determinan conjuntamente el rendimiento del sistema. La configuración de gabinete Vera Rubin NVL72 anunciada oficialmente por Nvidia contiene 72 GPU Rubin y conecta múltiples GPU a través de NVLink de sexta generación para admitir tareas de inferencia y entrenamiento de inteligencia artificial a gran escala.
Por lo tanto, incluso si algunos indicadores de hardware son más bajos que los objetivos iniciales, Vera Rubin aún puede lograr un mayor rendimiento a través de la arquitectura informática, la capacidad de la memoria de video y la optimización a nivel del sistema. Lo que realmente merece atención es si Nvidia puede expandir los envíos según lo planeado después de ajustar las especificaciones, y si el rendimiento de inferencia y entrenamiento del modelo real cumple con las expectativas del cliente.
Comentarios