En términos de entrenamiento/inferencia de modelos grandes de IA, las tarjetas gráficas de NVIDIA son sin duda las más utilizadas en la actualidad. Empresas como AMD, Intel y Google tienen cuotas incomparables. La pregunta es, ¿dónde es más fuerte NVIDIA? No es necesario mencionar las ventajas ecológicas de CUDA ni parámetros como los operadores de IA. Artificial Analysis compara directamente el rendimiento real de las tres soluciones de inferencia actuales, utilizando Google TPU v6e, AMD MI300X y NVIDIA H100/B200 respectivamente.
Hay muchas pruebas, pero nos basta con ver una completa. El costo por millón de entrada y salida a una velocidad de 30Token/s. El modelo corriente es Llama 3.3 70B.
a este respecto,El costo del H100 es $1.06,El H200 cuesta solo $ 1,17, el B200 TensorRT cuesta $ 1,23, el B200 cuesta $ 1,45, el MI300X de AMD cuesta $ 2,24 y el TPU v6e de Google cuesta $ 5,13.
En comparación, la tarjeta N tiene al menos 2 veces la ventaja precio/rendimiento sobre AMD.En comparación con Google, tiene una ventaja de aproximadamente 5 veces y la brecha es muy obvia.
Incluso si utiliza la tarjeta gráfica B200 más reciente y cara de NVIDIA, el aumento de costo no es demasiado obvio. Después de todo, el rendimiento ha aumentado considerablemente y todavía tiene una gran ventaja sobre AMD y Google.
Ahora se puede decir que las tarjetas AI actuales de AMD y Google siguen siendo bastante diferentes, pero los dos productos de próxima generación han mejorado significativamente. La serie MI400X de AMD tiene un máximo de 432 GB de memoria de video HBM4, y se dice que el TPU v7 de Google tiene un rendimiento varias veces mejor. El resultado de esta evaluación puede reescribirse para entonces.
Por supuesto, NVIDIA no se quedará quieta. También se lanzó la próxima generación de tarjetas gráficas Rubin y se lanzará el próximo año, lo que se espera que amplíe aún más la brecha.