Resumen:
Un nuevo estudio impulsado por desarrolladores de la comunidad muestra que las tarjetas gráficas NVIDIA GeForce RTX Serie 30 y RTX Serie 40 esconden un potencial informático que supera con creces las especificaciones oficiales. Al desbloquear la configuración de firmware y hardware subyacente, los desarrolladores han liberado con éxito parte de la potencia informática originalmente restringida, lo que permite que algunos modelos logren hasta casi el doble de mejora en el rendimiento en escenarios de inteligencia artificial y computación matricial.
Según los informes, el núcleo utilizado en las tarjetas gráficas de arquitectura "Ampere" de la serie RTX 30 es esencialmente el mismo silicio que las GPU de nivel profesional de NVIDIA, pero algunas de las capacidades informáticas de los productos de consumo están limitadas por políticas de software y firmware. Una solución de desbloqueo desarrollada por un investigador puede aumentar la tasa de emisión de instrucciones de las operaciones FP/BF16 FMA a FP32 y es adecuada para los núcleos GA102, GA103, GA104 y GA106.
En pruebas reales, el rendimiento de multiplicación de matriz BF16 de RTX 3090 Ti mejoró hasta aproximadamente un 80 %. Dado que la multiplicación de matrices es una operación básica importante para ejecutar la mayoría de los modelos de redes neuronales, esta mejora tiene una importancia obvia para las tareas de aprendizaje automático y razonamiento de IA local.
Al mismo tiempo, otro proyecto de desbloqueo para la arquitectura "Ada Lovelace" de la serie RTX 40 también logró un gran avance. Esta solución logra aproximadamente el doble del rendimiento informático de FP16 y BF16 Tensor al tiempo que conserva la precisión de acumulación de FP32.
Tomando el RTX 4090 como ejemplo, en la prueba de rendimiento de Tensor FP16, la tarjeta gráfica originalmente podía alcanzar 165,6 TFLOPS, pero después de habilitar el desbloqueo, el rendimiento aumentó a 331,6 TFLOPS, casi duplicándose. Este nivel se acerca o incluso alcanza la potencia informática de algunos productos de nivel profesional, como RTX 6000 Ada.
Los investigadores creen que esto indica que el núcleo AD102 tiene limitaciones informáticas artificiales en productos de consumo, especialmente en áreas clave de informática de IA, como la multiplicación y acumulación de matrices. Estas limitaciones afectarán directamente la eficiencia operativa de las aplicaciones de IA, como los modelos de lenguaje grandes. Actualmente, se ha confirmado que el proyecto de desbloqueo es compatible con los modelos principales AD102, AD103 y AD106.
Vale la pena señalar que dos soluciones de desbloqueo para las series RTX 30 y RTX 40 aparecieron casi al mismo tiempo, cubriendo las dos generaciones de arquitecturas de GPU Ampere y Ada Lovelace respectivamente. El desarrollador afirmó que estas modificaciones pueden pasar el mecanismo de verificación completo del controlador NVIDIA y evitar con éxito las restricciones de restablecimiento del nivel de función (FLR) de PCIe. Por lo tanto, aún se puede utilizar el controlador original oficial y el software de prueba relacionado con CUDA se puede ejecutar normalmente.
Los datos de las pruebas muestran que las tarjetas gráficas GA102 y AD102 mantienen el mismo límite de consumo de energía antes y después del desbloqueo. Por ejemplo, con la configuración de consumo total de energía de la placa de 450 W, la mejora del rendimiento proviene enteramente de la potencia informática liberada en lugar de aumentos adicionales en el consumo de energía o la frecuencia.
Para los usuarios que utilizan modelos de lenguaje locales grandes, IA generativa y otras tareas informáticas de alta intensidad, la potencia informática adicional de Tensor liberada puede mejorar la eficiencia del preprocesamiento rápido de palabras y las etapas de inferencia, logrando así un mayor rendimiento del token y una velocidad de respuesta más rápida.
Sin embargo, el desarrollador también recuerda que dichas modificaciones no son oficiales y pueden invalidar la garantía de la tarjeta gráfica. Además, los módulos relevantes deben cargarse primero durante la fase de inicio del sistema para que la operación de desbloqueo pueda completarse antes de que el controlador NVIDIA se haga cargo de la GPU. Por tanto, este tipo de solución es más adecuada para usuarios avanzados que tienen ciertas capacidades técnicas y están dispuestos a correr riesgos.
Comentarios