La última cooperación entre Kioxia y NVIDIA se considera otro avance tecnológico en la infraestructura del centro de datos de IA. Las dos empresas están trabajando juntas para desarrollar SSD que puedan proporcionar hasta 100 millones de IOPS (operaciones de entrada y salida por segundo). Este rendimiento es mucho mayor que el nivel máximo actual de SSD de aproximadamente 3 millones de IOPS, con el objetivo de superar el cuello de botella de la transmisión de datos en el entrenamiento y la implementación de modelos de IA a gran escala.
Si el proyecto tiene éxito, no sólo acelerará el ritmo de la innovación en IA generativa (GenAI), sino que también redefinirá la arquitectura del centro de datos, cambiará el panorama competitivo de la computación en la nube y el almacenamiento de clase empresarial y establecerá nuevos estándares para todo el ecosistema de hardware.
El fabricante de memorias semiconductoras Kioxia está desarrollando una nueva generación de tecnología SSD para satisfacer las necesidades de lectura y escritura de alta intensidad de la IA. La compañía anunció que planea lograr la comercialización en 2027, de modo que los IOPS aleatorios de SSD alcancen los 100 millones de veces. Este indicador de rendimiento es aproximadamente de 30 a 35 veces mayor que el de los productos de alta gama existentes. Kioxia coopera esta vez con NVIDIA para promover la implementación del proyecto.
En una conferencia de prensa en Tokio, Kioxia dijo que el nuevo SSD se conectará directamente a las GPU NVIDIA sin pasar por un procesador central de servidor tradicional. Este método de conexión "punto a punto" mejora enormemente la velocidad del flujo de datos entre las unidades de almacenamiento y de computación. Es especialmente adecuado para el entrenamiento de modelos de IA de gran tamaño que se basan en la lectura frecuente de datos aleatorios a pequeña escala, como la recuperación de representaciones integradas y parámetros del modelo. Los sistemas SSD tradicionales son difíciles de hacer frente de manera eficiente a estas necesidades.
NVIDIA se ha fijado un objetivo más desafiante: alcanzar 200 millones de IOPS a través de dos SSD de este tipo con el soporte del próximo estándar PCI Express 7.0. PCIe 7.0 ofrece capacidades de comunicación GPU punto a punto de mayor velocidad. En comparación, el SSD de alto rendimiento actual alcanza alrededor de 3 millones de IOPS en bloques 4K. Si salta a 100 millones de IOPS, traerá importantes desafíos técnicos tanto para la memoria flash NAND como para la arquitectura de la interfaz.
La tecnología más prometedora de Kioxia es su almacenamiento NAND de celda de capa única (SLC) XL-Flash patentado, que tiene las características de alta resistencia, baja latencia y gran rendimiento. Cada chip XL-Flash admite hasta 16 "planos", mientras que el 3D NAND normal de consumo generalmente tiene de 3 a 6 planos.
Aunque Kioxia no ha publicado todas las especificaciones técnicas, los datos de prueba existentes pueden dar una idea de la magnitud del desafío: un SSD XL-Flash de 400 GB equipado con 32 chips NAND y que utiliza la interfaz PCIe 5.0 ha demostrado un rendimiento de aproximadamente 3,5 millones de IOPS de lectura aleatoria. En teoría, si el rendimiento se puede escalar perfectamente de forma lineal, entonces un SSD equipado con 915 chips puede alcanzar 100 millones de IOPS. Sin embargo, de hecho, debido a factores como el ancho de banda del controlador, la sobrecarga del firmware y la arquitectura del sistema, este objetivo suele ser difícil de lograr simplemente apilando chips y puede requerir el uso de múltiples controladores o soluciones SSD modulares.
Dadas las limitaciones de la expansión 3D NAND tradicional, Kioxia también está explorando una nueva tecnología de almacenamiento llamada flash de alto ancho de banda (HBF), que tiene como objetivo combinar la velocidad de la memoria de alto ancho de banda con una mayor capacidad de almacenamiento. La solución HBF utiliza un empaquetado avanzado para apilar hasta 16 chips NAND y un chip lógico para lograr niveles extremadamente altos de paralelismo y ancho de banda. Aunque todavía no está claro si se utilizará HBF en el producto final de este proyecto de cooperación, esta investigación y desarrollo muestra que Kioxia está presentando soluciones de almacenamiento de rendimiento ultraalto en la era de la IA.