Los investigadores de Microsoft afirman que han desarrollado el modelo de inteligencia artificial de 1 bit más grande hasta la fecha, también conocido comoBitnetsEl modelo se llama BitNet b1.58 2B4T y tiene la licencia MIT.Disponible públicamente, puede ejecutarse en CPU, incluido Apple M2.
Las Bitnets son esencialmente un modelo de compresión diseñado para ejecutarse en hardware liviano. En los modelos estándar, los pesos (valores que definen la estructura interna del modelo) suelen estar cuantificados para que el modelo funcione bien en una variedad de máquinas. La cuantificación de pesos reduce la cantidad de bits (las unidades más pequeñas que una computadora puede procesar) necesarios para representar esos pesos, lo que permite que los modelos se ejecuten más rápido en chips con menos memoria.
Las Bitnets cuantifican los pesos en tres valores: -1, 0 y 1. En teoría, esto las hace más eficientes en memoria y computacionalmente que la mayoría de los modelos actuales.
Los investigadores de Microsoft dicen que BitNet b1.58 2B4T es el primer BitNet que tiene 2 mil millones de parámetros, siendo "parámetros" en gran medida sinónimo de "pesos". Los investigadores afirman que BitNet b1.58 2B4T, entrenado en un conjunto de datos de 4 billones de tokens (que se estima equivale a unos 33 millones de libros), supera a los modelos tradicionales de tamaño similar.
Para ser claros, BitNet b1.58 2B4T no supera exactamente el modelo de 2 mil millones de parámetros de la competencia, pero parece mantenerse firme. Según las pruebas de los investigadores, el modelo superó al Llama 3.2 1B de Meta, al Gemma 3 1B de Google y al Qwen 2.5 1.5B de Alibaba en puntos de referencia que incluyen GSM8K (un conjunto de preguntas de matemáticas de escuela primaria) y PIQA (una prueba de habilidades de razonamiento de sentido común en física).
Quizás lo más impresionante sea que el BitNet b1.58 2B4T es más rápido que otros modelos de tamaño similar (en algunos casos el doble de rápido) y utiliza solo una fracción de la memoria.
Sin embargo, hay un problema. Lograr este tipo de rendimiento requiere el uso del marco personalizado bitnet.cpp de Microsoft, que actualmente solo funciona en cierto hardware. Las GPU, que dominan el mundo de la infraestructura de IA, aún no se han incluido en la lista de chips compatibles.
En resumen,BitnetsEl futuro puede ser brillante, especialmente para los dispositivos con recursos limitados, pero la compatibilidad sigue siendo una cuestión clave y probablemente lo seguirá siendo.