Resumen:
Meta lanzó el modelo de inteligencia artificial de peso abierto Muse Spark Open el 15 de octubre y cooperó con Apple para optimizar la solución de ejecución local del modelo para Mac Studio.
Meta afirmó que el modelo tiene 816 mil millones de parámetros totales, de los cuales aproximadamente 42 mil millones se activan realmente para cada inferencia, admite una ventana de contexto de hasta 1 millón de tokens y se centra en programación, razonamiento complejo y tareas de agentes de IA. Con dos Mac Studio equipados con chips M5 Ultra y cada uno con 512 GB de memoria unificada, los usuarios pueden ejecutar este modelo a gran escala en un entorno de escritorio sin tener que depender completamente de los servicios de inteligencia artificial en la nube.
Esta colaboración es bastante llamativa. Apple y Meta tenían diferencias significativas en las políticas de privacidad, las reglas de la plataforma y la ecología de las aplicaciones en el pasado, pero esta vez ambas partes promovieron conjuntamente el funcionamiento del modelo de peso abierto en el hardware de Apple. El director ejecutivo de Meta, Mark Zuckerberg, agradeció al director ejecutivo de Apple, John Ternus, por participar en la cooperación. Ternus también declaró públicamente que Muse Spark Open puede ejecutarse de manera eficiente en dispositivos de escritorio, lo que demuestra el potencial de Mac Studio en la informática local de IA.
Muse Spark Open es la versión ponderada abierta de la familia de modelos Meta Muse. A diferencia de los modelos cerrados a los que solo se puede acceder a través de servicios remotos, los modelos de peso abierto permiten a los usuarios obtener pesos de modelo y desplegarlos ellos mismos, sujeto a condiciones de licencia. Esto brinda a los desarrolladores, investigadores y empresas un mayor control sobre el entorno operativo y la capacidad de adaptar sus procesos de inferencia a sus necesidades.
El modelo tiene 816 mil millones de parámetros totales, pero utiliza un diseño de activación escaso, con solo alrededor de 42 mil millones de parámetros activados para cada inferencia. En otras palabras, el modelo no necesita involucrar todos los parámetros en el cálculo al procesar cada Token, sino que llama a la parte correspondiente de acuerdo con la tarea y el contenido de entrada. Este diseño ayuda a reducir la cantidad de cálculo de inferencia, pero no significa que el modelo pueda ejecutarse usando solo la memoria necesaria para 42 mil millones de parámetros, porque los pesos del modelo completo aún deben almacenarse o administrarse de otro modo.
La ventana contextual es otro indicador importante de Muse Spark Open. Este modelo admite 1 millón de contextos Token y, en teoría, puede procesar textos muy largos, bases de código o múltiples documentos en una sola tarea. Para las tareas de ingeniería de software, esto significa que los modelos tienen la oportunidad de hacer referencia a grandes cantidades de código fuente y materiales relacionados simultáneamente, lo que reduce el riesgo de perder información crítica debido a un contexto insuficiente. Sin embargo, la longitud real del contexto disponible, la velocidad de procesamiento y el uso de memoria aún dependen de la configuración en ejecución específica y del marco de inferencia.
Meta dijo que Muse Spark Open ha sido optimizado para Mac Studio y puede ejecutarse utilizando la arquitectura de memoria unificada de los chips de Apple. Los sistemas de gráficos discretos tradicionales normalmente requieren que los pesos del modelo se coloquen en la memoria de video, mientras que la arquitectura de memoria unificada de Apple permite que la CPU y la GPU compartan el mismo grupo de memoria. En Mac Studio que admite memoria unificada de gran capacidad, la GPU puede acceder a hasta 512 GB de memoria unificada, lo que proporciona una base de hardware para ejecutar modelos grandes y abiertos.
Según Meta, dos Mac Studio pueden ejecutar el modelo de forma colaborativa a través del marco de software correspondiente, de modo que el sistema tiene aproximadamente 1 TB de memoria unificada. El chip M5 Ultra equipado en cada dispositivo tiene un ancho de banda de memoria de hasta 1,2 TB/s. Meta cree que esta configuración puede ejecutar Muse Spark Open localmente mientras utiliza el mecanismo de activación dispersa para leer solo algunos de los parámetros necesarios para cada inferencia de Token.
La clave de esta solución no es simplemente conectar dos computadoras, sino trabajar juntas a través de una arquitectura de memoria unificada, fragmentación de modelos y marco de inferencia, de modo que los modelos que originalmente requieren una infraestructura informática de mayor escala puedan ejecutarse en dispositivos de escritorio. El marco de aprendizaje automático MLX de Apple impulsa la ejecución de modelos en Apple Silicon y Meta está ajustado en consecuencia para Muse Spark Open.
Sin embargo, es necesario distinguir entre los dos conceptos de que el modelo pueda cargarse y ejecutarse y que el modelo pueda ejecutarse a alta velocidad. Tener suficiente memoria sólo resuelve un obstáculo importante en el despliegue de modelos muy grandes. La fragmentación del modelo, la comunicación entre dispositivos, el ancho de banda de la memoria, la utilización de la unidad informática y la longitud del contexto afectan la velocidad de inferencia final. La información publicada por Meta esta vez enfatizó la capacidad de ejecución y la configuración de hardware del modelo, pero no proporcionó datos de prueba de referencia completos que sean suficientes para juzgar completamente el rendimiento real.
El precio también es una limitación importante de este plan. Apple aún no ha lanzado oficialmente el Mac Studio equipado con 512 GB de memoria unificada, que se espera que esté disponible a finales de octubre. Los modelos existentes de Mac Studio de alta gama con 256 GB de memoria unificada ya cuestan más de 10.000 dólares, por lo que se espera que un sistema que consta de dos versiones de 512 GB sea una inversión costosa. Para los usuarios individuales comunes, esta obviamente no es una solución de IA local de bajo costo, pero para los equipos de desarrollo e instituciones de investigación que necesitan ejecutar modelos grandes y valorar el control de datos, proporciona una alternativa a los servidores tradicionales.
Meta declaró que Muse Spark Open no solo se puede ejecutar en Mac Studio, sino que también se puede llamar a través de múltiples plataformas de inteligencia artificial en la nube, incluidas Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter y Together AI. Para los usuarios que deseen descargar los pesos del modelo ellos mismos, se pueden obtener archivos relevantes a través de Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face y Microsoft Foundry Models.
Este modelo utiliza una licencia que permite un uso comercial limitado, en lugar de una licencia general de código abierto sin restricciones. Por lo tanto, antes de usarlo en productos comerciales, los desarrolladores y las empresas aún deben leer detenidamente los términos de licencia específicos y confirmar si su método de implementación, escala de usuarios y escenarios de aplicación cumplen con los requisitos.
Esta cooperación también refleja la nueva dirección de desarrollo emergente de la informática de IA local. En el pasado, ejecutar modelos grandes con cientos de miles de millones de parámetros generalmente requería múltiples GPU profesionales, grandes cantidades de memoria de video y complejos grupos de servidores. Apple está intentando utilizar una arquitectura de memoria unificada y chips de gran ancho de banda para permitir que las computadoras de escritorio de alta gama alberguen modelos de mayor escala. Si bien este enfoque aún es limitado en términos de costo y rendimiento de inferencia, abre nuevas posibilidades para los usuarios que no desean enviar todos sus datos a la nube.
Para Apple, Muse Spark Open también ayuda a demostrar el posicionamiento de Mac Studio en el campo del desarrollo de IA. A medida que más y más desarrolladores intentan ejecutar modelos localmente, la capacidad de la memoria unificada y el ancho de banda se han convertido gradualmente en indicadores importantes para medir las capacidades de IA de las computadoras de alta gama. Apple espera que a través del ecosistema M5 Ultra y MLX, Mac no solo sea adecuado para la edición de video, el diseño 3D y la producción musical, sino que también se convierta en una plataforma local de desarrollo y razonamiento de IA.
Para Meta, lanzar un modelo de peso abierto y admitir la ejecución en hardware de Apple ayudará a ampliar la cobertura para desarrolladores de la serie Muse. Los usuarios pueden elegir la API en la nube o la implementación local según sus necesidades, y Meta también puede atraer a más desarrolladores para crear aplicaciones y herramientas en torno al modelo.
En general, la importancia de Muse Spark Open radica no solo en la cantidad de 816 mil millones de parámetros, sino también en que demuestra la posibilidad de combinar modelos de peso abierto a gran escala con hardware de escritorio de alta gama. Dos Mac Studio equipados con memoria unificada de 512 GB pueden proporcionar aproximadamente 1 TB de espacio de memoria para el modelo, lo que lo hace adecuado para ejecución local, pero la experiencia real aún depende de la velocidad de inferencia, el costo del hardware y la optimización del software.
Esta cooperación no es suficiente para demostrar que las computadoras personales comunes pueden ejecutar fácilmente modelos a muy gran escala, pero muestra que el hardware de IA local se está desarrollando hacia una mayor capacidad de memoria y capacidades informáticas colaborativas más sólidas. A medida que se continúa optimizando la arquitectura de modelos y el software de inferencia, algunos modelos de IA que en el pasado solo podían implementarse en grandes centros de datos pueden ingresar gradualmente a estudios, laboratorios y entornos de escritorio de desarrolladores en el futuro.
Comentarios