El rápido desarrollo de la tecnología de IA ha hecho que muchos usuarios sean inseparables de la IA en su trabajo diario. Sin embargo, la mayor parte de la IA actual se basa en la nube, lo que significa que los datos enviados por los usuarios tienen riesgos potenciales de fuga. En ese momento, la Fundación Mouzhi, que se preocupa por la privacidad, dio un paso al frente. La Fundación Mouzhi anunció el lanzamiento de un nuevo proyecto de código abierto llamado Llamafile. El objetivo de este proyecto de código abierto es ayudar a las personas a ejecutar grandes modelos de lenguaje en su propio hardware. No requiere una GPU, CPU o NPU dedicada (pero puede funcionar mejor con una GPU).

Llamafile funciona comprimiendo toda la complejidad de un chatbot de inteligencia artificial en un solo archivo, que luego puede ejecutarse en Windows, Mac, Linux, OpenBSD, FreeBSD, NetBSD y casi no requiere instalación ni configuración, es decir, se puede utilizar de inmediato.

Este tipo de LLM se ejecuta completamente localmente y no requiere potencia de computación en la nube proporcionada por empresas comerciales de terceros. Los datos también se guardan localmente y no saldrán del dispositivo del usuario. Si el usuario lo desea, puede copiar el modelo del robot después de conversaciones diarias a otras máquinas para su uso continuo sin volver a optimizar las palabras clave.

En la actualidad, la Fundación Mozhi no es la única empresa que quiere desarrollar IA local. La variante Gemini AiCore proporcionada recientemente por Google al Pixel 8 Pro es en realidad una IA local que utiliza la potencia informática del dispositivo local para realizar determinadas operaciones. Sin embargo, actualmente hay relativamente poca información pública sobre AiCore.

La Fundación Mozhi cree que el código abierto es una de las soluciones más poderosas para resolver diversos problemas de privacidad. Puede solucionar los problemas de privacidad, acceso y control a través del código abierto, es decir, ¿quién puede escuchar nuestras conversaciones? ¿Cómo se tratarán nuestros datos? Quién decide si la IA responde o no a determinadas preguntas.

En cuanto al proyecto Llamafile, la Fundación Mozhi ha observado algunos proyectos prometedores. El primero es el proyecto Llama.cpp. Este proyecto de código abierto permite que dispositivos comunes de consumo ejecuten LLM y la velocidad no es demasiado lenta. El segundo es el proyecto Cosmopolitan, que puede compilar programas a la vez para ejecutarlos en varios sistemas operativos y hardware.

Por supuesto, este proyecto no se completará tan rápido. Fundación Mozilla espera que puedan participar desarrolladores o usuarios interesados ​​en LLM: https://github.com/Mozilla-Ocho/llamafile