En la era de la IA, que a menudo requiere cientos de GB de memoria de video y modelos grandes con billones de parámetros, un desarrollador creó el procesador Z80 de 8 bits, que salió en 1976, para aprender a chatear con IA.El desarrollador HarryR creó un proyecto llamado Z80-μLM, que ejecutó con éxito IA conversacional en un Zilog Z80 antiguo con solo 64 KB de memoria y sin potencia de cálculo de punto flotante, e incluso podía jugar un juego de adivinanzas de 20 preguntas.
HarryR comprime todo el motor de inferencia, los pesos de los modelos y la interfaz de interacción de chat en un archivo de sólo 40 KB, y se ejecuta perfectamente en hardware antiguo con sólo 64 KB de RAM.
Para lograr esta tarea imposible, utiliza una optimización extremadamente estricta. Abandonó las operaciones de punto flotante y cambió a las operaciones enteras de 16 bits nativas del Z80.
Al mismo tiempo, también se aplica la tecnología de vectorización de pesos de 2 bits para comprimir cada peso entre {-2, -1, 0, +1}, y cada byte puede empaquetar y almacenar 4 pesos.
El proyecto actual proporciona dos ejemplos. El robot Tinychat responderá a saludos y preguntas con un estilo minimalista. Por ejemplo, OK significa confirmación neutral, ¿POR QUÉ? El representante cuestionó la premisa, QUIZÁS expresó incertidumbre, etc.; el otro Guess es un juego de adivinanzas de 20 preguntas y la IA guardará un secreto para que el usuario lo descifre.
HarryR admitió que no hay manera de que este sistema pueda pasar la prueba de Turing, pero su valor radica en explorar el límite inferior de la IA. Los desarrolladores diseñaron deliberadamente respuestas ambiguas para obligar a los humanos a detectar la verdadera comprensión de la IA a través de inferencias contextuales o preguntas de sí/no.
