El motor neuronal del chip M4 de Apple originalmente solo estaba abierto a la inferencia de IA, pero algunos desarrolladores eludieron las restricciones de software establecidas por Apple mediante ingeniería inversa y liberaron sus capacidades ocultas de procesamiento de IA. Este avance no se basa en CoreML, Metal o GPU, sino que utiliza un MIL (lenguaje intermedio modelo) personalizado desarrollado desde cero para comunicarse con el chip.
El personal relevante reveló el código en GitHub y compartió los resultados de la demostración en la plataforma X, diciendo que su enfoque era realizar una retropropagación completa y entrenamiento de Transformer directamente en el ANE de M4. Para evitar interrupciones después de que el proceso de capacitación se estanca, el mecanismo exec() también se utiliza en el plan para "reiniciar" el proceso y continuar con la capacitación cuando sea necesario.
El informe afirma además que este proceso no escribe en absoluto en la memoria flash NAND, sino que retiene los datos y el estado en la RAM, lo que aumenta significativamente la velocidad. Después de superar las limitaciones del software, M4 puede alcanzar aproximadamente 15,8 TFLOPS de rendimiento de procesamiento de IA en iPad o Mac, lo que es suficiente para el entrenamiento de modelos sin depender de costosas computadoras independientes o GPU NVIDIA de alta gama.
Este resultado se logró en el M4, por lo que los forasteros han comenzado a especular que el M5 puede liberar un mayor potencial, pero aún no se ha confirmado si el mismo método se aplicará a la nueva generación de Apple Silicon.
aprender más:
https://github.com/maderix/ANE