En comparación, el rendimiento INT8 del chip Jetson Orin Nano de Nvidia alcanza un máximo de 67 teraflops, el doble del rendimiento de INT4, pero consume un rango de potencia de 7 a 25 vatios.
Diseñado para dispositivos de vanguardia en los mercados de consumo, empresarial y automotriz, Hailo-10H combina "alta eficiencia, alta rentabilidad y un ecosistema de software robusto" y está impulsado por su "pila de software madura y ampliamente adoptada" utilizada por más de 10.000 usuarios por mes, según la startup.
Las empresas que adoptan Hailo-10H incluyen a Hewlett-Packard, que utiliza el chip como base para la tarjeta HP AI Accelerator M.2, que se integra "perfectamente" con los servicios de ventas punto a punto de HP, así como con las estaciones de trabajo y PC empresariales de HP.
La startup dice que Hailo-10H permite casos de uso avanzados, como la interacción persona-computadora en lenguaje natural, la percepción visual y la inteligencia artificial multimodal, para operar sin problemas dentro de las limitaciones de energía y costos típicas de los entornos de borde. "
La startup dijo que en las pruebas de rendimiento realizadas por Hailo, el chip logró "la primera latencia de token de menos de 1 segundo y más de 10 tokens por segundo en una variedad de modelos de lenguaje visual y lingüístico de 2 mil millones de parámetros".elemento de palabra".
Hailo es una de varias nuevas empresas de chips de IA que desafían a NVIDIA, y sus socios van desde fabricantes de equipos originales como HP, Dell y Advantech hasta distribuidores como J-Squared Technologies y Kaga Fei America.