NVIDIA se asoció con equipos de investigación de GeorgiaTech, UMD y HKPU para lanzar un nuevo modelo de lenguaje visual: NVEagle.Se informa que NVEagle puede comprender escenas complejas de la vida real y proporcionar una mejor interpretación y respuesta a través de información visual.
El núcleo de su diseño es convertir imágenes en marcas visuales y luego combinarlas con incrustaciones de texto para mejorar la comprensión de la información visual. NVEagle incluye tres versiones: Eagle-X5-7B, Eagle-X5-13B y Eagle-X5-13B-Chat. Entre ellas, las versiones 7B y 13B se utilizan principalmente para tareas generales de lenguaje visual, mientras que la versión 13B-Chat está específicamente ajustada para la IA conversacional y puede interactuar mejor en función de la información visual.
Lo más destacado de NVEagle es la adopción de un mecanismo Mixed Expert (MoE), que puede seleccionar dinámicamente el codificador visual más apropiado en función de diferentes tareas, lo que mejora en gran medida las capacidades de procesamiento de información visual compleja.El modelo se ha publicado en HuggingFace para comodidad de investigadores y desarrolladores.