Según la cuenta oficial de WeChat de “Tongyi Qwen Qwen”, las principales características de este modelo son las siguientes:
Arquitectura innovadora integral: el equipo de Qwen propuso una nueva arquitectura Thinker-Talker, un modelo multimodal de extremo a extremo diseñado para admitir la comprensión intermodal de texto/imagen/audio/video mientras genera respuestas de texto y voz natural en forma de transmisión. Qwen propuso una nueva tecnología de codificación de posición llamada TMRoPE (Time-alignedMultimodalRoPE), que logra una sincronización precisa de la entrada de video y audio a través de la alineación de la línea de tiempo.
Interacción de audio y video en tiempo real: la arquitectura está diseñada para admitir interacción totalmente en tiempo real, admitiendo entradas fragmentadas y salidas instantáneas.
Generación de voz fluida y natural: supera muchas alternativas existentes de transmisión y no transmisión en cuanto a naturalidad y estabilidad de la generación de voz.
Ventaja de rendimiento modal completo: excelente rendimiento al comparar modelos monomodales del mismo tamaño. El Qwen2.5-Omni supera al Qwen2-Audio de tamaño similar en capacidades de audio y está a la par del Qwen2.5-VL-7B.
Excelente capacidad de seguimiento de comandos de voz de un extremo a otro: Qwen2.5-Omni muestra un efecto comparable al procesamiento de entrada de texto en el seguimiento de comandos de voz de un extremo a otro y funciona bien en pruebas comparativas como la comprensión de conocimientos generales de MMLU y el razonamiento matemático GSM8K.
Qwen2.5-Omni adopta la arquitectura de doble núcleo Thinker-Talker. El módulo Thinker es como un cerebro, responsable de procesar entradas multimodales como texto, audio y video, y generar representaciones semánticas de alto nivel y el contenido de texto correspondiente; El módulo Talker es similar a un órgano vocal: recibe la representación semántica y la salida de texto de Thinker en tiempo real en forma de transmisión y sintetiza suavemente unidades de habla discretas. Thinker se basa en la arquitectura del decodificador Transformer e integra codificadores de audio/imagen para la extracción de funciones; Talker utiliza un diseño de decodificador Transformer autorregresivo de doble vía para recibir directamente representaciones de alta dimensión de Thinker durante el entrenamiento y la inferencia, y compartir toda la información del contexto histórico para formar una arquitectura de modelo unificada de extremo a extremo.
Diagrama de arquitectura del modelo
En términos de rendimiento del modelo, Qwen2.5-Omni funciona mejor que los modelos unimodales de tamaño similar y los modelos de código cerrado, como Qwen2.5-VL-7B, Qwen2-Audio y Gemini-1.5-pro, en varios modos, incluidos imágenes, audio, audio y vídeo.
En la tarea multimodal OmniBench, Qwen2.5-Omni logró rendimiento SOTA. Además, en tareas monomodales, Qwen2.5-Omni funciona bien en múltiples campos, incluido el reconocimiento de voz (CommonVoice), la traducción (CoVoST2), la comprensión de audio (MMAU), el razonamiento de imágenes (MMMU, MMStar), la comprensión de video (MVBench) y la generación de voz (Seed-tts-eval y audición natural subjetiva).
El modelo ahora es de código abierto en HuggingFace, ModelScope, DashScope y GitHub.