Los investigadores de metainteligencia artificial anunciaron el jueves que han desarrollado un nuevo modelo de inteligencia artificial llamado "Comunicación fluida", con el objetivo de lograr una comunicación entre idiomas más natural y realista, realizando fundamentalmente el concepto de un "Traductor de voz universal" (Universal Speech Translator). Los modelos se publicaron esta semana junto con un artículo de investigación y datos relacionados.
El modelo insignia se llama Seamless y combina las características de los otros tres modelos (SeamlessExpressed, SeamlessStreaming y SeamlessM4Tv2) en un sistema unificado. Según el artículo de investigación, Seamless es "el primer sistema disponible públicamente que desbloquea la comunicación expresiva en varios idiomas en tiempo real".
Los traductores fluidos representan una nueva frontera en el aprovechamiento de la inteligencia artificial para la comunicación entre blogs. Combina tres modelos complejos de redes neuronales para permitir la traducción en tiempo real entre más de 100 idiomas hablados y escritos, preservando al mismo tiempo el estilo vocal, la emoción y la prosodia del hablante.
SeamlessExpression se centra en preservar el estilo vocal y los matices emocionales del hablante al traducir entre idiomas:
https://seamless.metademolab.com/expresivo/
Como se describe en el artículo, "La traducción debe capturar los matices de la expresión humana. Si bien las herramientas de traducción existentes son expertas en capturar el contenido de las conversaciones, su producción a menudo depende de monótonos sistemas robóticos de conversión de texto a voz".
SeamlessStreaming permite la traducción casi en tiempo real con una latencia de sólo unos dos segundos:
https://ai.meta.com/resources/models-and-libraries/seamless-communication-models/#seamlessstreaming
Los investigadores dicen que este es "el primer modelo multilingüe a gran escala" que ofrece velocidades de traducción tan rápidas en casi 100 idiomas hablados y escritos.
El tercer modelo SeamlessM4Tv2 es la base de los otros dos modelos:
https://ai.meta.com/resources/models-and-libraries/seamless-communication-models/#seamlessm4t
Es una versión mejorada del modelo Seamless M4T original lanzado el año pasado. La nueva arquitectura "mejora la coherencia entre el texto y la voz", según el artículo.
"Juntos, Seamless nos permite ver los fundamentos técnicos clave necesarios para mover un traductor de voz universal de un concepto de ciencia ficción a una tecnología del mundo real", escribieron los investigadores.
El potencial para transformar las comunicaciones globales
Desde el uso de gafas inteligentes para conversaciones multilingües en tiempo real hasta el doblaje automático de vídeos y podcasts, las capacidades de estos modelos pueden permitir nuevas experiencias de comunicación por voz. Los investigadores creen que también podría ayudar a los inmigrantes y otras personas que tienen dificultades para comunicarse a romper las barreras del idioma.
"Al hacer públicos nuestros hallazgos, esperamos que los investigadores y desarrolladores amplíen el impacto de nuestras contribuciones, creando tecnologías diseñadas para unir conexiones multilingües en un mundo cada vez más interconectado e interdependiente", afirma el documento.
Sin embargo, los investigadores reconocieron que también se podría abusar de la tecnología para estafas de phishing de voz, deepfakes y otras aplicaciones dañinas. Para promover el uso seguro y responsable del modelo, han implementado varias medidas, incluida la marca de agua de audio y nueva tecnología para reducir la producción tóxica de las alucinaciones.
En línea con el compromiso de Meta con la investigación y la colaboración abiertas, el modelo de comunicación fluida se lanzó públicamente en HuggingFace y Github.
El conjunto de modelos incluye modelos Seamless, SeamlessExpressed, SeamlessStreaming y SeamlessM4Tv2 y metadatos asociados.
Meta espera que al hacer que estos modelos de procesamiento de lenguaje natural de última generación estén disponibles gratuitamente, otros investigadores y desarrolladores puedan desarrollarlos y ampliarlos para ayudar a las personas a superar las barreras lingüísticas y culturales. Este lanzamiento demuestra el liderazgo de Meta en inteligencia artificial de código abierto y proporciona un nuevo recurso valioso para la comunidad de investigación.
Los investigadores concluyeron: "En general, la experiencia multidimensional que puede aportar Seamless conducirá a un cambio cualitativo en la forma en que se produce la comunicación entre idiomas asistida por máquinas".