Google anunció en el evento “Made on YouTube” de este mes que la tecnología de doblaje automático de YouTube ha marcado el comienzo de una nueva actualización: la introducción de la función de sincronización de labios con IA (lip-sync), que tiene como objetivo resolver el problema de larga data de la “desincronización entre sonido e imagen” en el contenido de video traducido automáticamente. La función se implementará primero en 20 idiomas, incluidos inglés, alemán, francés y español, y en los próximos meses seguirán más idiomas.
Se informa que el doblaje y la traducción automática de YouTube han sido controvertidos por reproducir automáticamente títulos de vídeo y pistas de audio. Muchos usuarios esperan tener una opción unificada para desactivar dicha traducción y doblaje automático. Los usuarios multilingües y los creadores de Bilibili han informado que la calidad de las traducciones generadas por IA es desigual en comparación con las traducciones humanas. Actualmente, YouTube no ofrece la función de desactivar el doblaje a nivel mundial. Los usuarios deben ajustar manualmente la pista de audio video por video. Esto también ha llevado a algunos desarrolladores a lanzar complementos de navegador como "YouTube Anti-Translate" para bloquear específicamente las capas de traducción y doblaje automático.
El avance clave de esta actualización es que la función de sincronización de labios AI puede utilizar tecnología de inteligencia artificial para alinear perfectamente la pista de audio generada automáticamente con la forma de la boca de los personajes en el video, mejorando en gran medida la apariencia y logrando una experiencia de video más fluida y natural. Los creadores pueden optar por activar la función de doblaje de sincronización de labios a través de YouTube Studio. El primer piloto está abierto a miembros del Programa de socios de YouTube y se espera que Google lo extienda a todos los videos en el futuro.
En términos de doblaje multilingüe, YouTube se basa en modelos de inteligencia artificial de desarrollo propio (incluidos Gemini y Aloud) para generar pistas de audio multilingües, que no solo restauran la emoción y la entonación de la voz del hablante original, sino que también separan los sonidos de fondo y las voces humanas. Según Google, después de que algunos canales habilitaron el doblaje multilingüe, el número de espectadores no nativos se triplicó, lo que muestra un fuerte potencial de crecimiento.
Aunque la tecnología de sincronización de labios y doblaje automático de IA juega un papel importante en la expansión de la audiencia de los creadores y los ingresos publicitarios, todavía existe mucha controversia sobre si afectará la autenticidad del contenido original y la experiencia de la audiencia. Los partidarios creen que esta medida facilita la visualización por parte de una audiencia global y mejora la influencia del contenido; mientras que a los críticos les preocupa que la automatización dañe el estilo único de la obra original. Si la sincronización de labios con IA puede cerrar completamente la brecha entre el ideal y la realidad, la industria aún está observando su impacto.