Google acaba de lanzar Lumiere, una nueva herramienta de inteligencia artificial generativa que te ayudará a crear imágenes y videos más realistas con comandos basados en texto. Una de las mejores cosas de Lumiere es su capacidad para producir movimientos de apariencia realista sin tartamudear. Esto es posible porque el software crea todos los fotogramas de vídeo al mismo tiempo, en lugar de utilizar fotogramas clave primero y luego entrenarlos para que aprendan cómo debe proceder la acción.
Puede que esto no suene impresionante, pero con la ayuda de las últimas herramientas de inteligencia artificial generativa, podemos ir más allá y crear obras asombrosas.
Lumiere también utiliza modelos de probabilidad de difusión para ayudar a generar imágenes. Esto se combina con U-Net espaciotemporal. Para aquellos que no lo saben, U-Net es una arquitectura que acerca y aleja temporalmente el zoom y agrega bloques de atención a la imagen. La mejor parte es que esta nueva herramienta de IA generativa se puede utilizar con muchos otros modelos, lo que ayudará a crear imágenes y vídeos más realistas que cualquiera que hayamos visto antes.
Lumiere se puede utilizar para crear lo siguiente:
La cinematografía anima una sola parte de una imagen.
Un objeto en un vídeo animado puede ser reemplazado por otro objeto.
Generación estilizada: cualquier estilo artístico creado se puede cambiar a otro estilo.
Imagen a video: ayuda a animar cualquier imagen deseada
Vídeo a vídeo: permite a los usuarios crear vídeos en diferentes estilos artísticos.
Al momento de escribir este artículo, Lumiere solo puede crear videos de hasta 5 segundos de duración y no tiene la capacidad de crear transiciones de video ni trabajos de cámara desde múltiples ángulos. También vale la pena señalar que si quieres probar Lumiere, no podrás hacerlo con una GPU estándar. La propia PC debe tener una sólida capacidad de procesamiento de gráficos; de lo contrario, la herramienta no se ejecutará en absoluto.
Visita de prueba:
https://lumiere-video.github.io/