Resumen:
Según los desarrolladores del proyecto, la función de interpolación de cuadros acelerada por GPU de Nvidia se ha integrado en FFmpeg a través de la API Vulkan. FFmpeg es un conjunto de herramientas de software ampliamente utilizado que admite una gran cantidad de plataformas, servicios y aplicaciones de procesamiento multimedia modernos, incluido YouTube.
Con esta nueva característica, FFmpeg puede llamar a la tarjeta gráfica NVIDIA GeForce RTX para predecir y generar el siguiente fotograma sin pasar por el proceso de renderizado de gráficos tradicional. NVIDIA está ampliando esta capacidad a la codificación de video, permitiendo a los usuarios aumentar la velocidad de cuadros de video a través de la tecnología de generación de cuadros. El acelerador de flujo óptico (NVOFA) en las tarjetas gráficas NVIDIA aplica la lógica de flujo óptico utilizada en la representación de gráficos al video, predice el siguiente cuadro y mejora la velocidad de cuadros del video a través de cuadros intermedios generados por inteligencia artificial. NVIDIA llama a este proceso "Conversión ascendente de velocidad de cuadros asistida por motor (FRUC)".
FRUC no es sólo un algoritmo de suavizado de imágenes en el sentido tradicional. Utiliza el acelerador de flujo óptico dedicado de NVIDIA para calcular la información de movimiento entre fotogramas fuente consecutivos. NVENC es responsable de proporcionar datos de cuadros en el lado de codificación y el hardware de flujo óptico genera vectores de movimiento que describen el movimiento de los objetos en la imagen. Luego, FFmpeg puede sintetizar cuadros intermedios en función de esta información de movimiento, aumentando efectivamente la velocidad de cuadros del video sin volver a renderizar el contenido original.
Este esquema también es más eficiente que la interpolación de cuadros implementada por software. La interpolación de software pura normalmente impone demandas computacionales significativamente mayores a la CPU. La nueva implementación de Vulkan permite a FFmpeg acceder directamente al hardware de NVIDIA y al mismo tiempo evitar las dependencias de software propietario que provocaron que los parches anteriores enviados en 2023 no se fusionaran con el proyecto.
NVIDIA lanzó originalmente el acelerador de flujo óptico en la era de la arquitectura "Turing" de la serie GeForce RTX 20. Sin embargo, la implementación actual basada en la API Vulkan solo es compatible oficialmente con la serie GeForce RTX 30 "Ampere" y modelos más nuevos. Por lo tanto, esta nueva función está disponible para los usuarios de tarjetas gráficas de las series GeForce RTX 30, RTX 40 y RTX 50.
A través de la interpolación de fotogramas asistida por GPU, la velocidad de fotogramas del vídeo se puede duplicar: el vídeo de 30 fotogramas se puede mostrar a 60 fotogramas y el vídeo de 24 fotogramas común en las películas se puede aumentar a 48 fotogramas. Los usuarios sólo necesitan ejecutar la herramienta FFmpeg localmente para utilizar esta función.
Comentarios