Resumen:
Sony presentó recientemente una nueva patente de tecnología de inteligencia artificial, que propone utilizar IA para predecir el siguiente cuadro del juego antes de que la tarjeta gráfica complete el procesamiento, reduciendo así el retraso de la pantalla y tratando de evitar los problemas de retraso adicionales causados por algunas tecnologías de generación de cuadros existentes. Según la descripción de la patente, el sistema puede generar una imagen predicha por adelantado basándose en el cuadro renderizado más reciente y la información de entrada más reciente del controlador del jugador, y mostrársela al jugador antes de que se renderice oficialmente el siguiente cuadro.
Esta tecnología apunta principalmente a una falla en el esquema actual de generación de cuadros parciales. Muchas soluciones existentes requieren obtener dos fotogramas completos antes de poder calcular y generar el fotograma interpolado entre ellos, y el proceso de esperar a que se complete el segundo fotograma introduce retrasos adicionales. El nuevo método de Sony intenta saltarse esta fase de espera y utilizar directamente imágenes existentes para predecir imágenes futuras en lugar de interpolar entre dos fotogramas.
En teoría, se espera que este método mantenga una salida de imagen más fluida cuando la carga de renderizado aumenta y la velocidad de fotogramas disminuye. Sin embargo, el documento de patente no proporciona resultados de pruebas de rendimiento específicos, por lo que aún no se ha verificado su impacto real en la mejora de la latencia y la calidad de la imagen final.
Desde una perspectiva de implementación técnica, Sony ha diseñado una arquitectura de codificador y decodificador formada conjuntamente. El codificador es responsable de convertir la imagen renderizada en una representación numérica compacta, un vector de incrustación; Luego, el decodificador genera una imagen predicha basada en estos datos.
Mientras se ejecuta el juego, el sistema funcionará en sincronización con el proceso de renderizado de gráficos. Cuando el hardware procesa el siguiente fotograma, la IA procesa el fotograma anterior al mismo tiempo y envía los resultados de la predicción al búfer de visualización. De esta manera, el fotograma previsto se puede mostrar antes de que se complete el fotograma renderizado real, llenando el vacío de renderizado.
La patente también menciona que el modelo puede utilizar vectores de movimiento y los últimos datos de entrada del controlador para mejorar la precisión de la predicción. Los vectores de movimiento pueden reflejar la dirección y la velocidad del movimiento de los objetos en la imagen, mientras que las operaciones clave pueden reflejar las últimas intenciones de comportamiento del jugador. Ambos pueden proporcionar a la IA más información que el cuadro anterior por sí solo.
La fase de entrenamiento utiliza fotogramas de vídeo continuos como fuente de datos. La red neuronal primero comienza a entrenar con pesos aleatorios, recibe un cuadro de imagen como entrada e intenta predecir el siguiente cuadro, luego compara los resultados de la predicción con los cuadros reales posteriores, mide el error a través del valor de pérdida y optimiza continuamente el modelo.
Según la descripción de la patente, el sistema detectará continuamente si el valor de pérdida alcanza el umbral establecido durante el proceso de entrenamiento. Dado que el video continuo en sí puede proporcionar imágenes de referencia reales, todo el proceso de capacitación no requiere anotaciones de datos manuales. Además, el decodificador genera más canales de color de los que recibe el codificador, lo que significa que el sistema tendrá la capacidad de generar múltiples cuadros predichos a la vez en el futuro.
Además de la solución de IA, Sony también propuso una alternativa de inteligencia no artificial. Este esquema genera fotogramas sintéticos moviendo bloques de píxeles basados en información de movimiento sin utilizar modelos de codificador y decodificador entrenados. El documento de patente también afirma que se espera que estas tecnologías eviten la reducción de la calidad de la imagen manteniendo una velocidad de salida de cuadros fija, pero aún se desconoce si los cuadros generados realmente pueden lograr efectos visuales similares a la renderización nativa.
Los expertos de la industria creen que la prueba clave de esta tecnología es si la IA puede generar con precisión imágenes predichas a una velocidad lo suficientemente rápida y llenar las vacantes de la pantalla de manera oportuna cuando el rendimiento de renderizado disminuye. La patente muestra una idea factible, pero su efecto real aún debe ser verificado mediante futuras demostraciones de productos o tecnologías.
Comentarios