IT之家 El 18 de octubre, según informó hoy el medio tecnológico TechSpot, Sony ha solicitado recientemente una patente que describe la siguiente escena: permitir que la IA prediga la próxima imagen antes de que se renderice en el GPU, reduciendo las interrupciones en los juegos y evitando el retraso adicional causado por la tecnología de generación de fotogramas.
Según un informe original de IT Home, esta tecnología puede resolver los problemas relacionados con la generación de fotogramas, permitiendo que la imagen se muestre sin necesidad de esperar a que se rendericen dos fotogramas para generar el fotograma intermedio. En lugar de eso, se utiliza directamente la imagen ya generada para predecir el siguiente fotograma, sin necesidad de esperar a los dos fotogramas para realizar la interpolación, lo que ayuda a que el juego mantenga un ritmo de salida de fotogramas más estable.
Al mismo tiempo, Sony utilizó un codificador/decodificador entrenado conjuntamente, que convierte las imágenes renderizadas en una representación incrustada, y expresa los valores numéricos de la imagen de manera compacta, permitiendo que el decodificador genere fotogramas predictivos con estas indicaciones. Durante el funcionamiento del juego, este sistema trabaja en paralelo con la cadena de renderizado gráfico. Cuando el hardware renderiza el siguiente fotograma, la IA procesa el fotograma anterior y envía los resultados predictivos al buffer de visualización. Por lo tanto, antes de que se complete el renderizado del siguiente fotograma, la imagen predicha puede aparecer en pantalla primero.
Además, el sistema puede utilizar la suma de vectores de movimiento y las operaciones recientes del mando del jugador. Esto hace que la historia de las operaciones del jugador con el personaje se convierta en la base para la predicción de acciones en el siguiente frame. El proceso de entrenamiento del sistema utiliza frames de video continuos. La red neuronal inicialmente utiliza pesos inicializados de forma aleatoria, como entrada para un frame y intenta predecir el siguiente frame. Posteriormente, el sistema compara los resultados de la predicción con las imágenes reales posteriores y calcula un valor de pérdida que mide el error de predicción.
Sin embargo, si esta tecnología puede tener efecto real, depende de si la IA puede generar imágenes precisas de manera rápida, para así llenar las brechas en la salida de fotogramas cuando la velocidad de renderizado disminuye.