IT之家 Le 18 octobre, selon un rapport du média technologique TechSpot, Sony a récemment demandé une brevet. Ce brevet décrit la situation suivante : permettre à l’IA de prédire la prochaine image avant que le GPU ne la rende, ce qui réduit les lag dans les jeux tout en évitant les retards supplémentaires liés à la technologie de génération de frames.
D’après un rapport original de IT Home, cette technologie permet de corriger les défauts liés à la génération des frames, afin que l’image affichée ne doive plus attendre que deux frames soient rendus pour que le frame intermédiaire soit généré. On peut donc utiliser directement les images déjà générées pour prédire le prochain frame, et interpoler sans avoir à attendre deux frames, ce qui aide les jeux à maintenir un rythme de rendu de frames plus stable.
En même temps, Sony utilise un codec entraîné en collaboration pour convertir l’image rendue en une représentation intégrée, et pour exprimer l’image sous forme de valeurs numériques compactes, permettant ainsi au décodeur de générer des frames prédictifs à l’aide de ces données. Lors du jeu, ce système fonctionne en parallèle avec la pipeline de rendu graphique. Lors du rendu d’un nouveau frame, l’IA traite le frame précédent et envoie les résultats prédictifs dans la buffer d’affichage. Ainsi, avant que le rendu du prochain frame ne soit terminé, la image prédictive peut être affichée en premier.
De plus, le système peut utiliser les vecteurs de mouvement et les actions récentes du manche du joueur. Cela permet à l’histoire des actions du personnage du joueur de servir de base pour la prédiction des mouvements de la prochaine frame. Le processus d’entraînement du système utilise des frames vidéo continus. La réseau de neurones commence par initialiser les poids de manière aléatoire, en utilisant un frame comme entrée, et tente de prédire le frame suivant. Par la suite, le système compare les résultats de la prédiction avec les images réelles ultérieures et calcule une valeur de perte permettant d’évaluer l’erreur de prédiction.
Cependant, la capacité de cette technologie à être utile dépend de la capacité de l’IA à générer rapidement des images précises, afin de combler les écarts dans la vitesse de rendu lorsque celle-ci diminue.