IT之家 10月18日の報道によると、テクノロジーメディアのTechSpotが今日報じたところによると、ソニーは最近以下のようなシナリオを描いた特許を申請した。AIがGPUでレンダリングを完了する前に次のフレームを予測し、ゲームの画面のカクつきを減らし、同時にフレーム生成技術による余分な遅延を避けるというものだ。
IT之家が元の報道から得た情報によると、この技術によりフレーム生成の欠点を解決でき、画面表示時に2フレームのレンダリングが完了するのを待つことなく、中間フレームを挿入できる。すなわち、既に生成された画面を直接利用して次のフレームを予測するため、2フレームを待つことなくインターリーブが可能になり、ゲームがより安定したフレーム出力のリズムを維持できる。
同時に、ソニーは共同訓練されたエンコード・デコード器を使用し、レンダリングが完了した画像を埋め込み表現に変換し、画像をコンパクトな数値表現にすることで、デコード器がこれらのヒントを利用して予測フレームを生成する。ゲームが実行される際、このシステムはグラフィックレンダリングパイプラインと並行して動作する。ハードウェアが次のフレームをレンダリングする際、AIは前のフレームを処理し、予測結果を表示バッファに送信する。したがって、次のフレームのレンダリングが完了する前に、予測された画像が先に表示される可能性がある。
さらに、このシステムは動きのベクトルとプレイヤーの最近のハンドル操作を利用することもできます。これにより、プレイヤーが操作したキャラクターの履歴が、次のフレームの動作予測の基礎となります。このシステムのトレーニングプロセスでは、連続するビデオフレームを使用します。ニューラルネットワークは最初にランダムに初期化された重みを採用し、一つのフレーム画像を入力として、次のフレームを予測しようと試みます。その後、システムは予測結果と実際の次の画面を比較し、予測誤差を測定するための損失値を計算します。
しかし、この技術が実際に機能するかどうかは、AIが迅速に正確な画像を生成し、レンダリング速度が低下した時にフレーム出力の間隙を埋めることができるかどうかにかかっています。