IT之家 10월 18일 소식에 따르면, 기술 미디어 TechSpot이 오늘 보도한 바에 의하면 소니는 최근 다음과 같은 장면을 묘사하는 특허를 신청했습니다: AI가 GPU에서 렌더링을 완료하기 전에 다음 프레임을 예측하여 게임 화면의 지연을 줄이고, 프레임 생성 기술이 초래하는 추가 지연을 방지합니다.
IT之家가 원래 보도를 통해 알게 된 바에 따르면, 이 기술은 프레임 생성의 단점을 해결할 수 있으며, 화면 표시 시 두 프레임이 렌더링이 완료될 때까지 기다리지 않고도 중간 프레임을 삽입할 수 있습니다. 즉, 이미 생성된 화면을 직접 활용하여 다음 프레임을 예측한다는 방식으로, 두 프레임을 기다릴 필요 없이 인터пол레이션을 수행할 수 있어 게임이 더 안정적인 프레임 출력 리듬을 유지하는 데 도움을 줍니다.
동시에 소니는 공동 훈련된 인코더와 디코더를 사용하여 렌더링된 이미지를 내장 표현으로 변환하고, 이미지를 간결한 수치적 표현으로 처리함으로써 디코더가 이러한 힌트를 활용하여 예측 프레임을 생성하도록 했다. 게임이 실행되는 동안 이 시스템은 그래픽 렌더링 파이프라인과 병렬로 작동합니다. 하드웨어가 다음 프레임을 렌더링할 때, AI는 이전 프레임을 처리하고 예측 결과를 디스플레이 버퍼로 전송한다. 따라서 다음 프레임의 렌더링이 완료되기 전에, 예측된 이미지가 먼저 표시될 수 있습니다.
또한, 이 시스템은 움직임 벡터와 플레이어의 최근 핸드 조작을 활용할 수 있습니다. 이를 통해 플레이어가 조작한 캐릭터의 역사를 다음 프레임 동작 예측의 기반으로 만듭니다. 이 시스템의 훈련 과정에서는 연속된 비디오 프레임을 사용합니다. 신경망은 처음에 무작위로 초기화된 가중치를 사용하여 한 프레임 영상을 입력으로 받고 다음 프레임을 예측하려고 시도합니다. 그 후, 시스템은 예측 결과와 실제 다음 프레임을 비교하여 예측 오차를 측정하는 손실 값을 계산합니다.
하지만 이 기술이 실제로 효과를 발휘할 수 있는지는, AI가 빠르고 정확한 이미지를 생성하여 렌더링 속도가 저하될 때 프레임 출력의 공백을 메울 수 있는지에 달려 있습니다.