GameNGen은 ‘DOOM’ 게임 엔진을 완전히 대체했습니다. 우리나라에는 익숙한 이름이 아니지만, DOOM은 해외에서 고전 FPS 게임으로 유명합니다. 이 게임은 어떤 환경에서든 구동이 가능하다는 특징이 있는데요. 컴퓨터나 콘솔 게임기 뿐만 아니라 토스터기, 전자레인지, 러닝머신 등 일반적으로 게임이 작동한다고 기대하기 힘든, 기상천외한 기기도 조이스틱으로 사용할 수 있도록 개발됐습니다. 무척 대중적이면서도 개발 소스가 많은 게임 중 하나지요.

GameNGen은 크게 두 과정을 거쳐 만들어졌습니다. 1) 데이터 수집을 위해 에이전트의 플레이를 훈련하는 과정과 2) 수집한 데이터를 기반으로 모델을 학습하는 과정입니다.

에이전트를 학습해, 데이터를 수집하는 과정부터 살펴볼까요? 게임은 세계를 시뮬레이션 한 결과로 볼 수 있습니다. 게임을 조작하면서 우리는 계속 게임 세계와 상호작용하죠. 환경과 상호작용을 통해 학습해 나가는 방식으로 강화학습을 떠올릴 수 있습니다. 에이전트 훈련에 생성에 필요한 각 과정을 기호로 표현하면 다음과 같습니다.

환경(Environment; E)
상태(State; S)
관찰(Observation, O)
행동(Action; A)
렌더링 로직(Value Function; V)
프로그램 로직(probability function; p)

‘DOOM’에서는 동적인 메모리가 S, 화면에 렌더링된 결과가 O, S에 따라 O를 렌더링하는 과정이 V, 사용자의 입력이 A, 사용자 입력에 따라 실행할 결과를 p라고 볼 수 있습니다. 일반적으로 강화학습을 통해 게임에서 얻을 수 있는 보상을 최대화하도록, 즉 좋은 플레이를 보이도록 하는 것이 핵심이지만 이 연구에서는 다릅니다. 인간과 유사한 플레이를 통해서 최대한 다양한 사례를 수집해야 합니다.

이렇게 에이전트의 행동(Action)과 관찰(Observation)을 수집하고, 해당 데이터로 생성 모델을 학습시킵니다. 학습에 활용한 이미지 생성 모델은 Stable Diffusion v1.4입니다. 기존에 텍스트 입력을 담당하는 부분 대신, 이 모델에는 이전 행동과 관찰된 결과를 조건으로 하여 이미지를 생성하도록 했습니다.

연구자들은 생성 훈련 과정에서 발생하는 Auto-regressive Drift 문제를 해결하기 위해 Noise Augmentation을 적용했습니다. Auto-regressive Drift는 시간에 따라 모델 출력이 점점 더 크게 오류를 누적해 가는 현상을 말하는데요. 훈련과 추론 과정에서 발생하는 차이로 이런 현상이 발생할 수 있습니다. 훈련 시에는 수집한 훈련 데이터로 실제 정보를 입력해 다음 프레임을 예측하도록 모델을 강제로 학습시킵니다(Teacher-forcing). 하지만 추론 시에는 출력된 결과가 다시 입력되는데요. 이 경우 한 번 노이즈가 발생하면 모델이 이 노이즈를 제어하지 못하고, 출력 결과에 노이즈가 누적돼 품질은 계속 악화됩니다.

Noise Augmentation은 이러한 차이를 줄이기 위해 인코딩된 프레임에 Gaussian Noise를 다양하게 추가하여 컨텍스트 프레임을 의도적으로 손상시키는 방법입니다. 모델을 일부러 예상치 못한 상황에 노출시켜, 실제 게임 환경과 같이 동적이고 예측 불가능한 상황에서도 견고한 성능을 유지할 수 있도록 하지요.

이렇게 학습한 결과, 인간이 직접 게임을 실행할 수 있도록 게임 엔진 모델이 개발됐습니다. 실제와 예상 플레이가 크게 다르지 않았는데요. 인간 평가자들이 봤을 때도, 실제 DOOM 플레이 영상과 GameNGen 플레이에서도 거의 구분이 가지 않을 정도라고 합니다.

(실제 게임 영상이 궁금한 분들은 🔗 여기를 참고해 주세요!)