🔗 LLM 평가 플랫폼 무료 사전 등록하기 | 🔗 저작권 해결된 데이터셋 구매하기

그림 한 장, 텍스트 몇 줄, 혹은 사진 한 장으로 님만의 가상 세계를 만들 수 있다면 어떨까요? 올해 2월 구글이 공개한 Genie(Generative Interactive Environment)는 바로 그런 마법을 가능하게 하는 모델입니다.🪄

이번에는 구글이 후속작 Genie 2를 선보이며 World Model로 나아갈 것을 시사했는데요. AI가 세상을 이해하고 예측하며 행동할 수 있도록 돕는 World Model의 개념과, Genie 2가 어떤 혁신을 가져왔는지 이번 뉴스레터에서 함께 살펴보겠습니다. 🔥

이렇게 학습된 Genie 2는 다양한 요소를 묘사하여 생성할 수 있는 능력을 가지고 있습니다. 먼저, 기본이자 핵심인 행동 제어(Action Control)는 능력은 사용자가 키보드를 통해 특정 키를 눌렀을 때 해당 행동이 가상 환경에서 무엇을 의미하는지 해석하는 것을 의미합니다. 인간은 화살표 키를 눌렀을 때 캐릭터가 이동해야 한다고 인지하고 있지만, 모델은 학습하지 않으면 무엇을 움직여야 하는지 알기 어렵습니다. 하지만 Genie 2는 나무나 구름 등은 이동시키는 요소가 아니라 배경임을 스스로 파악합니다.

대안적 시나리오(Counterfactual Scenario) 생성 역시 Genie 2의 특별한 능력 중 하나입니다. 동일한 초기 상태에서 시작하지만, 사용자가 선택한 움직임에 따라 완전히 다른 결과가 나타날 수 있는데요. 이는 학습 중인 에이전트가 서로 다른 선택지를 경험할 수 있는 기회를 제공하며, AI가 다양한 시나리오를 통해 보다 포괄적인 학습을 할 수 있도록 돕습니다. 이러한 기능은 강화 학습 및 시뮬레이션 환경에서 특히 유용합니다.

위 이미지는 실제 게임 영상 같지만, 모두 Genie 2가 생성한 결과물입니다. 동일한 곳에서 출발했지만 어떤 버튼을 입력했느냐에 따라 결과가 달라지는 모습을 보여줍니다.

이밖에도 Genie 2는 긴 시간 동안 기억을 유지하여 화면에서 사라진 세계의 요소를 정확히 복원하는 장기 기억(Long Horizon Memory) 능력을 가지고 있습니다. 또한, 새로운 콘텐츠를 실시간으로 생성하면서도 최대 1분 동안 일관된 세계를 유지하는 긴 비디오 생성(Long Video Generation) 능력을 보여줍니다. 또한, 물리적 효과, 물의 움직임, 연기, 그리고 조명과 같은 시각적 디테일을 사실적으로 모델링하여 더욱 몰입감 있는 환경을 보여줍니다.

상호작용할 수 있는 환경을 생성했다면, 이제는 상호작용할 주체를 만들어주어야겠지요? 즉, 누군가는 버튼을 입력하고 행동을 제어해야 합니다. Google DeepMind의 연구자들은 올해 3월 개발한 SIMA 에이전트를 Genie 2가 생성한 새로운 3D 환경에 활용하여 그 성능을 평가했습니다. SIMA는 자연어로 주어진 프롬프트를 이해하고 이를 바탕으로 행동하는 에이전트로, Genie 2가 제공한 환경에서 키보드와 마우스를 사용해 아바타를 제어하며 사용자가 요청한 사항을 수행합니다. Google DeepMind는 여기에 이미지 생성 모델 Imagen 3까지 더해 완벽한 자동화 체계를 구축했습니다.

위 이미지는 Imagen 3로 생성한 게임 속 한 장면입니다. 왼쪽에는 빨간문, 오른쪽에는 파란문이 있지요? 사용자의 조작이나 명령에 따라 게임 결과가 달라질텐데요. 이때, SIMA에 프롬프트를 입력하면 SIMA는 캐릭터를 어떻게 움직여야 하는지 조종하고 Genie는 그에 맞게 장면을 생성해줍니다.

이러한 기능은 Genie 2가 단순히 에이전트의 훈련 데이터로 활용되는 것을 넘어서게 해줍니다. AI 에이전트의 능력을 평가하기 위한, 미리 경험해보지 못한 환경을 생성할 수 있다는 점이 매우 중요한데요. 연구자들은 Genie 2를 활용하여 새로운 환경을 만들고 에이전트의 일반화 능력과 문제 해결 능력을 시험할 수 있게 되었습니다.

🔥금융보안원과 함께하는 AI 이야기🔥

AI 데이터의 기준을 만듭니다