여기에는 다양한 학습 아이디어가 녹아있는데요. 하나씩 살펴보도록 하겠습니다.

1. 영상 압축(Video Compression)

Sora는 영상이 입력되면 이를 잠재 공간(Latent Space)으로 인코딩합니다. Stable Diffusion에서 보여줬던 아이디어와 유사합니다. 잠재 공간으로 정보를 압축하게 되면 학습 속도를 크게 개선할 수 있을 뿐만 아니라 주요 특징을 추출할 수 있습니다. 이렇게 압축된 정보는 마지막 단계에서 디코딩 되어 다시 픽셀 수준으로 복원됩니다.

이미지 데이터 패치 분할 과정. 출처: <Video generation models as world simulators>, 오픈AI

연구진은 Sora를 개발하면서 LLM의 성공으로부터 아이디어를 착안했다고 밝혔습니다. LLM을 학습할 때 입력값을 여러 토큰으로 구분하여 코드나 수학 공식 생성으로 확장한 것처럼, 이미지의 일부를 ‘토큰’처럼 여기고 이를 비전 분야의 생성으로 확장하고자 한 것입니다. 이렇게 토큰화된 이미지를 패치(Patch)라고 부릅니다.

16 × 16의 이미지를 하나의 ‘단어’로 취급했다는 점에서 ViT(Vision Transformer와 아이디어가 유사한데요. 그동안 ViT는 뛰어난 성능을 보여주었습니다. 다만 이 정보로 영상을 생성하는 것은 다른 영역입니다. 여기에 새로운 학습 구조가 반영됐습니다.

압축된 정보로부터 패치로 분할된 정보는 Diffusion Transformer에 입력됩니다. Diffusion Transformer란 Diffusion 모델과 Transformer 모델의 장점을 결합한 학습 방법인데요. Diffusion은 고퀄리티의 이미지를 생성하고, Transformer는 높은 확장성을 가집니다. Sora가 다른 모델들과 차별화되는 지점이라고 할 수 있습니다.

Sora가 노이즈에서 선명한 이미지를 추출하는 과정. 출처: <Video generation models as world simulators>, 오픈AI

일반적인 Diffusion 모델의 학습 구조처럼, Transformer로 추출된 패치에 노이즈를 주입하고 원본의 이미지를 생성하는 구조로 학습을 진행합니다. 이 방식으로 스케일 확장이 가능해져 Sora는 1분 가까이 되는 영상을 고화질로 생성할 수 있습니다. 기존에 다른 모델들은 짧은 길이의 영상이나 고정된 비율밖에 생성이 불가능했다는 점을 생각하면 한 단계 더 나아갔다고 볼 수 있습니다.

학습 구조뿐만 아니라 데이터의 양과 질도 달라졌습니다. 텍스트로 영상을 생성하는 모델을 만들기 위해서는 영상을 설명하는 텍스트인 캡션(Caption)이 필요합니다. 하지만 사용자가 AI에게 요청하는 텍스트와 실제 학습 데이터인 캡션에는 차이가 있을 수 있습니다.

사용자는 텍스트를 ‘묘사하듯’ 작성하지만, 일반적인 데이터는 포괄적인 설명에 그치는 경우가 많습니다. 이 간극을 극복하기 위해서는 학습 데이터의 캡션을 재생성해야 합니다.

이를 위해 영상의 내용을 묘사하도록 캡션을 생성하는 모델을 먼저 훈련시키고, 해당 모델을 다른 학습 데이터에 적용하여 많은 양의 데이터를 레이블링했습니다. 이를 Re-Captioning이라고 합니다. 또한 생성된 텍스트를 더 상세하게 작성하도록 만들기 위해 GPT를 활용했습니다. 이 전략은 오픈AI가 text-to-image 모델 DALL·E 3에 활용한 전략과 유사합니다. 

OpenAI 연구진은 실패 사례를 공개하며 한계점 또한 보여줍니다. 아래 이미지를 보시면 컵이 깨져야 물이 새는 것이 자연스러운데, 물이 컵을 통과하며 쏟아집니다.

Sora의 현재 한계를 보여주는 영상 캡쳐. 출처: <Video generation models as world simulators>, 오픈AI

물리적 현상에 대한 시뮬레이션은 OpenAI가 해결해야 할 다음 과제인데요. 지금은 Sora에 한계가 있지만, 발전 가능성에는 한계가 없어 보입니다.