피지컬 AI에 대한 기대가 커지면서 뛰어난 멀티모달 모델에 대한 연구 또한 활발해지고 있습니다. 지금까지는 주로 성능이 좋은 LLM에 이미지 이해나 생성 기능을 붙이는 방식으로 멀티모달 AI를 만들어왔는데요.

최근 메타(Meta)와 뉴욕대학교(New York University) 연구진은 텍스트와 시각을 처음부터 함께 학습하는 멀티모달 사전학습 방식에 대한 연구 결과를 공개했습니다. 연구진은 멀티모달 모델을 기존처럼 LLM에 기능을 덧붙이는 방식으로 만들기보다, 처음부터 텍스트와 시각을 함께 학습시키는 것이 더 강한 시너지를 낼 수 있다고 주장하는데요. 그렇다면 과연 어떤 시각 표현이 좋은지, 어떤 데이터를 섞어야 하는지, 또 어떤 학습 구조가 멀티모달에 특히 잘 맞는지 하나씩 살펴보겠습니다. 🚀

텍스트와 시각을 처음부터 함께 학습한 멀티모달 모델은 실제로 어떤 효과를 낼까요?

사실 모델 구조는 비교적 단순합니다. 하나의 모델이 언어와 시각 정보를 모두 처리하며, 텍스트는 일반적인 LLM처럼 다음 단어를 예측하는 방식으로 학습되지요. 반면 이미지와 비디오는 노이즈가 섞인 상태에서 장면을 점차 복원하도록 학습됩니다. 즉, 하나의 모델이 텍스트를 이해하고 생성하는 능력과, 이미지를 이해하고 만들어내는 능력을 같은 구조 안에서 동시에 익히는 방식입니다.

 멀티모달 사전학습에 사용된 데이터 유형 예시. 출처: 논문.

대표적인 기본 모델은 총 2.3B 파라미터 규모이며, 토큰당 약 1.5B 파라미터가 실제로 활성화되는 구조입니다. 대표 실험에서는 520B 텍스트 토큰과 520B 멀티모달 토큰을 사용해 총 약 1T 토큰 규모로 학습했지요. 이렇게 대규모 텍스트와 시각 데이터를 함께 학습했을 때 어떤 결과가 나타났을까요?🤔

멀티모달 모델에서 의외로 까다로운 문제 중 하나는 이미지를 이해하는 데 좋은 표현(representation)과 생성하는 데 좋은 표현이 꼭 같지 않다는 점입니다. 기존에는 이미지 이해를 위해 Semantic Encoder를 사용하고, 생성을 위해서는 VAE Latent나 별도의 생성형 토큰을 개별적으로 사용하는 경우가 많았는데요. 이렇게 서로 다른 두 체계를 혼용하면 모델 구조가 파편화되고 전체 시스템의 연산 효율도 떨어지게 됩니다.

여기서 연구진은 이미지 정보를 압축해서 표현하는 모델인 RAE(Representation Autoencoder)를 해법으로 제시합니다. 여러 시각 표현을 비교한 결과, RAE 기반 표현이 이미지 이해와 생성 양쪽에서 가장 좋은 균형을 보였기 때문이지요. 쉽게 말해, 하나의 시각 표현만으로도 이미지를 잘 이해하는 능력과 이미지를 잘 만들어내는 능력을 동시에 뒷받침할 수 있다는 뜻입니다. 기존에는 이해와 생성을 위해 서로 다른 표현 체계를 별도로 운영해야 했지만, 이번 연구는 하나의 시각 표현(RAE)이 두 영역을 모두 커버할 수 있다는 가능성을 보여줍니다.💡

혹시 LLM에 이미지나 비디오를 많이 넣으면 언어 성능이 떨어지는 건 아닐까?

멀티모달 학습을 두고 업계에서 종종 하는 걱정입니다. 서로 다른 종류의 데이터가 오히려 학습을 방해하지 않을까 하는 우려이지요. 이에 대해 연구진은 먼저 비디오 같은 시각 데이터가 언어 성능을 거의 해치지 않으며, 경우에 따라서는 텍스트만 학습한 모델과 비슷하거나 더 좋은 언어 성능을 보일 수 있다고 설명합니다.

연구진은 이미지 데이터가 추가됐을 때 언어 성능이 실제로 얼마나 유지되는지를 확인했는데요. 아래 그래프를 함께 살펴볼까요?

텍스트만 학습한 모델과 텍스트+비디오 모델의 언어 성능(PPL)을 비교한 결과. 출처: 논문.

그래프 속 PPL(perplexity)은 언어 모델이 다음 단어를 얼마나 잘 예측하는지를 나타내는 지표로, 숫자가 낮을수록 성능이 좋습니다. 파란 막대는 텍스트만 학습한 경우이고, 초록 막대는 여기에 비디오 데이터를 함께 넣은 경우인데요. 초록 막대로 표시된 텍스트 + 비디오 조합의 모델이, 파란 막대로 표시된 텍스트만 학습한 모델보다 더 낮은 PPL을 기록한 모습이 보이지요? 이는 시각 데이터가 언어 모델링과 충돌하지 않으며, 경우에 따라 도움이 될 가능성도 있음을 시사합니다.

물론 이미지-텍스트 쌍(MetaCLIP) 데이터가 포함된 경우인 노란 막대와 빨간 막대를 보면, 언어 성능이 미세하게 밀려나는 경향을 보이기도 합니다. 하지만 이는 시각 정보 자체 때문이 아니라, 이미지 캡션 특유의 말투나 문장 구조가 일반적인 학습 텍스트 분포와 차이가 있기 때문에 발생하는 현상이라고 연구진은 분석합니다. 시각 데이터 자체보다는 데이터의 분포와 목적이 중요하다는 결론이지요.

멀티모달 사전학습의 VQA 성능 비교 그래프. 출처: 논문.

위 그래프를 살펴볼까요? 동일한 조건에서 파인튜닝을 하더라도, 사전에 멀티모달 데이터를 골고루 학습한 모델(진한 막대)은 텍스트만 공부했던 모델(연한 막대)보다 거의 모든 설정에서 성적이 좋습니다. 특히 SigLIP 2 설정에서는 멀티모달 사전학습 모델이 40.3%를 기록했는데요. 같은 설정에서 텍스트만 사전학습한 모델은 27.8%에 그쳤습니다. 거의 1.5배에 가까운 차이가 나지요! 😮

이번 연구는 단순한 멀티모달 연구를 뛰어넘습니다. 모델이 단순히 이미지를 보고 그리는 수준을 넘어, 특정 행동에 따라 세상이 어떻게 변할지 예측하는 '월드 모델' 능력을 갖출 수 있는지까지 탐구했기 때문인데요. 연구진은 이를 위해 내비게이션 환경에서 과거 장면 프레임들과 하나의 행동을 입력으로 주고, 그 결과로 나타날 다음 장면을 예측하는 실험을 수행했습니다.

텍스트 토큰으로 인코딩된 내비게이션 행동. 출처: 논문.

연구진은 별도의 특수한 벡터를 설계하는 대신, 이동 방향이나 회전값 같은 액션 정보를 숫자 문자열 형태의 텍스트 토큰으로 입력했습니다. 예를 들어 "action: dx=..., dy=..., dyaw=..., rel_t=..." 같은 형식이지요. 위 이미지에서 볼 수 있듯, 4장의 과거 장면(Context Frames) 뒤에 이러한 행동 문자열을 덧붙이면 모델이 그 결과로 나타날 다음 장면(Predicted)을 생성하는 방식입니다. 덕분에 모델은 별도의 구조 변경 없이도 이미지와 텍스트를 동시에 처리하며 자연스럽게 다음 시각 상태를 예측할 수 있습니다.

또한 연구진은 전용 내비게이션 데이터만 무작정 늘리는 것보다, 일반 비디오나 멀티모달 데이터를 함께 섞어 학습했을 때 예측 성능이 훨씬 우수하다는 점을 포착했는데요. 특히 전체 학습량은 유지한 채 도메인 데이터의 비중만 조절해 본 결과, 단 1% 수준의 데이터만으로도 다음 상태를 예측하는 '월드 모델링' 성능이 거의 정점에 도달하는 모습도 확인됐습니다.🎯