과거 AI는 한 가지 태스크에 최적화된 성능을 보유했습니다. 그러나 오늘날 AI 서비스는 멀티모달 데이터를 기본적으로 다루곤 합니다. ChatGPT, Gemini, Claude 3.5 모두 사용자가 제시한 텍스트와 이미지를 기반으로 질문을 이해하고 답변할 수 있듯이 말이죠. 

크게 보면 AI는 데이터를 학습한 컴퓨팅 모델입니다. 즉, 주어진 데이터를 토대로 특정한 방식을 따라 학습하도록 만들어졌습니다. 멀티모달처럼 다양한 능력을 보유한 AI는 데이터와 모델 구조로부터 출발하는데요. 

MIT 연구진은 플라톤의 ‘이데아’ 사상을 빌려옵니다. ‘이데아’란 간단히 설명하자면 어떤 대상이 가지고 있는 완벽한 본질입니다. 우리가 경험하는 물리적 세계는 모두 이 이데아에 대한 불완전한 반영이라고 볼 수 있죠. 플라톤은 ‘동굴의 우화’를 예로 드는데요. 사람들이 어두운 동굴 안에 갇혀 있습니다. 그들 뒤에서 불이 타오르고 있고요. 사람들은 벽에 비치는 그림자만을 볼 수 있고, 그것이 현실이라고 믿습니다. 이 ‘동굴의 우화’와 모델이 학습하는 과정이 매우 유사하다고 볼 수 있습니다. 딥러닝 모델은 제한된 데이터(동굴에서의 그림자)로부터 현실 세계의 본질을 학습하려 합니다. 이 모델들은 데이터를 통해 현실의 복잡한 구조를 파악하려 하지만, 이 데이터는 현실의 불완전한 반영일 뿐입니다.

출처: 위키피디아 ’동굴의 우화’

동굴을 벗어나려면 불완전한 데이터를 기반으로 완벽한 본질을 찾아야 합니다. 연구진은 여기서 철학적 개념을 다시 한 번 꺼내듭니다. 바로 ‘수렴적 실재론(Convergent Realism)’입니다. 말이 다소 어렵게 느껴지는데요. 쉽게 말하면, 과학이 발전할수록 우리는 참(본질)에 더욱 가까워진다는 것입니다. 딥러닝 세계에서는 더 많은 데이터가 누적될수록 본질에 가까워진다고 볼 수 있겠죠.

대문호 톨스토이의 작품 '안나 카레니나'는 행복한 가정이 모두 비슷한 모습을 가지고 있다는 첫 문장이 유명합니다. 이번 논문에도 적용이 가능한데요. 모든 효율적인 모델은 '행복한 표현(Happy Representation)'을 통해 현실을 유사한 방식으로 반영한다는 개념을 설명합니다. 이 이론은 모든 성공적인 모델이 일종의 공통된 현실의 통계적 모델로 수렴할 가능성을 제시합니다. 모든 성공한 모델은 사실 비슷한 모습을 가지고 있을 테니까요.

결과적으로 논문에서 이야기하는 것은 하나입니다. ‘세상의 본질을 임베딩 공간 안에 표현할 수 있다.’ 이를 도식화하면 다음과 같은 모습니다.

위 이미지는 해당 논문의 핵심을 설명합니다. 우리가 알고 있는 본질은 Z입니다. Z가 어떤 상(Image)으로 표현된다면 X와 같은 벡터로 표현될 것이고, 텍스트로 설명된다면 Y와 같은 벡터로 표현될 것입니다. Z를 표현한 X를 통해 Y를 추론할 수 있겠지요. 반대로 이미지와 텍스트는 동시에 동일한 본질인 Z로 수렴해야 합니다. 그렇다면 이 가설에 대해 어떻게 입증할 수 있을까요?

오른쪽 그림과 같이 모델 표현(Model Representation)을 2차원으로 시각화한 UMAP을 살펴본 결과, 해결한 태스크가 많을수록(파란색을 띨수록) 해당 분포가 더욱 밀집된 경향이 나타난다. 출처: <The Platonic Representation Hypothesis> (Huh et al., 2024)

모델은 크기가 커질수록 성능이 좋아집니다. 작은 모델에 비해 큰 모델에서 다른 데이터간의 정렬(Alignment) 효과가 더욱 크다고 밝혀졌는데요. 이처럼 높은 전이(Transfer) 능력을 가진 기반 모델은 모두 유사하게 밀집된 표현 집합을 형성하지만, 반대로 낮은 성능을 보이는 모델은 각기 다른 표현을 가지게 됩니다.

이유가 무엇일까요? 세 가지 핵심 가설을 살펴보겠습니다.

이 가설은 어떤 형식의 학습 데이터라도 동일한 표현 공간을 공유할 수 있다고 말합니다. 즉, 멀티모달 데이터에 관해 더 본질에 가까운 표현을 할 수 있고 그 결과로 더욱 좋은 성능으로 이어지도록 학습할 수 있다는 주장이지요. 만약 이 가설이 실제로 이루어져 본질인 Z를 더욱 잘 표현할 수 있다면 우리가 사는 세계를 그대로 모델링할 수 있을지도 모릅니다. 더 나아가 플라톤이 설명한 본질이 무엇인지에 대해서도 소명할 수 있겠지요?

: OpenAI가 더욱 비용 효율적인 작은 모델인 GPT-4o mini를 발표했습니다. 이 모델은 기존 모델보다 훨씬 저렴한 가격으로 제공되면서 동시에 텍스트와 이미지 처리를 지원합니다. 이제 ChatGPT에서도 GPT-3.5는 사라지고 그 자리에 GPT-4o mini가 대체합니다.

Transformer의 한계를 뛰어 넘을 새로운 아키텍처, TTT

: Transformer 모델 구조의 한계를 넘어서기 위해 새로운 아키텍처인 테스트 타임 트레이닝(TTT)이 등장했습니다. 이 새로운 방식은 Transformer의 고질적인 전력 소모 문제를 해결할 수 있는 가능성을 보인다고 알려져 이목을 끌고 있습니다. 

Mistral, 고급 코딩에 특화된 Codestral Mamba 공개

: 프랑스의 AI 스타트업 Mistral AI가 코딩에 특화된 Codestral Mamba를 공개했습니다. Mamba는 이론적으로 무한한 길이의 시퀀스를 모델링할 수 있는 능력을 가지고 있어, 입력 길이에 관계없이 빠른 응답을 가능하게 합니다. Codestral Mamba는 HuggingFace에서 가중치 원본을 다운로드할 수 있으며, 로컬 환경에서 많은 도움을 줄 수 있을 것으로 보입니다.