🎥 Meta의 새로운 AI 모델, Movie Gen

Meta의 이미지, 영상 생성 모델은 이번이 처음은 아닙니다. Meta는 지금까지 두 개의 파운데이션 모델을 발표했는데요. 간단히 그 특징을 살펴보겠습니다. 첫 번째는 2022년 7월 발표된 Make-A-Scene입니다. 직관적인 이름에서 알 수 있듯이 간단한 스케치와 텍스트를 기반으로 원하는 이미지를 생성하는 모델입니다. 당시는 Midjourney, StableDiffusion 등 이미지 생성 모델이 주목받던 때였습니다. 새로운 모델은 이보다 더 뛰어난 성능을 보여주거나 차별화돼야 했죠. Meta는 텍스트뿐 아니라 특정한 이미지 조건(스케치)에 맞춰 생성해내는 차별점이 있었습니다. 덕분에 조금 더 창작자가 원하는 결과에 가깝게 이미지나 영상을 생성할 수 있었죠.

스케치를 기반으로 이미지를 생성하는 Make-A-Scene 모델 출처: Meta AI Blog <Greater creative control for AI image generation>

다음은 2023년 9월에 발표된 Emu입니다. Emu는 기존 이미지 생성 모델이 미학적인 디테일을 놓친다는 데 주목했습니다. 이에 Meta는 Diffusion 모델을 기반으로 소량의 이미지로 파인튜닝하여 디테일을 잡는 방법을 제안했습니다. 여러 데이터 속에서 작은 디테일을 찾는 것을 ‘Needles in a Haystack’이라고 하는데요. Meta는 이런 이미지의 디테일을 ‘모래밭에서 바늘 찾기’처럼 생각한 것입니다. Emu 이후에도 Emu-Edit을 발표하며 이미지의 일부분만 수정하는 모델을 제안하기도 했습니다. 마찬가지로 정교한 수정이 핵심입니다.

기존 이미지에 어울리도록 자연스럽게 이미지를 생성하는 Emu-Edit 출처: <Emu Edit: Precise Image Editing via Recognition and Generation Tasks> (Meta GenAI, 2023)

위 두 가지 모델에서 Meta는 ‘창작자의 자유로운 표현’을 강조했습니다. 즉, 창작자의 의도를 세부적으로 묘사할 수 있어야 한다는 주장인데요. 창작자가 생각하는 레퍼런스에 맞춰 결과물이 생성할 수 있어야 하고 세밀한 편집이 가능해야 합니다.

Meta의 생성 모델의 흐름과 최근 발표된 Movie Gen 모델에 대해 알아봤습니다. 이번 모델은 자유롭고 창의적인 표현을 위한 모델을 만들겠다는 Meta의 철학이 담긴 정수라고 볼 수 있습니다. Meta에 의하면 Sora, Runway, Kling 등 기존 모델보다 훨씬 뛰어난 성능을 보이는데요. 특히 기존 모델에서 쉽게 도전하지 못했던 Audio 모델까지 포함하여 사실상 영상 제작을 위한 올인원 모델이라고도 볼 수 있습니다.

이제 생성 기술은 이미지를 넘어 영상까지 도달했습니다. 또 얼마나 완성도 높은 생성 모델이 개발될지 기대됩니다.

: 인공지능(AI)을 활용한 연구가 올해 노벨상을 잇따라 수상했습니다. 데이비드 베이커, 데미스 허사비스, 존 점퍼 등이 노벨 화학상을 수상했는데요, 이들은 AI를 이용해 단백질 구조를 예측하고 신약 개발에 기여한 공로를 인정받았습니다. 또한, 머신러닝을 기반으로 한 물리학상은 존 홉필드와 제프리 힌턴이 수상했습니다. 이들은 인공신경망과 연상기억장치 개발 등을 통해 AI 분야에 기여했습니다. 특히, 허사비스 CEO는 과학자가 아닌데도 노벨 화학상을 수상해 주목받고 있습니다. 노벨위원회는 이들의 연구가 과학 발전에 큰 이정표가 될 것으로 평가하고 있습니다.

Apple, 0.3초만에 이미지의 깊이감을 예착하는 Depth Pro 개발

: Apple의 연구팀이 새로운 Depth Estimation 모델 'Depth Pro'를 개발했습니다. 이 모델은 단일 카메라로 측정된 고해상도의 심도 지도를 실시간으로 생성할 수 있으며, 카메라 내부의 메타데이터 없이도 절대적인 규모의 정확한 예측이 가능합니다. 'Depth Pro'는 무려 0.3초 내에 2.25메가픽셀의 심도 지도를 출력하는데요. 모델 구조는 효율적인 멀티스케일 비전 트랜스포머(ViT)를 사용하여 실제와 합성 데이터셋을 결합한 훈련 프로토콜로, 높은 메트릭 정확성과 섬세한 경계 추적을 달성했습니다. 또한 깊이 지도의 경계 정확성을 평가하기 위한 전용 평가 메트릭을 개발했다고 밝혔습니다. 이는 자율주행, AR 등의 기반 기술로 사용될 것으로 보입니다.

Tesla, 무인 로보 택시 ‘사이버캡’ 혹평

: Tesla가 자율주행 기술을 적용한 무인 택시, '사이버캡' 시제품을 공개했습니다. 이 택시는 운전대와 페달이 없으며, LA 워너브러더스 영화촬영 스튜디오에서 공개되었습니다. 이번 공개는 Tesla의 4680 배터리가 적용될 것이라는 예상과 함께 이차전지 시장에도 큰 영향을 미쳤습니다. 그러나 로보택시 공개 후 실망스럽다는 평가를 받으며 Tesla 주가는 9% 하락했는데요. 2026년부터 대량 생산을 시작할 계획이지만, 실제 생산 시기가 더 지연될 가능성이 크다는 일론 머스트의 발언에 영향을 받은 것으로 보입니다.