📰 언어는 라마(LLaMA), 이미지는 '에뮤(Emu)'

Meta / T2V / Video / EMU / LLaMA

2023. 11. 30.

2023년 11월 5주차 셀렉트스타 뉴스레터

글: 권혁주 ㅣ 검수: 정인영

📰 메타의 비디오 생성 모델 '에뮤(Emu)'

"언어 생성 모델 '라마(LLaMA)'와 이미지 모델 '에뮤(Emu)'" 이미지. 달리3.

11월 중순, 샘 올트먼 CEO가 해고되는 '오픈AI 사태'가 벌어지는 동안 메타(Meta)에서는 자체 이미지 생성 파운데이션 모델 '에뮤(Emu)'의 새로운 기능을 소개했습니다.

바로 텍스트를 기반으로 영상을 생성하는 ‘에뮤 비디오(Emu Video)’와 이미지를 편집하는 ‘에뮤 에딧(Emu Edit)’입니다. 에뮤는 메타의 인스타그램 이미지 편집 도구와 메시지에서 이미지를 생성하는 이매진(Imagin) 기능에 활용되는데요, 이번 레터에서는 ‘에뮤 비디오’에 대해 살펴 보겠습니다.

*에뮤(Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack)는 올해 '메타 커넥트(Meta Connect)'에서 공개된 메타의 첫 번째 이미지 생성 파운데이션 모델입니다. 11억 개의 이미지-텍스트 쌍으로 사전 훈련한 확산(Diffusion) 모델을, 고품질 이미지 수천 개로 파인 튜닝했습니다.

에뮤라는 이름은 타조처럼 생긴 조류의 일종입니다. 텍스트 파운데이션 모델 ‘라마’와 비슷한듯 많이 달라보입니다 :)

두 번에 걸쳐 영상을 생성하는 '에뮤 비디오'

'A panda bear driving a car.' Meta AI, Emu Video

이번에 공개된 ‘에뮤 비디오(Emu Video)’는 입력 텍스트에 따라 영상을 만드는 텍스트-비디오(text to video, t2v) 생성 모델입니다. 기존 영상 작업의 주된 패러다임은 확산 모델을 사용하여 모든 비디오 프레임을 한 번에 생성하는 것이었지만, 메타 연구진은 생성 과정을 두 단계로 나눴습니다.

①먼저 입력 프롬프트에 알맞은 이미지 생성하고, ②그다음 생성된 이미지와 입력 프롬프트를 둘 다 참조하여 영상을 생성합니다. 이 방법은 기존 자연어 처리(NLP) 분야에서 언어 모델이 문장을 생성하는 방법을 차용한 것입니다. *GPT를 포함한 캐주얼 언어 모델(Casual Language Model)은 이전에 예측한 단어에 기반 다음 단어를 이어 나갑니다.

두 단계로 나눈 텍스트-비디오 생성 작업은 먼저 텍스트 'p'에 따라 이미지 'I'를 생성하고, 그 다음에 생성된 이미지와 텍스트를 사용하여 비디오 V를 생성합니다.
'Emu Video: Factorizing Text-to-Video Generation by Explicit Image Conditioning'

에뮤 비디오에서는 이 방식을 비디오 생성에 적용해, 비디오의 각 프레임을 차례대로 생성하지 않고 먼저 하나의 완전한 이미지를 생성한 다음 비디오의 나머지 부분을 생성합니다.

이렇게 하면 이미 완성된 이미지를 기반으로 영상의 프레임을 차례로 생성하기 때문에 AI 모델이 더 정확한 예측을 할 수 있습니다. 메타 연구진은 논문을 통해 “직관적으로, 모델에 시작 이미지와 텍스트를 제공하는 것은 이미지가 미래에 어떻게 진화할지만 예측하면 되기 때문에 비디오 생성을 더 쉽게 만듭니다.”고 밝혔습니다.

“Intuitively, giving the model a starting image and text makes video generation easier since the model only needs to predict how the image will evolve in the future"

인간 평가자가 EMU VIDEO와 기존 영상 생성 모델을 비교했을 때의 승률.

연구진에 따르면 이러한 생성 방법은 같은 양의 훈련 데이터, 컴퓨팅 자원, 훈련 가능한 매개변수를 고려할 때에도 직접적인 T2V 방법들을 능가합니다.

실제 성능 측정 결과 두 개의 확산 모델만 사용하여 4초 비디오를 생성한 에뮤 비디오(Emu Video)는 인간 비교 평가에서 기존 비디오 생성 모델들을 큰 차이로 이겼습니다.

특히 에뮤 비디오는 ‘비디오 품질’과 ‘텍스트 프롬프트에 대한 충실도’ 두 가지 지표에서 메타가 작년 공개한 '메이커비디오(Make-A-Video)'를 각각 96%, 85%로 앞섰으며, 상업적 솔루션인 Gen2와 Pika Labs보다도 더 나은 성능을 보였습니다.

링크에서 데모를 체험해 보세요 :)

11월 5주 AI 뉴스 클리핑

IT 전문기자 챗봇을 제작하고 시연하는 황민영 셀렉트스타 부대표 (사진=셀렉트스타)

"AI 기술 보편화...가치 창출 핵심은 '데이터'"ㅣ AI타임스

“20년 전 인터넷 회사라는 용어가 사라졌듯, AI 회사라는 개념도 순식간에 없어질 겁니다. 의미 있는 것은 어떤 버티컬에서 어떤 가치를 만들어 내느냐이며, 결국 가장 중요한 것은 데이터입니다.” 인공지능(AI) 데이터 전문 셀렉트스타(대표 김세엽)의 공동 창업자인 황민영 부대표는 이달 초 열린 오픈AI의 개발자 컨퍼런스 '데브데이'를 화두에 올렸다.

Adobe, 텍스트-비디오 AI 플랫폼 Rephrase 인수ㅣ벤처비트

거래 비용은 아직 공개되지 않았지만, 이번 움직임은 지난 1년 동안 점진적으로 AI 업그레이드를 진행해온 Adobe의 Creative Cloud 제품군을 강화할 것으로 예상됩니다. 특히 Rephrase는 회사가 텍스트만으로 전문가 수준의 비디오를 생성할 수 있는 능력을 고객에게 제공하는 데 도움이 될 것입니다.

범용인공지능 시대 오나... 오픈AI ‘큐스타’ 논란 ㅣ 매일경제

샘 올트먼 오픈AI 최고경영자(CEO)가 축출되는 과정에서 오픈AI가 범용인공지능(AGI) 구현을 위한 프로그램을 개발했다는 주장이 제기됐다. (...) 다만 미국 매체 더 버지는 “오픈AI는 이사회가 큐스타에 대한 보고를 받은 바 없다고 밝혔으며 올트먼 해임과도 관계가 없다고 밝혔다”라고 보도했다.