내전과 학살... 지금은

ICLR 2023 논문 톺아보기

그럼, ICLR 2023에서 어떤 논문들이 발표되었는지 소개 해볼까합니다. Top-tier 학회인 만큼 ICLR에서 제시된 논문들을 보면, 어느 정도 AI 발전의 방향성을 짚어볼 수 있는데, Zeta Alpha라는 AI 연구 분석 업체에서 선정한 Top 10 논문 중 3 건을 엄선하여 소개 해드리겠습니다.

Dino v2

메타(Meta)에서는 2021년 4월 말, 자기지도 학습(Self-supervised Learning) 방식의 컴퓨터 비전 모델 Dino를 소개했었습니다. 자기지도 학습이란 별도의 훈련 레이블이 제공되지 않고, 스스로 정답을 만들고 예측하며 학습하는 방식입니다. Dino는 데이터셋에서 무작위로 이미지를 추출한 후, 이미지를 서로 다른 두 그룹으로 나누고, 두 그룹 간의 비교를 통해 모델을 학습합니다. 이미지를 임베딩한 뒤, 이미지 간의 유사도를 계산하는 방식으로요. 이때 학습에 활용된 모델로 ViT가 활용되었습니다.

그리고 2년만에 두 번째 버전을 공개했는데요. Dino v2는 총 1억 4200만 개의 대규모 이미지 데이터셋을 개발하여 학습하였습니다. 그리고 학습 알고리즘을 개선하고, 안정화하여 메모리 사용량을 획기적으로 줄일 수 있스빈다.

가장 큰 변화는 모델이 가벼워졌다는 것입니다. 보통 많은 데이터로 학습하게 되면 자연스레 모델의 크기도 커지게 됩니다. 하지만 Dino v2에서는 Distillation(증류)을 통해 모델을 경량화하였습니다.

Diffusion 모델에서 생성된 합성 데이터는 ImageNet 분류 성능을 향상시킨다

구글 브레인 연구진은 최근 주목받고 있는 Diffusion 모델을 이용하여 데이터셋을 증강하였습니다. 기존의 널리 활용되는 데이터 증강(Augmentation) 방식은 뒤집거나, 일부를 잘라내거나 하는 단순한 작업이 많았는데요. 이런 작업은 데이터셋을 늘리는 데 도움이 되기는 하지만 완전히 새로운 이미지를 만들어내지는 못합니다.

생성적 데이터 증강(Generative Data Augmentation)은 이런 증강 방식을 보완하여 이미지 합성(Synthesis)을 통해 클래스마다 새로운 이미지를 생성해내는 방식입니다. 대표적인 이미지 데이터셋 중 하나인 ImageNet 데이터를 보강하여 실험을 해보았더니, ResNet과 ViT 모델에서 모두 개선된 성능을 보였습니다.

이미지간의 차이가 느껴지시나요? 사실 좌측과 우측 모두 Imagen이라는 Diffusion 기반 모델로 생성한 결과입니다. 좌측은 미세조정 학습(Fine-tuning)한 결과물이고, 우측은 기본적(Vanilla)인 Imagen 모델입니다. 기존 데이터셋이 잘 예측하지 못하는 데이터에 대해 고해상도의 학습 이미지를 생성해낸 것을 알 수 있습니다.

Text2Performer

이제는 텍스트 프롬프트를 입력받아 영상을 만드는 시대가 되었는데요 작년 Text-to-Image 모델에서 더 나아가 Text-to-Video의 시대가 시작되었음을 이번 ICLR에서 구글이 보여주었습니다.

Text2Performer는 이름처럼 텍스트 프롬프트를 입력하면 자연스러운 인간의 얼굴, 표정, 움직임을 영상으로 생성하는 모델입니다.

모델의 아키텍처는 다소 복잡하기 때문에 자세한 설명은 건너뛰고, 핵심적인 부분만 요약적으로 설명하겠습니다. 모델은 크게 두 부분으로 나뉘는데요. 우선, 텍스트를 기반으로 외모와 자세를 샘플링합니다. 그런 다음 모션을 샘플링하여 가장 자연스럽게 영상을 생성하는데요. 마지막 단계에서 모션-인식 마스크(Motion-Aware Masking Strategy)를 적용하여, 영상에서 중요한 시간 일관성을 유지합니다.

Text2Performer는 고해상도로 아주 자연스럽게 영상을 생성해냅니다. 모델이 어떤 구조를 가지고 있는지보다도 이런 기술이 가능하다는 것에 주목할 필요가 있습니다. 이제 정말 텍스트로 자연스러운 영상 더 나아가 영화를 제작하는 것도 가능할지 모르겠습니다.

이번 뉴스레터에서는 ICLR2023에서 발표된 3가지 주요 논문을 소개해드렸습니다. 컴퓨터 비전 분야의 논문이 많이 소개했는데 실제로는 자연어처리, 강화학습 등 다양한 분야의 모델도 발표되었습니다. 아무리 ChatGPT가 주목 받고 있다고 하지만, 다양한 분야에서 연구는 계속되고 있습니다.  

셀렉트스타가 AI EXPO KOREA 2023에 참가합니다 

• 타견적대비 더많이 해드리는 건 기본
• 모든 고객사에게 1:1 AI 멘토링 지원 
• 업계 최고 투자자들의 '투자 검토' 기회 부여
• VC, 법률, 특허보호관련 특강 참석 기회

KAIST 홍승훈 교수 연구팀, ICLR에서 최우수 논문상 수상

제출된 1574편의 논문 중 상위 4편이 수상(기사링크)

KAIST 홍승훈 교수 연구팀이 ICLR 2023에서 한국인 최초로 최우수논문상을 수상하였습니다. 홍 교수 팀은 비전 분야의 픽셀 레이블링 문제를 적은 수의 데이터로도 해결할 수 있는 범용적 방법론인 ‘비주얼 토큰 매칭’ 기법을 제안하였습니다.

파이썬보다 무려 35,000배 빠르다

파이썬보다 최대 35,000배 빠른 프로그래밍 언어 모조(Mojo)등장(기사링크)

AI 개발용 언어 모조(Mojo)가 출시되었습니다. 기존 파이썬 언어처럼 쉽지만 C언어처럼 빠른 처리 속도를 보인다는 것이 특징이고 현재 개발 단계에 있어 대기 리스트에 등록하면 모조 언어를 활용해보고 피드백을 제출할 수 있습니다.

네이버, 카카오 초거대 AI 개발 중

네이버와 카카오 모두 올해 하반기부터 초거대 AI 모델을 출시 예정(기사링크)

바이든, AI 기업 대표 회의 참여

AI의 잠재력과 위험성에 대해 바이든 행정부의 관심을 보여준 것(기사링크)

구글, 마이크로소프트 등 빅테크 기업이 백악관에 초대를 받아 AI 산업에 대한 논의를 진행하였습니다. 바이든 대통령도 예정에 없던 깜짝 방문을 했다고 하는데요. 바이든 행정부가 AI 기술력의 잠재력과 위험성이 대해 얼마나 중대한 사안으로 여기고 있는지 상징적으로 보여주는 것입니다.