Computer Vision에 Transformer의 습격
이미지를 주로 다루는 컴퓨터 비전 영역에는 CNN이 주류를 차지해왔습니다. 하지만 요즘 Transformer 블럭을 근간으로 한 모델을 속속들이 등장하고 있습니다. Transformer는 자연어 처리 분야, 그중에서도 기계 번역 분야에서 줄곧 활용되어 왔습니다. 하지만 2020년대 들어서 점차 컴퓨터 비전을 비롯한 기타 영역으로 확장하더니 이제는 거의 모든 분야에서 Transformer를 찾아볼 수 있습니다.
Zeta Alpha의 연구에 따르면 Transformer가 활용되는 빈도는 텍스트에서 41%, 이미지에서 22%라고 합니다. 2020년대 이전에 텍스트에서 80%를 넘게 차지했던 것에 비하면 확실히 범용적으로 활용되고 있음을 알 수 있습니다.
Diffusion 모델은 GAN을 대체할 것인가?
이미지 생성 모델로 가장 대표적인 것이 2014년에 공개된 GAN 모델이었는데요, 이제는 이미지 생성의 왕좌를 넘겨줄 것 같습니다. 근래 가장 뜨거운 감자였던 Text-to-Image의 핵심을 이루고 있는 모델은 Diffusion입니다. Diffusion 모델은 기존 이미지에 노이즈를 조금씩 추가하고, 다시 노이즈를 없애며 복원하는 과정에서 이미지의 특성을 학습하는 것이 특징입니다. 이렇게 디노이징(denoising)하는 과정은 느릴 수밖에 없지만 점차 학습 추론 속도가 개선되고 뛰어난 양질의 결과물을 보여주면서 점차 주목 받고 있는 모델입니다.
그리고 이제 Diffusion은 다른 영역을 넘보고 있습니다. 앞서 설명한 Transformer가 NLP에서 Vision으로 넘어왔다면, Diffusion은 Vision에서 NLP로 확장되고 있습니다. 여기서 그치지 않고 오디오나 비디오 등 다양한 분야로 확장할 수 있는 가능성까지 기대해볼 수 있을 것 같습니다.
Text-to-Image 열풍, 그리고 Text-to-Video의 등장
Text-to-Image가 이제 일반인들에게 공개되었습니다. Stability.ai에서 공개한 Stable Diffusion이 오픈 소스로 공개되면서 많은 사람들이 다양한 작품을 만들어내고 SNS에 공유하고 있습니다.
사실 Text-to-Image는 2021년 1월에 공개된 DALL-E가 서막을 열었습니다. 불과 15개월만에 DALL-E mini를 통해 일반인들에게 공개되었고, 얼마 지나지 않아 고품질의 Text-to-Image 모델의 시대가 보편화되었습니다.
이런 열풍에 뒤이어 Google과 Meta에서는 Text-to-Video 모델을 선보였습니다. 각각 9월 말과 10월 초, Meta는 Make-A-Video를, Google은 Imagen Video를 공개합니다. 아직은 짤막한 영상을 만들어내는 수준이지만 이 역시 1-2년 뒤에는 현재의 Stable Diffusion처럼 뛰어난 퀄리티로 공개될지도 모르겠습니다.
3D의 시대가 온다, NeRF의 급성장
NeRF는 2D 이미지를 3D로 렌더링하는 모델입니다. 간단히 설명하자면, 인간이 여러 각도에서 어떤 물체를 보고 그것이 어떻게 생겼는지 상상할 수 있는 것처럼 NeRF도 촬영한 2D 이미지를 기반으로 보이지 않는 곳을 예측하고 보간을 통해 완성도 높은 3D 모델을 렌더링하는 것입니다.
2020년, NeRF의 성능이 비약적으로 개선되었고 이후 NeRF와 관련된 연구가 급성장하고 있습니다. 올 한 해에만 NeRF와 관련된 논문들이 약 1000개 가까이 쏟아져 나왔습니다.
올해에는 100배 빠르게 학습하는 방법, 더 적은 이미지로 렌더링 하는 방법, 더 고화소로 렌더링하는 방법 등이 제안되었습니다. 심지어는 도시나 우주의 단위를 생성해내기도 했다고 하네요.
NeRF를 응용한 3D 분야도 점차 확대되고 있습니다. 앞으로는 3D 생성과 관련된 모델과 연구 분야가 점차 더 확장될 것으로 보입니다.
LLM과 함께 발전하는 분야들
LLM(Large Language Model)들이 등장하면서 점차 하위 분야도 확장되고 있습니다. 2021년 구글에서 발표한 PaLM은 올해 수학 문제를 푸는 Minerva라는 모델에 활용되었습니다. 기존 PaLM 모델 구조에 수학 기호들을 이해할 수 있도록 새로운 데이터로 학습을 진행했고, 그 결과 정말 문제를 이해하고 답을 내는 듯 보였습니다. 물론 아직 완벽한 정도는 아니지만 수학 문제와 같은 분야에 인공지능이 발을 들일 수 있음을 보여주기도 했습니다.
로보틱스 분야에서도 다양한 상황에서 로봇이 정확하게 명령을 이해할 수 있도록 언어 체계를 학습시킬 필요가 있습니다. 여기에서 LLM이 중요한 역할을 합니다. SayCan은 인간의 명령에 따라서 행동합니다. 다만 정확하게 행동을 지시하는 것이 아니라, 마치 인간처럼 ‘나 음료를 쏟았는데, 도와줘’라고 하면 닦을 것을 갖다주는 식입니다. 이때 닦을 것을 갖다달라고 하지 않아도 돕는 행위를 했다는 것이 핵심이지요. 특히 이미지를 기반으로 한 맥락을 잘 이해하고 올바르게 행동하는 것이 중요합니다. 여기에서도 PaLM이 SayCan에 적용되어, 인간의 명령을 맥락에 맞게 잘 이해할 수 있도록 도와줍니다.
