Diffusion 너는 누구냐!

출처: Adding Conditional Control to Text-to-Image Diffusion Models(Zhang&Agrawala, 2023) 

이미지 생성(Image Generation)하면 대표적으로 2가지 모델을 꼽습니다. 바로 GAN과 Diffusion 모델인데요 최근에는 Diffusion 기반 모델에 관한 연구가 상대적으로 활발하게 이루어지고 있습니다. 또다른 Image-to-Text 모델인 DALL-E 2(OpenAI)나 Imagen(Google) 등도 모두 Diffusion 모델이 기반입니다. 이번 호에서는 Diffusion 모델에 대해 알아보도록 하겠습니다.

Diffusion 모델이란?

Diffusion 모델은 2015년 Deep Unsupervised Learning using Nonequilibrium Thermodynamics 논문에서 처음 제안되었습니다. 하지만 공개 초반에는 많은 주목을 받지 못한 듯했습니다. 하지만 2020년, NeurIPS에서 Denoising Diffusion Probabilistic Models(DDPM) 논문이 발표되면서 다시 한번 주목받게 되었습니다. 앞으로 설명드릴 Diffusion 모델은 해당 논문(DDPM)을 기반으로 하고 있음을 말씀드립니다.

첫 논문 제목에 포함된 ‘Nonequilibrium Thermodynamics’는 ‘비평형 열역학’이라는 뜻인데요, 열역학에서 Diffusion의 의미는 ‘확산’입니다. 확산은 농도가 높은 곳에서 낮은 곳으로 퍼져나가려는 현상을 의미합니다. AI도 어려운데 과학까지 나오니 더욱 어렵게 느껴진다고요? 도대체 Diffusion(확산)과 이미지 생성에는 어떤 관계가 있는 것일까요?

Diffusion 모델은 입력 데이터 분포를 가우시안 분포(평균이 0, 분산이 1인 정규 분포) 형태로 ‘확산’시킨다는 특징을 가지고 있습니다. 우리가 알고 있는 흔히 알고 있는 디퓨저(Diffuser)를 떠올려보면 쉽습니다. 디퓨저 향은 공기에 노출되면서 은은하게 퍼져 나갑니다. 농도가 높은 디퓨저 용액 분자들이 농도가 낮은 공기 중으로 퍼져 나가면서 공간을 향으로 채우는 원리입니다. 이처럼 공기 분자의 확산 등 자연 현상에서 가장 쉽게 찾아볼 수 있는 확률 분포가 바로 ‘가우시안 분포’입니다.

이처럼 Diffusion 모델은 이미지에 가우시안 노이즈를 더한 다음, 이로부터 다시 입력 이미지 데이터의 분포를 추정하는 과정을 거치며 생성 방법을 학습하게 됩니다. 전자를 Diffusion Process, 후자를 Reverse Process라고 부릅니다.

Diffusion Process

Diffusion Proces부터 살펴 보겠습니다. 앞서 말씀드린 것처럼 입력 데이터(이미지)의 분포를 가우시안 분포로 확산시킵니다. 방법은 이미지에 조금씩 가우시안 노이즈를 더하는 것입니다. 이를 수식으로 표현하면 다음과 같습니다.

수식을 원리를 알기 위해서 마르코프 체인(Markov Chain)개념을 알아야 합니다. '특정 상태의 확률은 오직 과거의 상태에 의존한다’는 개념입니다. 현재 시점(t)의 분포가 직전 시점(t-1) 분포에 따라 결정되니, 수학적으로는 $\mathbf{x}{t-1}$에 대한 조건부 확률 형식으로 현재 분포 ‘$\mathbf{x}{t}$’를 정의할 수 있습니다.

해당 식에서 $\mathcal{N}$은 정규 분포를, $I$는 가우시안 노이즈를, $\beta_t$는 얼마만큼 가우시안 노이즈를 추가할지 결정하는 작은 상수를 의미합니다. 주목할 건 $\mathbf{x}_{t-1}$와 $$ $I$ 각각에 곱해진 $\sqrt{1-\beta_t}$와 $\beta_t$ 입니다. 확률 분포의 분산(Variance)을 일정하게 유지하기 위함입니다. 두 수을 곱함으로써 Diffusion Process가 진행되는 와중에도 평균이 0, 분산이 1인 정규 분포가 유지됩니다.

해당 프로세스를 계속 반복(논문에서는 1,000번)하다 보면 이미지는 본래의 형체를 알아볼 수 없을 만큼 노이즈에 오염될 것입니다. 사실 이 과정에서는 별다른 학습이 일어나지는 않습니다. Diffusion Process는 이후 Reverse Process에서 매 스텝별로 추정해야 할 분포를 알기 위한 잠재 변수(Latent Variables)를 획득하기 위해 필요합니다.

Reverse Process

앞서 Diffusion Process를 통해 오염된 이미지를 다시 복원하는 과정입니다. 최종적으로 만들어진 값은 가우시안 분포를 따르는 잠재 변수입니다. 즉, 랜덤한 잠재 변수를 의미하기 때문에 아무것도 없는 상황에서 노이즈를 제거(De-noising)하며 새로운 이미지를 생성하는 과정이라고 볼 수 있습니다.

위 수식을 살펴보면 Diffusion Process 수식과 \mathbf{x}_t와 \mathbf{x}_{t-1}의 위치가 바뀐 것을 알 수 있습니다. 1,000번 반복해서 노이즈를 주입한 것처럼 반대로 1000번 반복하여 이미지를 추정합니다. 하지만 아무것도 모른 채로 오염된 이미지에서 노이즈를 제거한 모습을 추정하는 것은 쉽지 않습니다. 그래서 매 스텝마다 Diffusion Process에서 획득한 잠재 변수 정보를 활용합니다. 학습 파라미터(\theta)를 바꾸어 가며 그와 이미지 분포가 유사해지도록 학습하는 것입니다. 이 과정에서 DDPM은 이미지 생성하는 방법을 학습하게 됩니다.

DDPM은 앞서 2015년 발표된 논문에 비해 손실 함수(Loss Function)을 더욱 단순화하여 성능을 비약적으로 개선했다는 특징이 있습니다. 그리고 De-noising 모델로 U-Net을 활용하였고 여기에 Attention 매커니즘을 도입하였습니다. 이렇게 잠재 변수에서 이미지를 추정하는 DDPM에 다른 요소를 조건화(텍스트, 다른 이미지)하여 비로소 우리가 원하는 새로운 이미지를 획득할 수 있습니다.

이렇게 DDPM에 대해 간단하게 알아보았습니다. DDPM은 뛰어난 이미지 생성 능력을 가지고 있었지만 상대적으로 느린 추론 속도를 보인다는 단점이 있었습니다. 이후 논문들은 속도를 개선하거나 더 개선된 이미지를 학습하는 방법을 제안하였고, 초고화질 모델로 복원하는 SR 모델을 비롯하여 Text-to-Image 모델 등으로 다양하게 발전했습니다.

열역학의 확산 개념에서 출발하여, 노이즈를 주입하고 제거하는 단순한 과정에서 이미지 생성 패턴을 학습할 수 있다는 아이디어 수 년 뒤 결국 대중적인 Text-to-Image 생성 모델로 발전했습니다. 딥러닝의 발전 과정을 살펴보다보면 이렇게 참 흥미로운 이야기들이 많은 것 같습니다. 앞으로 Diffusion 모델이 얼마나, 어떻게 더 발전될지 기대됩니다.

• 최대 USD10,000 상당의 AWS 크레딧 지원

• 모든 고객사에게 1:1 AI 멘토링 지원 

• 업계 최고 투자자들의 '투자 검토' 기회 부여

• VC, 법률, 특허보호관련 특강 참석 기회

GPT-4, 이달 16일 공개 예정

비디오 생성과 같이 새로운 기능을 갖춘 멀티모달 모델

세계가 주목하고 있는 AI 기술 GPT-4가 이달 16일에 공개될 예정입니다. 독일 마이크로소프트(MS)의 CTO는 지난 9일 독일에서 개최한 ‘AI인 포커스-디지털 킥오프’ 행사에서 다음주에 ‘GPT-4’를 공개하겠다고 밝혔습니다. 아직 공식적으로 발표된 내용은 없지만, 오는 16일에 MS 자체 행사에서 공개할 가능성이 높은 것으로 보입니다.

AI로 만든 ‘진주 귀고리를 한 소녀’ 미술관 전시

ChatGPT가 만든 악성코드

인공지능이 고도화될수록 위협은 커질 수 밖에