📰 가장 섬세한 깊이 추정 모델, Marigold

🌼 2D 이미지로 3D를 추정하다

2024. 1. 25.

2024년 1월 4주차 셀렉트스타 뉴스레터

글: 이성배, 딥다이브(deep daiv.) 제휴 콘텐츠 ㅣ 에디터: 정인영

📰 가장 섬세한 깊이 추정 모델, Marigold

2022년 Text-to-Image 모델이 공개되면서 생성형 AI의 대중화가 본격적으로 이뤄졌습니다. 당시 미드저니, DALL-E 등 다양한 이미지 생성 모델들이 등장해 기대감을 키웠는데요. 꾸준히 성능을 개선한 덕분에 이미지를 넘어 영상, 3D 등의 생성 모델들도 빠르게 발전했습니다.

오늘 소개할 Marigold는 생성 모델 중 하나인 Stable Diffusion을 기반으로 객체의 깊이 추정(Depth Estimation) 분야에서 SOTA(State-of-the-art)를 달성한 모델입니다. 깊이 추정은 2차원 이미지로부터 3차원 공간의 깊이 정보를 파악하는 비전 기술입니다. 생성 모델인 Stable Diffusion을 깊이 추정 분야에 어떻게 접목시켰을까요? 🧐

Depth Estimation : 깊이 추정

사람이 두 눈으로 각각 받아들이는 정보에는 차이가 있습니다. 이 차이를 뇌가 해석하여 깊이(depth) 정보를 추정합니다. 컴퓨터 비전도 이와 유사한데요. 두 개 이상의 카메라를 사용해서 같은 장면을 서로 다른 시점에서 촬영한 다음, 두 이미지를 비교 분석하여 깊이를 추정합니다. 이를 Binocular Depth Estimation이라고 합니다.

사람이 한 쪽 눈을 감고도 어느 정도 거리를 추정할 수 있는 것처럼, 컴퓨터도 마찬가지입니다. 2D 이미지 한 장으로 거리를 추정하면 Monocular Depth Estimation이라고 합니다.

Stable Diffusion을 활용한 Marigold의 원리와 구조

출처: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation (Ke et al., 2023)

작년 12월 공개된 논문 <Marigold: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation>은 아래 질문에서 시작했습니다.

“이미 이미지 생성 모델이 인터넷에 업로드된 다양한 도메인의 고퀄리티 이미지들을 학습했는데, 이를 깊이 추정에 활용할 수 있지 않을까?“

Marigold 기술은 Monocular Depth Estimation입니다. 이를 위해서는 많은 정보가 축적되어야 하는데요. 이미지 속 객체에 대한 경험적인 정보와 더불어 객체 간의 분할, 그리고 배경과의 분리가 필요합니다. 또한 시각적 크기에 따라 상대적 깊이감을 나타내야 합니다. 그래서 Marigold는 Stable Diffusion 사전훈련 모델의 성능을 그대로 빌려옵니다. 생성 모델이 깊이를 가늠할 수 있도록 파인튜닝 과정을 거칩니다.

파인튜닝 구조. 출처: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation (Ke et al., 2023)

파인튜닝 구조를 살펴보겠습니다. 미리 훈련된 Stable Diffusion을 시작점으로, Stable Diffusion VAE*를 사용하여 이미지 x와 depth(깊이) d를 잠재 공간으로 인코딩합니다. 즉, 이미지에서 중요한 특징을 추출하여 저차원의 데이터로 변환하죠. 그 후 깊이 정보를 기반으로 표준 diffusion 모델 최적화를 통해 U-Net**을 미세 조정합니다. U-Net이 초기부터 이미지와 깊이 정보를 함께 처리하면 상관관계에 대한 이해력이 생겨 더욱 정밀한 결과를 도출할 수 있는데요. 이를 위해 U-Net의 첫번째 계층이 두 정보가 결합된 잠재 코드를 잘 받아들일 수 있도록 수정해 둡니다.

*VAE: 변이형 오토인코더(Variational Autoencoder)는 오토인코더와 유사한 구조를 가지고 만들어진 인공신경망이다. (네이버 지식백과)

**U-Net: 컴퓨터 비전 분야, 특히 의료 이미지 분할에 효과적인 신경망 구조로, 비교적 적은 데이터로도 높은 성능을 달성한다. (챗GPT + 네이버 사전)

이때 학습 성능을 높이기 위해 합성 데이터(Synthetic Data)를 활용합니다. 실제 깊이 값을 가진 데이터셋이 아니라 합성 데이터를 활용한 이유는 물리적인 제약으로 오히려 실제 데이터의 정합성이 떨어지기 때문입니다.

출처: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation (Ke et al., 2023)

다음은 추론 구조입니다. 좀 전에 살펴본 파인튜닝 과정과 동일하게 시작하는데요. 결합한 이미지와 깊이 정보를 미세 조정해둔 U-Net을 통해 처리합니다. 결과물을 다시 이미지로 변환하면 더욱 정밀한 깊이 정보를 추론할 수 있게 되어 고화질의 Depth Map이 생성됩니다. 결과물을 한 번 볼까요?

출처: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation (Ke et al., 2023)

추론 결과를 보면, Marigold는 다른 방식에 비해 섬세한 깊이 정보를 제공합니다. 검은 화살표로 표시한 곳에 집중하면 차이가 두드러지는데요. 특히나 ETH3D 이미지 속 테이블 축구대나 Scannet 이미지 속 의자 등널 부분을 살펴보면 Marigold의 우수성이 두드러집니다. 게다가 Marigold는 한번도 본 적 없는 데이터를 처리하는 능력, 즉 제로샷(Zero-shot) 성능도 뛰어나다고 하니 괜히 SOTA 모델이 아닌 것 같습니다.

AI NEWS

Mark Zuckerberg’s new goal is creating artificial general intelligence

: Meta CEO 마크 주커버그가 AGI를 위한 기술을 개발해 나가겠다고 공표했습니다. 사명을 ‘Meta’으로 변경하면서 ‘메타버스’ 기술 개발에 집중하고자 했던 만큼, 이번 선언은 조금 더 본격적으로 AI 개발에 착수하겠다는 도전으로 들립니다.

삼성, 갤S24에 초거대AI 어떻게 넣었나…"4비트 압축이 기술력"

: 지난 17일, 삼성전자에서 갤럭시 S24를 출시했습니다. 삼성전자는 인터넷 네트워크가 연결되어 있지 않은 상황에서도 스마트폰의 성능만으로 AI 기술을 활용할 수 있도록 모델을 경량화했는데요. 온디바이스 AI’ 기술을 앞세워 적극적으로 홍보에 나섰던 만큼 그 기술력에 대한 기대감이 높습니다.

금주 방한 오픈AI 샘 올트먼 삼성과 반도체 협업 가능성

: 지난해 여름 우리나라를 방문한 OpenAI의 CEO 샘 올트먼이 7개월만에 다시 방문할지도 모르겠습니다. 방문의 목적은 AI 반도체 개발과 관련해 국내 기업들과 이야기 나누기 위한 것으로 추측하고 있습니다. 최근 OpenAI가 AI 반도체 개발을 위해 공장 부지 물색 및 자금 조달을 이어나가고 있기 때문입니다.