사람이 두 눈으로 각각 받아들이는 정보에는 차이가 있습니다. 이 차이를 뇌가 해석하여  깊이(depth) 정보를 추정합니다. 컴퓨터 비전도 이와 유사한데요. 두 개 이상의 카메라를 사용해서 같은 장면을 서로 다른 시점에서 촬영한 다음, 두 이미지를 비교 분석하여 깊이를 추정합니다. 이를 Binocular Depth Estimation이라고 합니다.

사람이 한 쪽 눈을 감고도 어느 정도 거리를 추정할 수 있는 것처럼, 컴퓨터도 마찬가지입니다. 2D 이미지 한 장으로 거리를 추정하면 Monocular Depth Estimation이라고 합니다.

출처: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation (Ke et al., 2023)

작년 12월 공개된 논문 <Marigold: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation>은 아래 질문에서 시작했습니다. 

“이미 이미지 생성 모델이 인터넷에 업로드된 다양한 도메인의 고퀄리티 이미지들을 학습했는데, 이를 깊이 추정에 활용할 수 있지 않을까?“

Marigold 기술은 Monocular Depth Estimation입니다. 이를 위해서는 많은 정보가 축적되어야 하는데요. 이미지 속 객체에 대한 경험적인 정보와 더불어 객체 간의 분할, 그리고 배경과의 분리가 필요합니다. 또한 시각적 크기에 따라 상대적 깊이감을 나타내야 합니다. 그래서 Marigold는 Stable Diffusion 사전훈련 모델의 성능을 그대로 빌려옵니다. 생성 모델이 깊이를 가늠할 수 있도록 파인튜닝 과정을 거칩니다.

: Meta CEO 마크 주커버그가 AGI를 위한 기술을 개발해 나가겠다고 공표했습니다. 사명을 ‘Meta’으로 변경하면서 ‘메타버스’ 기술 개발에 집중하고자 했던 만큼, 이번 선언은 조금 더 본격적으로 AI 개발에 착수하겠다는 도전으로 들립니다.

삼성, 갤S24에 초거대AI 어떻게 넣었나…"4비트 압축이 기술력"

: 지난 17일, 삼성전자에서 갤럭시 S24를 출시했습니다. 삼성전자는 인터넷 네트워크가 연결되어 있지 않은 상황에서도 스마트폰의 성능만으로 AI 기술을 활용할 수 있도록 모델을 경량화했는데요. 온디바이스 AI’ 기술을 앞세워 적극적으로 홍보에 나섰던 만큼 그 기술력에 대한 기대감이 높습니다.

금주 방한 오픈AI 샘 올트먼 삼성과 반도체 협업 가능성

: 지난해 여름 우리나라를 방문한 OpenAI의 CEO 샘 올트먼이 7개월만에 다시 방문할지도 모르겠습니다. 방문의 목적은 AI 반도체 개발과 관련해 국내 기업들과 이야기 나누기 위한 것으로 추측하고 있습니다. 최근 OpenAI가 AI 반도체 개발을 위해 공장 부지 물색 및 자금 조달을 이어나가고 있기 때문입니다.