All in One AI 데이터 솔루션 All in One
AI DATA SOLUTION-
SELECTSTAR |
|
|
지난해 AI 비전 분야 트렌드로 새롭게 떠오른 모델이 있습니다. 바로 2020년 ECCV에서 첫 발표된 NeRF입니다. NeRF는 여러 각도에서 촬영한 물체의 사진을 3D로 재구성합니다. 2D 이미지를 3D 모델로 변환하는 것입니다.
자,백문이 불여일견이겠죠? 아래 나무를 클릭해보세요 |
|
|
열대식물과 티라노사우르스를 여러 시점에서 촬영하여 NeRF로 3D 변환한 결과입니다. 사진같던 티라노사우르스의 전시물이 실제로 촬영하고 있는 듯이 움직입니다. 오른쪽 열대 식물도 디테일한 부분까지 자연스럽게 보입니다.
최근 NeRF의 성능이 개선되어 가면서 보다 다양한 분야에 활용될 거라는 기대를 모으고 있습니다. 그래서 금주에는 NeRF에 대해 간단하게 살펴보려 합니다.
|
|
|
NeRF의 원리
NeRF 논문의 제목은 <Representing Scenes as Neural Radiance Fields for View Synthesis> 입니다. 제목에서 알 수 있듯 NeRF는 <Neural Radiance Fields>의 줄임말입니다. NeRF가 수행하는 작업은 View Synthesis(시점 합성) 입니다. 다양한 각도에서 촬영된 물체 이미지를 합성하여 3D로 재구성하는 것이 NeRF 모델의 핵심입니다. |
|
|
NeRF 모델은 3D 좌표(x, y, z)와 카메라의 방향 정보(θ, φ)를 입력값으로 받아 컬러(RGB)와 밀도(\sigma)를 출력합니다.
(ChatGPT야 조금 더 자세하게 설명해주겠니~?) |
|
|
인간이 물체를 인지하는 과정을 생각해봅시다. 우리는 3차원 세상에 살고 있지만, 눈은 세상은 연속된 이미지(2D)로 보고 인식합니다. 그렇다고 큰 불편함을 느끼진 않습니다. 눈으로 보는 세계가 3차원이라는 것을 지각하기 때문입니다. 우리는 ‘두 개의 눈’을 통해 대상과의 거리감을 자동적으로 인식합니다.
NeRF도 마찬가지입니다. 여러 시점에서 촬영한 이미지를 비교하면 대상을 3D로 구현할 수 있습니다. 먼저 고정된 카메라 방향 정보$(θ, φ)$를 입력한 다음, 그 시점에서의 이미지를 구현하기 위해 3D 좌표(x, y, z)에 색상과 밀도를 계산하여 입힙니다. 이렇게 색상을 입힌 3D 좌표들을 다른 시점에서 관측합니다. 다른 시점에서 촬영된 이미지에 맞는 색상과 밀도를 다시 한번 계산합니다.
Nerf는 위 과정을 반복하여 모든 시점에서 촬영된 이미지에 적합한 3D 모델을 만들어냅니다. 인간이 물체를 인식하는 것처럼요. 이후에 3D 좌표를 볼륨 렌더링(Volume Rendering)하면 앞서 본 공룡과 같은 결과물이 탄생하게 되는 것입니다.
|
|
|
이제 원리를 이해했으니 입력값 변수에 대해 살펴봅시다. 가상의 공간 안에 3D 좌표 변수는 (x, y, z)로 입력됩니다.
그럼 카메라의 방향 정보를 어떻게 두 개의 변수(θ, φ)로 표현할 수 있을까요? 여기서는 구면좌표계를 활용합니다.
변수 두 개만으로 3차원 공간에서의 방향을 특정할 수 있으며, 반지름 크기는 곧 거리가 됩니다.
*
카메라 위치와 방향은 구면좌표계의
(θ, φ)에 따라 정해집니다
|
|
|
NeRF는 이렇게 다섯 개의 변수(x, y , z, θ, φ)를 받아 픽셀의 색상$(RGB)$과 밀도$(\sigma)$ 값을 출력합니다. 밀도는 3D로 렌더링 과정에서 중요한 역할을 합니다. 밀도가 낮을수록 투명하게 보이고, 높을수록 뚜렷하게 보입니다.
중요한 과제는 함수 $F_{\Theta}$를 어떻게 정의하느냐는 문제였고, 연구자들은 가장 기본적인 딥러닝 모델 중 하나인 MLP(Multi-Layer Perceptron, 다층 퍼셉트론)를 도입합니다.
뛰어난 렌더링 성능을 보이는 NeRF이지만 아직 입력 데이터가 충분히 많이 필요하다는 지적이 있습니다. 원 논문에서는 100장의 이미지로 렌더링했습니다. 실무에서 렌더링을 위해 작업마다 2D 이미지 100장을 구하기는 어려울 것입니다. 또한 초기 모델에서는 렌더링 작업 시간이 오래 걸린다는 단점도 있습니다.
후속 연구에서는 이런 점들을 보완하는 데 중점을 두고 있다고 합니다.
여러 분야에 빠르게 적용되고 있는 NeRF,
다음에는 NeRF의 다양한 활용에 대해 알아보도록 하겠습니다.
많이 기대해 주세요! |
|
|
대한민국 최초,
피쳐스페이스(Feature Space) 기반으로 데이터셋의 분포를 눈으로 확인하고 데이터셋의 커버리지(Coverage)와 AI 모델 개선에 필요한 데이터를 보다 구체적으로 파악할 수 있는 데이터셋 분석 SAAS, DATUMO FST.
자유도 높은 분석과 큐레이션(Curation)을 통해 엣지 케이스(Edge case)를 분석하고 선별 알고리즘을 통해 엣지 케이스와 유사한 데이터를 조회하거나 전체 데이터셋을 대표하는 일부 데이터셋을 추출할 수도 있어 기존 기업의 AI 모델 성능 향상에 따르는 시간과 비용 절감에 혁신을 가져올 것입니다.
알파테스트에 관심이 있거나 참여를 원하는 단체나, 기관, 기업은 아래 링크로 부담없이 신청하셔서 AI DATA 분야에서 한걸음 앞서가는 얼리어답터가 되십시오.
|
|
|
DATA 바우처 지원사업을 알아보고 계신다면
세계적 AI 학회(NeurlPS, EMNLP, CVPR)에 논문이 모두 등재된
AI 데이터 선두 기업과 지금, 함께 하십시오!
망설일 시간에 경쟁사들보다 먼저 신청하세요!
|
|
|
AI 관심있는 누구나! 와서 노다지를 캐가세요!
- 직군, 나이에 상관없이 참여할 수 있는 오픈 모임입니다.
- AI와 AI 도입, AI 비즈니스, 사업개발에 대한 다양한 프로그램을 운영하고 있는 AI 중심의 커뮤니티입니다.
- 신사업팀, 사업개발팀, 변화혁신팀 등 회사 내에서 Digital Transformation을 위해 AI 도입을 고민하는 분들이 모여있는 곳입니다.
- 최신 정보와 기술, 작업 노하우, AI 모델 개발을 위한 플랫폼 서치, 전략 등에 대한 고민, 질문, 다양한 경험 등을 자유롭게 나누고 자기만의 값진 노다지를 캐가십시오!
|
|
|
Weekly AI Issues → →
SM의 가상인간은 과연 다를까
SM이 ‘에스파’ 세계관 속 ‘나이비스’를 AI로 현실화하였습니다. 넷마블과 카카오 가 합작하여 데뷔시킨 ‘메이브’와의 대결도 관심을 끌고 있습니다.
네이처, 챗GPT는 논문 저자가 될 수 없다
과학계 최고 저널 중 하나인 네이처에서 챗GPT를 논문 저자로 인정하지 않겠다는 지침을 발표했습니다. 챗GPT에 대한 잡음이 끊이지 않은 상황에서 많은 학회들이 챗GPT에 대한 부정적인 태도를 보이고 있습니다.
문장, 그림에 이어 음악 생성 AI, MusicLM 공개
구글이 음악 생성 AI MusicLM을 공개했습니다. Text-to-Music 모델로, 사용자의 프롬프트(텍스트)를 입력으로 받아 내용에 맞는 음악을 생성하는 모델입니다.
|
|
|
Join Us → →
지금 AI 데이터 업계에서
제일 밝게 빛나고 있는
셀렉트스타와 함께 하세요!
|
|
|
*이외, 셀렉트스타는
실무에 바로 활용할 수 있는
"오픈 데이터셋" 자료를
무료로 제공해드리고 있습니다.
홈페이지에서 신청해보세요
|
|
|
|
*본 콘텐츠는 deep daiv. 와의 제휴로 구성 되었습니다.
|
|
|
|
|
