NeRF, 장난감 총은 이제 잊어주세요

All in One AI 데이터 솔루션

2023. 2. 7.

이 메일이 잘 안보이시나요?

2023 Feb week 2 Vol 17

All in One

AI DATA SOLUTION-

SELECTSTAR

NeRF,

장난감총은

이제

잊어주세요

AI Topic→ →

NeRF,Vol2

지난주에 이어 NeRF 이야기를 좀 더 해볼까요?

NeRF 발전사

NeRF 모델은 2020년 처음 공개된 이후 지금까지 빠르게 발전해왔습니다.

대표적으로

정확도 향상

경쟁 모델들과 비교했을 때 NeRF 모델 정확도는 대폭 개선됐습니다. 다만 세밀한 묘사에서는 아직 더 개선될 여지가 많습니다.
실시간(Real-time) 활용

NeRF 모델은 학습 시간도 길뿐 아니라, 모델의 렌더링 작업 시간도 조금 걸립니다. 이를 실시간으로 처리하기 위한 연구가 진행되고 있습니다.
더 적은 입력 이미지

목적에 따라 렌더링에 필요한 이미지 수는 달라집니다. 현재는 단순한 3D 생성 작업에도 약 20-30장의 이미지를 필요로 하는 수준입니다.
더 복잡한 묘사가 필요할 때는 100장이 넘게 필요한 경우도 있는데 작업 능률을 위해 더 적은 이미지로 추론해 보는 연구가 진행되고 있습니다.

4. Large-Scale Scene

이미지만으로 3D 생성이 가능하다면 수많은 객체가 담긴 풍경이나 도시 또 한 3D로 구현할 수 있지 않을까요? 대규모 장면을 생성하기 위한 연구 또한 진행되고 있습니다.

5. 다른 분야와의 통합

3D 생성 모델만으로 상업적인, 혹은 가치를 창출하는 서비스를 만들기는

어렵습니다. NeRF 모델을 컴퓨터 그래픽스나 모바일 게임 등에 적용하는 방법이 연구되고 있습니다.

결국 다양한 분야에서 더 정확하고, 빠르고, 가벼운 모델을 만들어 내는

것이 목표입니다. 이번 아티클에서는 주목받은 후속 연구 3개

‘Instant NeRF’ ‘PixelNeRF’ ‘NeRF-W’를 소개합니다.

Instant NeRF

Instant NeRF는 2022년 초 엔비디아(NVIDIA)에서 발표한 모델입니다. 당시 기준 1000배 이상 빠른 속도로 학습할 수 있다고 하여 화제가 되었습니다. 블로그에 따르면 렌더링 속도 또한 수십 밀리초 이내라고 합니다. 이전보다 훨씬 빠른 속도로 학습하고, 거의 실시간으로 렌더링을 구현하는 셈입니다.

기존 NeRF 모델 학습 시간이 오래 걸린 이유는 모든 좌표에 대해 MLP(Multi Layer Perceptron, 다층 퍼셉트론) 연산을 했기 때문입니다. NVIDIA 연구진은 이 시간을 획기적으로 줄이기 위한 방법으로 Multiresolution Hash Encoding을 제안합니다. 내용은 복잡하지만 핵심은 입력 데이터를 고차원으로 매핑하여 연산 처리 속도를 크게 향상시켰고, 결과적으로 학습 속도가 개선되었다는 것입니다.

사실 이는 NeRF 모델 개선이라기보다는 NVIDIA GPU에서 빠르게 학습되도록 입력값을 매핑한 방법론이기 때문에, NeRF뿐 아니라 다른 신경망 모델(초고해상도(Gigapixel) 이미지, SDF 3D Reconstruction 등 )에도 활용할 수 있다는 점이 특징입니다.

PixelNeRF

왼쪽은 PixelNeRF, 오른쪽은 NeRF

이번에는 보다 적은 데이터로 렌더링하는 PixelNeRF입니다. 앞서 말씀드린 것처럼 일반적으로 단순한 물체를 3D로 생성하는 데 필요한 이미지는 약 20-30장 정도입니다. 일상에서 촬영하기에는 많은 이미지 수입니다.

하지만 PixelNeRF는 단 1-3장만으로도 렌더링할 수 있습니다. 물론 결과물의 퀄리티는 살짝 떨어지지만 그래도 발전 가능성을 보여주고 있습니다.

일반적으로 이미지 데이터를 처리하는 경우 이미지의 특성을 파악하기 위해 CNN(Convolutional Neural Network, 합성곱 신경망) 계열의 모델을 활용하는 경우가 많습니다. 하지만 NeRF 모델은 CNN이 아닌 MLP만으로 계산하는 것이 특징입니다. 하지만 PixelNeRF는 적은 이미지에서 특징(Feature)을 추론해야 하는 만큼 다시 CNN 알고리즘을 도입합니다. 이렇게 CNN을 통해 인코딩된 정보가 NeRF 모델을 거쳐 3D 렌더링됩니다.

-PixelNeRF 모델의 아키텍처-

NeRF-W

NeRF-W 모델로 구현한 로마의 트레비 분수

NeRF 모델의 핵심은 2D 이미지를 통한 3D 렌더링입니다. 그렇다면 내가 핸드폰으로 찍은 사진도 3D로 렌더링할 수 있을까요? 쉽지는 않을 것입니다. 기본적인 NeRF의 작업 조건은 정적인(Static) 물체와 통제된 환경입니다. 따라서 주변 환경이 달라질 경우 완전한 이미지를 생성하기 어렵습니다.

이는 우리가 살아가는 리얼 월드 속 조건과는 다릅니다. 날씨, 계절, 구름의 양 등 주변 환경은 계속 달라지기에, NeRF-W는 통제되지 않은 현실 속 이미지로부터의 3D 렌더링을 목표로 합니다.

NeRF-W는 인터넷에서 수집한 유명 랜드마크의 사진들을 이용했습니다. 여기서 활용한 이미지의 양은 기존보다도 많은 약 1천 장입니다. 핵심은 변화하지 않는 것과 변화하는 것의 구분입니다. 예를 들어 위 영상 속 트레비 분수의 건물은 정적입니다. 이에 반해 배경은 날씨나 시간에 따라 계속 달라집니다. NeRF-W는 이 두 가지 정보를 다르게 학습하도록 네트워크를 설계하였고 최종적으로 모델이 출력한 결과물에서 원하는 배경을 설정할 수 있습니다.

이렇게 NeRF의 후속 연구에 대해 알아보았습니다. 최근 학계는 동적인(Dynamic) 환경에서, 더 적은 이미지로 추론하는 모델을 연구하고 있습니다. 실제 프로덕트에 적용될 수준으로 개발하려는 시도 또한 계속되고 있습니다. 감히 예상컨대, NeRF는 몇 년 내에 현재 이미지 생성 모델과 같은 수준으로 성장할 것입니다. 컴퓨터 비전 분야에 새로운 트렌드로 자리 잡은 만큼 엄청난 속도로 성장하고 있기 때문입니다.

DATUMO FST → →

대한민국 최초,

피쳐스페이스(Feature Space) 기반으로 데이터셋의 분포를 눈으로 확인하고 데이터셋의 커버리지(Coverage)와 AI 모델 개선에 필요한 데이터를 보다 구체적으로 파악할 수 있는 데이터셋 분석 SAAS, DATUMO FST.

자유도 높은 분석과 큐레이션(Curation)을 통해 엣지 케이스(Edge case)를 분석하고 선별 알고리즘을 통해 엣지 케이스와 유사한 데이터를 조회하거나 전체 데이터셋을 대표하는 일부 데이터셋을 추출할 수도 있어 기존 기업의 AI 모델 성능 향상에 따르는 시간과 비용 절감에 혁신을 가져올 것입니다.

알파테스트에 관심이 있거나 참여를 원하는 단체나, 기관, 기업은 아래 링크로 부담없이 신청하셔서 AI DATA 분야에서 한걸음 앞서가는 얼리어답터가 되십시오.

DATUMO FST 무료 알파테스트 (선착순) 신청->>

Promotion → →

DATA 바우처 지원사업을 알아보고 계신다면

세계적 AI 학회(NeurlPS, EMNLP, CVPR)에 논문이 모두 등재된

AI 데이터 선두 기업과 지금, 함께 하십시오!

망설일 시간에 경쟁사들보다 먼저 신청하세요!

더 알아보기 / 지금 신청 →

AI NETWORKING NIGHT → →

AI 관심있는 누구나! 와서 노다지를 캐가세요!

직군, 나이에 상관없이 참여할 수 있는 오픈 모임입니다.
AI와 AI 도입, AI 비즈니스, 사업개발에 대한 다양한 프로그램을 운영하고 있는 AI 중심의 커뮤니티입니다.
신사업팀, 사업개발팀, 변화혁신팀 등 회사 내에서 Digital Transformation을 위해 AI 도입을 고민하는 분들이 모여있는 곳입니다.
최신 정보와 기술, 작업 노하우, AI 모델 개발을 위한 플랫폼 서치, 전략 등에 대한 고민, 질문, 다양한 경험 등을 자유롭게 나누고 자기만의 값진 노다지를 캐가십시오!

AI 사업 개발 커뮤니티 더 알아보기 →

AI 사업 개발 채팅방 Join 하기 (입장 비번 : select)→