📰 VLM이 우리집 고양이를 알아보는 방법

위 구조는 모델이 여러 개의 인컨텍스트(in-context) 예시를 순차적으로 입력받은 뒤, 마지막 단계의 'Prediction' 요청에 대해 동일한 객체의 위치를 예측하는 과정을 보여줍니다. 사용자는 앞선 n개의 예시 이미지와 해당 객체의 좌표를 제공하고, 마지막에 "이 이미지에서 같은 객체를 찾아보라"고 요청합니다. 모델(Assistant)은 지금까지 제공받은 정보를 문맥으로 활용해 예측된 바운딩 박스 좌표를 출력하게 되지요. 결국 모델은 앞서 본 예시들을 일종의 '대화 맥락'으로 삼아, 마지막 이미지 속에서 같은 객체를 추론합니다.

3. 가짜 이름 규제

여기에 한 가지 기발한 아이디어가 더해집니다. 모델이 개체에 대한 사전 지식에만 의존하지 않도록, 객체 이름을 무의미한 가짜 이름으로 바꾸는 건데요. 예를 들어 '고양이'를 '스누프킨'으로 바꾸면 모델은 더 이상 '고양이'라는 개념에 기대지 않고, 오직 시각적 유사성만을 근거로 판단하게 되겠죠? 이 과정은 모델이 언어적 정의가 아닌 문맥적 유사성에 기반해 학습하도록 유도합니다.

4. 미세조정

효율적인 학습을 위해 LoRA(Low-Rank Adaptation) 방식도 함께 적용됐는데요. LoRA는 모델 전체를 새로 학습시키지 않고, 파라미터 일부만 조정하여 기존 능력을 유지하면서 새로운 능력을 추가하는 방법입니다. 덕분에 모델은 기존의 언어적 이해력이나 시각적 지식을 잃지 않으면서도, 추가로 개인화된 문맥 학습을 수행할 수 있게 되었지요.

연구진은 Qwen2-VL 모델에 IPLoc을 적용했습니다. 이후 GPT-4o, LLaVA, Idefics 등 기존 모델들과 성능을 비교했지요. 비교를 위해 사용한 데이터셋으로는 PDM, PerSeg, 그리고 ICL-LASOT이 있습니다. 결과를 볼까요?

GPT-4o는 설명은 잘했지만 실제 좌표 예측에는 약한 모습을 보였습니다. 반면 Qwen2-VL 기반 모델은 IPLoc 적용 후 평균 IoU가 31.8%에서 43.3%로 상승했는데요. 더 큰 모델(72B 파라미터)에서는 55.8%까지 올라갔습니다. 또한, 같은 크기의 모델이라도 IPLoc을 적용하지 않은 경우보다 약 20% 성능 향상이 나타났습니다. 

장점이 명확한만큼, 한계도 뚜렷한데요. 현재 IPLoc은 한 번에 하나의 객체만 찾습니다. 따라서 여러 객체를 동시에 다루는 멀티 오브젝트 상황에서는 성능이 5.3% 수준으로 급감하는 모습을 보였는데요. 이는 현존 VLM 대부분의 공통적 한계이기도 합니다. 연구진은 향후 더 강력한 멀티모달 모델들과 결합하여, 여러 객체를 문맥적으로 구별하고 추적하는 단계로 확장시키고자 합니다. 🚀

IPLoc의 가장 큰 의미는 성능 자체보다 학습 방식에 있습니다. 이번 연구는 AI가 인간처럼 문맥을 통해 배우는 법을 탐구한 사례인데요. 모델의 크기나 연산 능력이 아니라, 데이터의 구조와 맥락성이 얼마나 중요한지를 보여줍니다. 앞으로 인공지능은 단순히 더 큰 모델을 만드는 경쟁이 아니라, ‘더 똑똑한 데이터’, 즉 문맥을 품은 데이터 경쟁으로 전환될 가능성도 제시하지요. AI도 단순 암기보다는 이해하는 게 더 중요하다니, 점점 더 인간을 닮아가는 듯합니다.