NIAH는 서양 속담 중 하나인 ‘a needle in a haystack’에서 차용한 것입니다.
출처: Freepik (Adobe Photoshop 생성형 AI 활용 편집)

거듭된 연구를 통해서 LLM의 NIAH 문제는 해결해나가고 있지만, 이미지와 자연어를 모두 이해하는 멀티모달에서는 이와 관련한 연구가 많이 나타나지 않았습니다. 때문에 현재 챗봇 모델들은 여전히 긴 문맥을 제대로 활용하지 못하고 있다고 볼 수 있는데요.

OpenGVLab은 <Needle In A Multimodal Haystack> 연구를 통해 현존 멀티모달 모델의 NIAH 성능을 측정해 비교했습니다. 이를 위해 멀티모달을 위한 NIAH 평가 벤치마크인 MM-NIAH(Needle In A Multimodal Haystack)를 새롭게 제안했습니다.

기존 멀티모달 평가 모델은 짧은 맥락 속에서 정보를 찾거나, 이미지 속 정보를 답하는 데 초점을 두고 있습니다. 반면 MM-NIAH의 경우에는 긴 텍스트와 여러 개의 이미지가 함께 주어지고, 그 속에 숨어 있는 정보를 기반으로 질문에 답해야 합니다.

멀티모달 모델에서는 기존 언어 모델이 보인 NIAH 문제와 달리 지엽적인 텍스트 내용인 Text Needle뿐만 아니라 이미지 정보인 Image Needle까지 찾아야 하는데요. 이 능력을 평가하기 위해 3가지 평가 기준, 1) 핵심 정보를 검색(Retrieval)하고, 2) 문맥 곳곳에 있는 단어와 이미지를 개수를 세고(Counting), 3) 긴 문맥 속에 퍼져 있는 내용을 근거로 추론(Reasoning)하도록 데이터를 구축했습니다.

출처: Needle In A Multimodal Haystack (Wang et al., 2024)

위 그림은 텍스트와 이미지별로 3가지 태스크의 예시를 보여줍니다. MM-NIAH는 모델의 능력을 측정하기 위해서 임의로 글 중간에 핵심 정보를 삽입한 데이터로 구성되어 있습니다. 즉, 전체적인 문맥이 CAD와 관련된 내용이라도 CAD와는 무관한 다른 내용이 함께 구성되어 있고 그에 대해 질문하는 것이죠. 이는 작은 정보라도 놓치지 않고 이해할 수 있는 판단할 수 있는 기준이 됩니다. 

한 가지 특이한 점이 있다면 개수 세기의 경우에는 개수의 합을 한 번에 제시하는 것이 아니라 리스트로 제시하도록 만들었습니다. 우연히 합산한 결과를 맞히는 것이 아니라 정말 제대로 정보를 검색해 찾았는지 확인하는 것을 목표로 하기 때문이지요.

출처: Needle In A Multimodal Haystack (Wang et al., 2024)

그렇다면 MM-NIAH 기준으로 평가한 현재 모델은 성능은 어떠할까요? 🧐

주목할 만한 부분은 Gemini-1.5와 인간(Human)의 비교입니다. Gemini-1.5 모델은 현존 최고 성능을 보이는 멀티모달 모델 중 하나로 꼽히는데요. 인간이 98.9%의 정확도를 보인 반면, Gemini-1.5라도 평균적으로 55.3%을 보이며 절반을 살짝 넘는 수준밖에 되지 않는다는 것을 보여줍니다. 한편, GPT-4V의 경우에는 API상 입력 이미지가 최대 10개로 제한되어 정확한 Image Needle에 대해 정확한 비교가 어려웠지만, Text Needle만 비교했을 때 3개 태스크 평균 84.1%로 약 82%를 기록한 Gemini-1.5보다도 좋은 성능을 보였습니다.

💡 언어 모델(LLM)과 멀티모달 언어 모델(MLLM)의 NIAH 문제 비교

: Anthropic이 새로운 AI 모델 'Claude 3.5 Sonnet'를 출시했습니다. 이 모델은 대학원 수준의 추론, 대학교 수준의 지식을 보유하고 있고, Claude 3 Opus보다 훨씬 뛰어난 성능을 보여주는데요. 특히 AI 특유의 말투를 벗어나 높은 품질의 콘텐츠를 자연스럽고 친근한 어조로 작성할 수 있어 복잡한 고객 지원 및 여러 단계의 워크플로우 조정에 이상적일 것으로 보입니다.

AI 사진 대회에서 우승한 ‘진짜 사진’

: AI 사진 콘테스트에서 사람이 찍은 ’진짜 사진‘이 1위를 차지하는 해프닝이 벌어졌습니다. 사진 작가 마일즈 아스트레이는 ”AI보다 대자연이 더 아름답다는 것을 보여주기 위해“ 작품을 출품했다고 밝혔습니다. 주최 측은 다른 아티스트가 AI 부문에서 우승하는 것을 방해하고 싶지 않다며, 논의 끝에 수상을 취소했습니다. 동시에 대회에 변화를 가져올 것이라고 밝혔습니다.

OpenAI, 검색 능력 강화를 위해 스타트업 ‘Rockset’ 인수

: OpenAI가 실시간 분석 데이터베이스를 제공하는 Rockset을 인수했습니다. Rockset은 2016년 설립된 기업으로, 개발자들이 대규모로 데이터 집약적인 애플리케이션을 구축할 수 있게 해주는 클라우드 기반의 서비스를 제공해 왔는데요. 이번 인수를 통해 OpenAI는 Rockset의 세계적 최고 수준의 인덱싱 및 쿼리 기능을 자사 제품의 검색 인프라에 통합하여 검색(Retrieval) 기술을 강화하고자 하는 것으로 풀이됩니다.