[TECH] #04🦖RAPTOR: 검색 증강 언어 모델의 미래

대형 언어 모델(LLM)이 빠르게 발전함에 따라, 방대한 텍스트에서 관련 정보를 효율적으로 검색하는 것이 항상 큰 도전 과제로 남아 있습니다. 기존의 검색 방법은 작은 연속 텍스트 조각만 검색하는 경향이 있어 포괄적인 이해에 필요한 더 넓은 맥락을 놓치는 경우가 많습니다. Recursive Abstractive Processing for Tree-Organized Retrieval의 약자인 RAPTOR는 바로 이러한 문제를 해결하기 위해 고안된 새로운 재귀적 요약 기반 검색 방식입니다.

기존 방식 중 top-k retrieval 방식은 쿼리와 가장 유사한 상위 k개의 텍스트를 단순히 선택하여 제공하는 방식입니다. 이 방식은 가장 유사한 텍스트를 빠르게 찾을 수 있지만, 정해진 범위 내에서만 정보를 선택하기 때문에 문서의 여러 레이어에 걸쳐 통합된 정보를 제공하는 데는 한계가 있지요. 반면, Collapsed Tree Retrieval은 트리의 모든 레이어에서 동시에 가장 유사한 정보를 찾아내므로, 더 복합적이고 유연한 검색 결과를 제공합니다.

RAPTOR의 collapsed tree retrieval 방식은 QASPER 데이터셋의 20개 스토리 실험에서 기존 top-k retrieval 방식을 일관되게 능가했습니다. 특히 최대 2,000개의 토큰을 검색하는 top-20 노드에서 최상의 성능을 기록했는데요. 세부 정보와 상위 요약 정보의 균형을 잘 맞춘 덕입니다. 이처럼 RAPTOR는 기존의 검색 시스템이 제공하지 못하는 다층적인 정보 통합과 효율적인 검색을 가능하게 합니다.

RAPTOR는 기존의 검색 시스템과 차별화되는 트리 기반의 검색 방식을 도입했습니다. 기존의 검색 방식은 텍스트를 작은 조각으로 나누고, 개별적으로 검색하는 데 그쳤지만, RAPTOR는 이 방식을 넘어섭니다. 먼저, SBERT 임베딩을 사용해 텍스트를 벡터화한 후, 가우시안 혼합 모델(GMM)을 통해 유사한 의미를 가진 텍스트들을 클러스터링(clustering)합니다.

RAPTOR의 핵심 혁신은 단순히 텍스트 조각에 의존하지 않고, 이러한 클러스터를 재귀적으로 요약하여 계층적 트리를 형성한다는 점입니다. 트리의 루트(root)에는 문서 전체를 요약한 상위 정보가 위치하고, 리프(leaf🍃) 노드에는 더 세부적인 정보들이 담깁니다. 이렇게 다양한 레이어로 요약된 정보는 사용자 쿼리에 따라 세부 사항과 추상적 정보를 유연하게 탐색할 수 있도록 돕지요. 이 과정에서 RAPTOR는 문서 내에서 세부 사항과 넓은 주제를 동시에 파악할 수 있어, 정보 통합의 효율성을 크게 향상시킵니다.

이러한 트리 구조 덕분에 RAPTOR는 복잡한 문서를 처리하는 작업에서 뛰어난 성능을 발휘합니다. 특히 QASPER 데이터셋에서 RAPTOR는 정밀도와 재현율의 조화 평균을 나타내는 F1 점수에서 55.7%를 기록했으며, 이는 이전 최고 성능이었던 CoLT5의 53.9%를 뛰어넘는 수치입니다. RAPTOR가 과학 논문과 같은 복잡한 문서에서 세부 사항과 주제를 효과적으로 통합하여, 높은 정확도와 적은 오차로 필요한 정보를 찾아낼 수 있다는 결과지요.

질문에 답하고, 문서를 요약하며, 보고서를 생성하는 작업에서 언어 모델은 점점 더 중심적인 역할을 하고 있습니다. 방대한 정보에서 관련 정보를 신속하고 정확하게 가져올 수 있어야 하지요. 그러나 기존의 검색 방법은 텍스트의 작은 조각만 제공하기 때문에 모델의 능력이 제한됩니다. 예를 들어, ‘신데렐라는 어떻게 해피엔딩으로 끝났나요?’라는 질문은 몇가지 문장이 아닌, 소설의 전체적인 맥락을 이해해야 답을 할 수 있습니다.

RAPTOR는 다양한 추상화 수준에서 요약된 정보를 검색하는 방법을 제공함으로써 이러한 문제를 해결하는데요. 세부적인 스니펫이 필요할 때도, 높은 수준의 개요가 필요할 때도 유연하게 대처할 수 있습니다. RAPTOR 방식을 사용하면, 어떤 정보 검색 방식과 결합하더라도 더 높은 성능을 기록할 수 있습니다. 아래 표를 함께 살펴볼까요?

NarrativeQA 데이터셋에서 RAPTOR와 결합된 SBERT, BM25, 그리고 DPR은 각각 단독으로 사용되었을 때보다 더 높은 ROUGE-L 성능을 보여주었습니다. 특히, BM25와 RAPTOR가 결합된 경우 23.52%에서 27.93%로 성능이 향상되었고, DPR와 RAPTOR를 결합하면 30.94%로 가장 높은 성능을 기록했습니다. 이는 RAPTOR가 다양한 검색 방법과 결합했을 때 검색 정확도를 일관되게 향상시킨다는 점을 명확히 보여줍니다.

AI 데이터의 기준을 만듭니다