[TECH] #06  🚀 RAG를 뛰어넘는 Graph RAG - 1편

RAG는 질문에 대한 답을 생성하기 위해 관련 정보를 검색하고 이를 바탕으로 응답을 생성하는 시스템입니다. 단순한 질문(예: "2023년 노벨상 수상자는 누구인가요?")에는 효과적이지만, "이 데이터셋의 주요 주제는 무엇인가요?"처럼 전반적인 맥락과 핵심을 요약해야 하는 질문에는 한계가 있지요. 

이는 RAG가 데이터를 조각으로 처리하면서 전체적인 연결 관계를 놓치고, 대규모 데이터셋에서는 LLM(Large Language Model)의 처리 용량을 초과하기 때문인데요. Graph RAG는 이러한 한계를 해결하기 위해 데이터를 그래프 기반으로 재구성하고, 커뮤니티 단위로 요약하여 데이터를 더욱 효율적으로 처리합니다.

2. 주요 요소 추출 (Text Chunks → Element Instances)

각 텍스트 조각에서 주요 요소(노드)와 관계(엣지)를 추출하는 단계입니다. LLM은 다음을 추출하는데요:

• 노드(node): 주요 개체(entity)를 의미하는, 독립적인 정보 단위 (예: 사람, 장소, 개념)
• 엣지(edge): 두 개체 간의 연결 관계(relationship) (예: "A는 B의 부분이다")

추출 과정에서는 도메인에 맞춘 프롬프트와 few-shot learning을 활용합니다. 의료 데이터에서는 질병과 증상, 법률 데이터에서는 판례와 법적 논점 간의 관계를 탐지하는 식이지요. 또한, 반복적인 '글리닝(gleaning)' 과정을 통해 처음에는 누락된 엔티티도 추가적으로 추출합니다.

3. 요소 요약 생성 (Element Instances → Element Summaries)

추출된 노드와 엣지의 정보를 요약하는 단계입니다. Graph RAG는 노드와 해당 노드 간의 관계를 설명하는 텍스트를 생성하며, 이 텍스트는 개별적으로도 의미를 가질 수 있습니다. 예를 들어, "재생 가능 에너지" 노드에 대해 "태양광 기술과 정책적 지원이 주요 트렌드"라는 요약이 생성됩니다. 또한, LLM의 중복 처리 문제를 방지하기 위해 이름 변형(예: "AI"와 "Artificial Intelligence")을 연결하고, 상호 관련성이 높은 요소를 묶어 정리합니다.

4. 그래프 생성 및 커뮤니티 구성 (Element Summaries → Graph Communities)

요약된 노드와 엣지는 그래프로 연결되는데요. 그래프는 노드(개체)와 엣지(관계)를 기반으로 하며, Leiden 알고리즘을 사용해 서로 연관된 노드 그룹(커뮤니티)을 형성합니다.

예를 들어, 뉴스 데이터에서는 "기후 변화" 커뮤니티가 "재생 가능 에너지", "탄소 배출", "정책 개혁"과 같은 관련 주제를 묶을 수 있는데요. 이렇게 커뮤니티를 계층적으로 구성하면 데이터의 복잡한 구조를 효율적으로 분석할 수 있겠지요? 🔥

5. 커뮤니티 요약 생성 (Graph Communities → Community Summaries)

Leiden 알고리즘을 통해 형성된 각 커뮤니티는 LLM을 통해 보고서 형식으로 요약하는 단계입니다. 각 요약은 커뮤니티 내 주요 노드와 엣지의 정보를 포함하는데요. 질문에 답변하기 위한 데이터 인덱스로서 유용할 뿐만 아니라, 질문이 없는 경우에도 데이터셋의 전체 구조와 의미를 이해하는 데 독립적으로 활용될 수 있지요.

커뮤니티 요약 생성 방법을 간단하게 살펴볼까요?

6. 응답 생성 (Community Summaries → Community Answers → Global Answer)

질문이 주어지면, Graph RAG는 관련 커뮤니티 요약을 기반으로 중간 응답을 생성합니다. 각 응답은 LLM을 통해 점수화되어 유용성(0~100) 기준으로 평가되는데요. 나가장 높은 점수를 받은 응답부터 차례로 결합해 최종 응답을 만듭니다.