LLM은 단계별로 추론 과정을 거쳐 복잡한 질문에 답할 수 있는 능력을 가지고 있습니다. 지식 그래프는 구조적으로 쿼리 요소와 관계를 연결하여 관련된 사실을 표현하므로, 논리적인 추론 경로를 제공하는 데 강점이 있습니다. DoG는 LLM의 단계별 추론 능력과 KG의 구조적 정보를 긴밀히 연결하는 새로운 방식입니다. 🔗

DoG의 핵심은 "올바른 체인(well-formed chain)"이라는 개념입니다. 올바른 체인은 질문에 대한 답변으로 이어지는 논리적 삼중항(triplet)들의 연속으로, 쿼리 요소에서 시작해 답변으로 도달하는 경로를 나타냅니다. 올바른 체인에는 두 가지 조건이 있는데요:

• ☝🏼 체인의 모든 삼중항은 KG에 존재해야 한다.
• ✌🏼 각 삼중항의 head 또는 tail 요소는 이전 삼중항에서 이미 방문되었거나, 질문의 쿼리에 언급된 요소여야 한다.

모든 삼중항이 KG에 존재해야 하므로, 추론 과정에서 잘못된 정보를 생성할 수 없습니다. 또한, 이미 방문한 요소의 이웃 관계만 탐색하면 되기에 탐색 범위가 좁아지겠지요? 이처럼 올바른 체인은 기존 방식보다 더욱 정확하고 효율이 높습니다.

기존에 LLM과 KG를 결합하던 방식은 크게 두 가지가 있습니다. 서브그래프 검색 방식과 반복 프롬프팅 방식인데요. 이 두 방식에는 명확한 한계가 존재합니다.

• 서브그래프 검색:

  • 질문과 관련된 작은 서브그래프를 사전에 추출

  • 사전 검색된 데이터가 불완전하거나 잘못되었을 경우, 추론 정확도가 낮음

• 반복 프롬프팅:

  • LLM이 자체적으로 단계별 추론을 수행하며, 질문에 대한 답을 점진적으로 생성

  • 복잡한 다중 홉(multihop) 질문에서 논리적 일관성이 떨어질 가능성이 큼

  • 환각(hallucination)이 발생할 위험이 있음
    

LLM에게 KG를 선형화된 텍스트로 입력하면, KG의 구조적 정보가 모호해져 정확한 추론 경로를 생성하기 어렵습니다. 선형화된 텍스트에서 핵심 요소와 관계 간의 네트워크 구조가 사라지기 때문입니다. 예를 들어, "Blue Hawaii → location → Hawaii"와 "Hawaii → national flower → Hibiscus"라는 경로를 단순히 텍스트로 나열하면, LLM은 이 두 관계가 서로 연결된 정보라는 점을 인식하기 어렵습니다.

DoG는 "그래프 인식 제약 디코딩(Graph-Aware Constrained Decoding)"이라는 새로운 방식을 통해 이 문제를 해결합니다. LLM의 디코딩 과정을 KG의 구조적 제약에 따라 제한하여, 유효한 삼중항만 생성할 수 있도록 만드는데요. 그림으로 살펴볼까요?

실험 결과, DoG는 WebQuestionsSP, ComplexWebQuestions, 2WikiMultihopQA와 같은 KGQA 평가를 위한 대표적인 데이터셋의 세 가지 데이터셋에서 기존 방법을 능가하는 성능을 보였습니다. 학습이 필요 없는 환경임에도 DoG는 높은 정확도를 달성했는데요. 아래 표를 보시면, 빔 크기(bs=n)와 상관없이 안정적인 답변을 생성하는 모습입니다.

빔 크기(beam size)가 커지면 동시에 평가해야 할 경로의 수가 늘어나기 때문에 계산량과 복잡도가 증가하는데요. DoG는 그래프 인식 제약 디코딩 방식을 통해 모든 경로를 효율적으로 제한하므로 성능이 안정적으로 유지됩니다. DoG가 더 복잡한 질문에도 높은 정확도를 제공할 수 있는 이유 중 하나이지요.

물론, 한계도 존재합니다. KG에 정보가 없거나 불완전한 경우, DoG는 답변을 생성할 수 없습니다. 또한, 대규모 KG에서 동적 서브그래프를 확장하는 과정은 여전히 계산 비용이 많이 들 수 있지요. 하지만 DoG는 LLM과 KG의 강점을 결합하여 새로운 지능형 시스템을 만들고 있습니다. 특히 의료, 금융, 법률과 같이 복잡한 데이터 기반 추론이 필요한 분야라면 더욱 다양하게 활용할 수 있습니다.