최신 챗GPT나 제미나이, 클로드 등이 뛰어난 성능을 자랑하고 있지만, 데이터 과학은 여전히 AI가 가장 어려워하는 영역입니다. CSV, JSON, 텍스트, 마크다운 등 이질적인 데이터 형식을 동시에 다뤄야 하고, 탐색→정제→시각화→모델링이라는 논리적 절차를 거쳐야 하며, 결과의 의미를 해석해야 하기 때문이지요.

데이터 사이언티스트의 전반적인 업무. 출처: 구글.

기존에도 AutoGen이나 Data Interpreter와 같은 데이터 분석 에이전트는 존재했는데요. 대부분 아래 한계를 넘지 못했습니다.

1. 정형 데이터에 한정: JSON·텍스트·마크다운 등 비정형 데이터 미처리
2. 결과 검증 부재: <코드 실행 성공=정답>으로 단순 판정
3. 실패 시 재계획 불가: 오류 발생 시 바로 종료
   
   

결과적으로 정확도는 30~40%대에 머물렀고, AI가 실제로 데이터를 '이해하며 일한다'고 보기는 어려웠습니다.

DS-STAR는 반복적인 계획과 검증을 통해 다양한 데이터 소스를 포함하는 복잡한 분석을 안정적으로 수행하는 것을 목표로 합니다. 이를 위해 연구진은 LLM 하나가 모든 일을 처리하는 대신, 여러 개의 전문 에이전트가 역할을 분담해 협업하는 구조를 도입했습니다. 가창력이 뛰어난 가수끼리 모여 노래 부르는 영상에 '교수님들끼리 조별 과제한다'는 댓글, 종종 보셨지요? DS-STAR도 각 분야 '교수님'들이 모여 데이터를 분석한다고 생각할 수 있습니다. 👨🏻‍🏫

DS-STAR 개요. 각 에이전트가 하는 일과 흐름을 볼 수 있다. 출처: 구글.

반복(Refinement) 횟수에 따른 성능 변화. 출처: 구글.

연구진은 DS-STAR를 DABStep, KramaBench, DA-Code, 세 가지 대표 벤치마크에서 검증했습니다. 각 벤치마크를 간단하게 살펴보겠습니다.

DABStep(Data Analysis Benchmark with Stepwise Evaluation)

AI가 여러 개의 데이터 파일을 단계적으로 분석해 실제 과제의 답을 낼 수 있는지를 평가하는 벤치마크입니다. 단계별 추론을 요구하지요. 각 문제는 3~7개의 서로 다른 형식의 파일(CSV, JSON, Markdown, TXT 등)로 이루어져 있는데요. 파일 안에는 통계 데이터, 로그, 설명 문서 등이 섞여 있어서 단순 SQL 질의나 한 줄 코드로는 해결이 불가능합니다.

KramaBench

AI 에이전트가 '어떤 파일이 문제 해결에 필요한가'를 스스로 찾아낼 수 있는지를 평가하는 벤치마크입니다. 거래내역, 고객정보, 정책 문서 등 실제 기업이나 산업 데이터를 모방한 파일이 최대 1,500여 개까지 존재하는 디렉토리를 주고, AI가 찾게 만드는 테스트지요. 질문에 대한 정답은 여러 파일 중 3~4개 안에만 존재해, 에이전트의 데이터 탐색 능력을 확인할 수 있습니다.

DA-Code(Data Analysis - Code Benchmark)

단순히 데이터를 요약하거나 집계하는 수준을 넘어, 'AI가 코드를 이용해 하나의 완전한 분석 파이프라인을 짤 수 있는가?'를 평가합니다. 주어진 데이터는 대부분 CSV나 JSON 등 정형 데이터이고, 각 문제에는 명확한 분석 목표가 주어집니다. 예를 들면 이렇게 말이지요:

각 벤치마크에서, DS-STAR는 어떤 결과를 보였을까요?