📰 비싼 AI 모델이 항상 정답일까? - 디시전 AI의 등장

요즘 AI 뉴스에 부쩍 자주 등장하는 말이 있습니다. 바로 '디시전 AI(Decision AI)', 혹은 '디시전 모델'인데요. 지난 9월 15일 타입세이프AI(TypeSafe AI)가 '제브(Jev)'라는 모델을 공개한 뒤, 불과 한 달 사이에 오픈AI, 마이크로소프트, 퍼플렉시티, 클라우드플레어, AWS까지 잇달아 비슷한 모델을 내놓았습니다. 한 스타트업이 이름 붙인 카테고리에 빅테크가 한 달 만에 줄지어 뛰어든 셈이지요.

‘디시전 AI’는 글을 쓰지 않습니다. 코드도, 챗봇 답변도 만들지 않지요. 대신 '판단'만 합니다. 도대체 어떤 모델이길래 이렇게 빠르게 번지고 있는 걸까요?

우리가 익숙한 챗GPT나 클로드 같은 LLM은 글을 한 단어씩 이어 붙여 답을 '생성'합니다. 반면 디시전 AI는 답을 생성하지 않습니다. 주어진 정보를 보고 미리 정해진 선택지 가운데 하나를 고르거나, 점수를 매기거나, 예/아니오를 답할 뿐이지요. 그것도 단어를 하나씩 뽑아 생성해내는 대신 한 번에 결론만 내놓습니다.

타입세이프AI는 이를 '시스템 1 모델(System One model)'이라고 부르는데요. 심리학자 대니얼 카너먼이 말한 두 가지 사고방식에서 따온 이름입니다. 시스템 1은 빠르고 직관적인 사고, 시스템 2는 느리고 신중한 사고를 뜻하지요. 범용 LLM이 긴 추론을 거쳐 답을 쓰는 시스템 2라면, 디시전 AI는 보자마자 판단하는 시스템 1에 가깝습니다. ⚡

사용법도 단순합니다. 모델에게 ‘상황을 설명하는 정보’와 ‘판단해야 할 질문’을 함께 넘기면 되는데요.

예를 들어 고객센터에 "주문한 상품이 파손돼서 도착했어요. 당장 환불받고 싶습니다." 같은 문의가 들어왔다고 생각해 보겠습니다. 이때 AI 시스템에 필요한 판단은 무엇일까요?

이런 상황에서는 긴 설명보다 정해진 선택지 중 올바른 답을 빠르게 고르는 능력이 중요하죠. 디시전 AI는 각 질문의 답과 함께 '그 답이 맞을 확률'을 돌려줍니다.

기존 언어 모델도 비슷한 분류 작업을 할 수 있지만, 디시전 AI는 긴 텍스트를 생성하는 과정을 줄이거나 생략하도록 설계되어 판단에 필요한 시간과 연산 비용을 낮추는 데 집중합니다.

✋🏼여기서 잠깐!

디시전 AI가 알려주는 확률은 '보정된 확률'입니다. 모델이 "환불 문의일 확률 90%"라고 답한 경우를 100개 모아 봤을 때, 그중 90개쯤이 환불 문의여야 한다는 뜻이지요. 이 확률이 믿을 만해야, 서비스를 운영하는 사람이 ‘90% 이상이면 자동 처리, 그 아래면 사람에게 넘기기’와 같은 기준선을 미리 정해 두고 소프트웨어가 그대로 따르게 할 수 있기 때문입니다. 타입세이프AI는 이 보정을 위해 RLCD(Reinforcement Learning for Calibrated Decisions)라는 학습 방식을 썼다고 설명합니다.

하나의 상태(state)에 여러 질문을 던지고, 질문마다 답과 확률을 받아 다음 할 일을 정하는 ‘시스템 1 모델’ 워크플로 예시. 출처: TypeSafe AI

답은 '에이전트'에 있습니다. AI 에이전트는 하나의 작업을 끝내기까지 수십 번의 작은 판단을 반복하는데요. 이 요청을 어느 모델에 보낼지, 지금 하려는 행동이 안전한지, 검색 결과 중 무엇을 믿을지, 다음에 어느 에이전트를 부를지 같은 것들입니다. 이런 판단을 매번 가장 크고 비싼 LLM에게 맡기면, 정작 글 한 줄 쓰지 않는 순간에 큰 비용과 많은 시간이 소요됩니다. 판단 한 번에 100밀리초씩 걸린다면, 스무 번만 판단해도 2초가 '고민하는 데'만 쓰이는 셈이지요. ⏱️

타입세이프AI의 디시전 AI 모델도 여기서 출발합니다. 판단을 전담하는 작은 모델을 따로 두면, 같은 작업을 LLM에 맡길 때보다 수백 배 싸고 빠르게 처리할 수 있다는 것인데요. 제브의 가격은 입력 토큰 10억 개당 42달러, 출력은 무료입니다. 비슷한 성능의 LLM 대비 133배 빠르고 444배 저렴하다고 하는데요. *물론 이 수치는 개발사인 타입세이프AI가 직접 측정한 것이긴 합니다.

흥미로운 건 그다음입니다. 제브 공개 이후 3주 남짓한 사이에 오픈AI가 'Decisions API'를 열었고, 10월 9일에는 마이크로소프트가 'Microsoft-Decision-1'을 내놓았습니다. 마이크로소프트는 자사 모델 대신 알리바바의 오픈 모델 Qwen3.5-9B를 후속 학습해 만들었는데요. 36개 벤치마크, 약 15만 문항에서 가장 높은 평균 정확도를 냈다고 밝혔습니다. 가격은 제브와 똑같은 입력 토큰 10억 개당 42달러였지요. 퍼플렉시티는 그보다 싼 20달러를 불렀고요. AWS, 클라우드플레어, 업스테이지 등도 같은 대열에 섰습니다.

불과 한두 달 사이 여러 기업이 판단 특화 모델을 공개했다는 것은 무엇을 의미할까요?

AI 경쟁의 중심이 단순히 '얼마나 똑똑하게 답변하는가'에서 '얼마나 빠르고 효율적으로 판단하는가'로도 확장되고 있다는 신호로 볼 수 있습니다.

각 사가 내세우는 쓰임새는 대체로 네 가지로 나뉩니다.

1. 모델 라우팅 - 질문의 난이도를 보고 작은 모델과 큰 모델 중 어디로 보낼지 정합니다. 쉬운 질문에 가장 비싼 모델을 쓰는 낭비를 줄이는, 가장 직접적인 비용 절감 수단이지요.
2. 에이전트 행동 검증 - 에이전트가 "이 파일을 지우겠다", "이 이메일을 보내겠다"고 할 때, 실행 전에 그 행동이 적절한지 빠르게 판정합니다. 사람이 모든 행동을 승인할 수 없으니, 판단 모델이 문지기 역할을 맡는 셈입니다.
3. 답변 채점 - AI의 답변이 기준(루브릭)에 맞는지 점수를 매깁니다. 그동안 'LLM-as-a-judge'라고 해서 큰 LLM에게 채점을 맡겨 왔는데요. 수만 건의 대화 로그를 매번 큰 모델로 채점하기엔 비용이 만만치 않았습니다.
4. 대량 분류와 가드레일 - 문의를 담당 부서로 분류하거나, 입력에 프롬프트 인젝션이나 정책 위반이 섞여 있는지 걸러내는 일입니다. 건수가 많고 판단이 반복되는 일일수록 디시전 AI가 빛을 발합니다.

모두 '글을 쓰는 일'이 아니라 '고르는 일'입니다. 그리고 하나같이 하루에 수만 번씩 반복되는 일이지요. 👀

다만, 디시전 AI에도 한계는 있습니다. 판단의 근거를 설명하지 못하고, 질문이나 선택지의 표현에 따라 결과가 달라질 수 있으며, 입력으로 제공되지 않은 정보는 판단에 활용하지 못한다는 점입니다.

여기서 한 가지가 분명해집니다. 디시전 AI는 '평가하는 모델'이면서 동시에 '평가받아야 하는 모델'이라는 점입니다. 판단 하나하나가 곧바로 소프트웨어의 행동으로 이어지는 만큼, 그 판단이 내 업무 데이터에서 얼마나 정확하고 일관된지를 검증하는 일이 전보다 훨씬 중요해질 것으로 보입니다. ⚖️

셀렉트스타도 이 흐름 위에서 자체 디시전 AI '다비(Davi)'를 공개했습니다. 셀렉트스타가 그동안 해 온 일은 AI의 답변을 채점하고, 데이터 품질을 검수하고, 모델의 취약점을 찾는 '평가'였는데요. 다비는 그 평가 기준을 사람 대신 모델이 빠르게 판단하도록 만든 결과물입니다.

다비는 AI 모델 선택뿐 아니라 AI 답변의 적절성 평가, 에이전트 작업의 성공 가능성 예측 등 다양한 판단 작업에 활용할 수 있는 모델인데요.

다비 공개와 함께 제브(Jev)와 성능 비교 평가를 진행했습니다. 공개 벤치마크(JevBench)와 한국어 데이터 등 총 5개 영역에서 평가를 진행했습니다. 두 모델에게 같은 문제를 같은 조건으로 풀게 한 것인데요.

그 결과, 다비가 JevBench 전체 평가에서 89.2%의 정확도를 기록해 제브(86.6%)보다 2.6%포인트 높은 성능을 보였습니다. JevBench 고난도 문제 평가에서도 다비가 77.5%로 제브(73.0%)를 앞섰습니다.

특히 다비가 제브보다 강점을 보인 3가지 영역이 있었습니다.

• 한국어 판단에 강했습니다. 한국어 답변을 루브릭(채점 기준)으로 채점하는 벤치마크(Ko-Feedback Bench)에서 다비는 72.5%, 제브는 66.8%로 5.7%p 차이를 보이며 한국어 평가에서 강점이 뚜렷했습니다.
• 라우터로 썼을 때 비용을 줄이면서 정답률을 지켰습니다. 벤치마크 외에도 모델 라우팅 실험을 추가로 진행했는데요. 한국어 고난도 질의응답 870건에서 다비가 Haiku·Sonnet·Opus 중 하나를 고르게 했더니, 가장 비싼 Opus만 쓴 것보다 정답은 7개 많았고 모델 실행 비용은 약 28% 적었습니다.
• 일관적인 판단을 내렸습니다. 같은 174문항을 5번 반복했을 때 선택한 모델이 바뀐 문항은 다비가 2개, 제브가 14개였습니다. 위에서 말씀드린 '일관성'이 라우터에게 왜 중요한지를 보여주는 수치입니다.

다비가 모든 지표에서 앞선 것은 아니었습니다. RAG 답변 품질 판정에서는 제브가 근소하게 앞선 항목도 있었는데요.

다비 vs 제브 실험 설계와 전체 수치, 자세한 결과는 블로그에 정리해 두었습니다.

✅ ‘다비’를 직접 써 보실 수도 있습니다. 

이번 연구 성과를 개발자와 연구자들이 직접 살펴볼 수 있도록 다비 기반 AI 모델 라우팅 플러그인을 깃허브에 오픈소스로 공개했는데요.

관련 소스코드와 실험 자료를 살펴보고 자신의 환경에 맞게 활용하거나 확장할 수 있습니다. 상업적 이용과 수정, 재배포가 모두 가능하니 자유롭게 활용해 보세요.

이번 다비(Davi)와 제브(Jev) 비교 평가에서 확인한 것은 명확합니다.

① 가장 비싼 모델을 매번 쓰는 것이 정답이 아니라는 것과 ② '어떤 모델에 맡길지'를 잘 판단하는 것만으로도 정확도와 비용을 동시에 잡을 수 있다는 것입니다.

그런데 ‘어떤 모델에 맡길지’ 결정하는 것과 ‘AI의 답변이 적절한지’ 평가하는 것은 결국 같은 종류의 판단입니다. 셀렉트스타가 ‘다투모 이밸(Datumo Eval)’을 통해 수행해 온 AI 신뢰성 평가 역시 수많은 답변의 적절성과 정책 준수 여부를 반복적으로 판단하는 작업이지요.

이에 셀렉트스타는 11월 중 다비를 AI 신뢰성 평가 플랫폼 '다투모 이밸(Datumo Eval)'에 적용해 한층 업그레이드할 예정입니다. 앞서 보신 것처럼 다비는 한국어 답변을 루브릭으로 채점하는 일에서 제브보다 앞섰고, 같은 질문에 같은 답을 내는 일관성도 가장 높았습니다. 이 판단을 다비가 처리하면, 다투모 이밸을 통해 더 적은 비용으로, 더 빠르게, 더 많은 AI 데이터를 평가할 수 있게 됩니다. 

앞으로 AI 기술의 발전은 단순히 더 똑똑한 모델을 만드는 것을 넘어, 여러 AI가 적재적소에서 능력을 발휘하도록 만드는 방향으로도 이어질 것입니다. 셀렉트스타 역시 AI를 더 정확하게 평가하고 효율적으로 활용할 수 있는 기술 개발을 이어가겠습니다.

많은 관심 부탁드립니다! 🚀

셀렉트스타, 디시전 AI '다비(DAVI)' 공개…AI 판단력 평가에서 '제브' 앞섰다

: 셀렉트스타가 판단 특화 AI 모델 '다비'를 공개하고, 글로벌 판단 모델 '제브'와의 비교 평가에서 우위를 확인했습니다. 다비를 라우터로 쓴 실험에서는 Opus 단독 사용보다 정답률은 높이고 모델 실행 비용은 약 28% 줄였으며, 11월 '다투모 이밸'에 적용될 예정입니다.

: 글로벌 AI 모델 평가기관 아티피셜 애널리시스(AA)가 평가 기준을 개편했습니다. 기존 지식·추론 중심의 평가에서 실제 코딩, 과학 연구, 업무 수행 능력을 강화하고 비공개 평가 데이터 비중을 60%로 높였습니다. 새 평가에서는 구글의 제미나이 4 카본이 종합 1위를 기록했습니다.

: 오픈AI가 AI 모델의 행동 원칙인 '모델 스펙(Model Spec)'을 개편했습니다. AI가 단순히 명령을 수행하는 것을 넘어 인간의 의도와 가치를 이해하고, 자율적으로 판단하면서도 인간의 감독과 통제를 따르도록 하는 데 초점을 맞췄습니다.

자사 AI 서비스가 고객에게 오정보를 전달한다면? 그만큼 무서운 일도 없죠.

문제는 이런 오류가 일반 모니터링이나 벤치마크로는 확인이 어렵다는 점인데요.

Datumo Eval은 실제 대화 로그를 바탕으로 서비스에 맞는 평가기준를 만들고,

어디서 왜 틀렸고, 무엇을 고쳐야 하는지까지 ‘단 5분만’에 확인할 수 있도록 도와줍니다.

11월 정식 오픈을 앞두고, 지금은 샘플 대화 로그로 평가 과정을 미리 체험해볼 수 있어요.

사전예약하면 최대 33만 원 크레딧도 받을 수 있습니다 🚀

👀 다투모 이밸 적용 예시 샘플로 확인하기 →