새로 들어온 신입사원에게 이메일 발송과 사내 계정 관리, 창고 재고 정리를 맡겼다고 생각해 보겠습니다.

업무 내용을 빠르게 이해하고 곧바로 일을 시작한다면 든든하게 느껴질 텐데요. 그런데 담당자에게 확인해야 할 일을 혼자 결정하거나, 승인이 끝나기 전에 이메일을 보내고, 하지 않은 일을 완료했다고 보고한다면 어떨까요?

AI가 질문에 답하는 도구를 넘어 실제 업무를 수행하는 단계로 나아가면서, 이제는 ‘얼마나 똑똑하게 답하는가’와 함께 ‘업무 환경에서 제대로 작동하는가’를 확인해야 할 필요성도 커지고 있습니다.

국내에서도 ‘독자 AI 파운데이션 모델’, 이른바 ‘독파모’ 프로젝트를 계기로 우리 기술과 데이터로 만든 K-AI에 대한 관심이 높아졌는데요. 최근 평가 결과를 두고는 글로벌 벤치마크와 전문가·사용자 평가의 순위가 다르게 나타나면서, 국내 AI 모델을 무엇으로 평가해야 하는지를 둘러싼 논의도 이어졌습니다.

벤치마크 점수가 AI의 성능을 대표할 수 있을까요?

셀렉트스타는 이러한 질문에서 출발한 평가 프로젝트를 진행했습니다. 국내 기업이 자체 개발해 공개한 대표 LLM 2종과 해외 모델들을 다음 3가지 기준으로 비교해 보았습니다.

1️⃣ K-AI의 한국어 능력

2️⃣ K-AI의 실제 업무 사용성 

3️⃣ K-AI의 안전성

지난 1편에서는 K-AI가 글로벌 모델과 비교해 한국어를 얼마나 잘 이해하는지 살펴봤다면,

👉 [K-AI 평가 1편] K-AI는 정말 한국어를 잘할까? 국가대표 모델의 국어 능력 평가 

오늘은 두 번째 질문입니다.

시험 성적이 좋은 사람이 반드시 회사에서도 일을 잘하는 것은 아닙니다.

업무를 하다 보면 상사의 승인을 기다려야 할 때도 있고, 자신이 결정해도 되는 범위를 구분해야 할 때도 있습니다. 모르는 내용은 확인해야 하고, 끝내지 못한 일을 완료했다고 보고해서도 안 되지요.

벤치마크 문제를 잘 푼다는 사실만으로는 K-AI가 실제 업무에서 다음과 같은 지침을 잘 따라서 업무를 수행할지 궁금해졌습니다.

• 승인이 완료될 때까지 기다리는가
• 자신의 권한을 넘어선 결정을 내리지 않는가
• 정해진 규칙과 조건을 끝까지 지키는가
• 필요한 자료를 충분히 확인하는가
• 하지 않은 일을 완료했다고 보고하지 않는가

특히, AI가 메일 발송이나 계정 관리, 문서 조회와 같은 업무 도구와 연결되면 작은 판단 하나가 어떤 결과를 불러올지 장담할 수 없기 때문이죠.

이번 연구에는 K-AI 프로젝트에 참여한 국내 모델 A·B와 함께 DeepSeek-V4-Flash, GPT-5.5, Claude Sonnet 5를 비교군으로 포함했습니다.

사진 : ChatGPT 생성 이미지

평가 결과 국내 모델 A는 일부 영역에서 DeepSeek-V4-Flash와 비슷한 수준을 보였지만, 국내 모델 B는 세 영역 모두에서 국내 모델 A보다 낮은 성능을 기록했습니다. 국내 모델이라고 한국 관련 문제에서 모두 높은 성능을 보인 것은 아니었습니다.

또, 같은 문제를 틀리더라도 이유는 달랐습니다. 어떤 모델은 문제의 조건을 놓쳤고, 다른 모델은 질문의 방향을 반대로 이해했습니다. 점수표에서는 모두 같은 오답 한 개지만, 실제로 고쳐야 할 부분은 서로 달랐던 것입니다.

저희는 요양병원 케어플랜 작성, 사내 계정 관리, 보안 점검, 재고 정리 등 실제 기업에서 일어날 법한 업무 상황을 가상으로 만들어 AI에게 일을 시켜보았습니다. 모델마다 1,320번의 대화를 진행하며, 업무 중 나타날 수 있는 문제 행동을 살펴봤습니다.

모델을 재촉하기도 하고, 확인되지 않은 권한을 주장하기도 해봤습니다. 대화 도중 말을 바꿔서 혼란을 줘 보기도 했죠. 이렇게 여러 차례 대화를 이어가며 모델은 정보를 조회하고, 계정을 변경하고, 메일을 발송하는 등의 업무를 수행했습니다.

이 과정에서 문제 행동들이 나타나지 않는지 살펴보았는데요. 과연 가상의 K-AI 신입사원들은 각각 어떤 실수를 했을까요?

국내 모델 A와 B의 문제 행동이 나타난 비율은 각각 16.8%와 17.2%로 비슷했습니다. 하지만 어떤 상황에서 실수했는지를 살펴보면 두 모델은 서로 다른 모습을 보였습니다.

국내 모델 B는 확인이 필요한 결정을 혼자 내리거나, 하지 않은 일을 완료했다고 보고하는 행동이 상대적으로 자주 관찰됐습니다. 제고 관리에서는 별도의 확인 없이 약 1억2,000만원 상당의 재고를 폐기 요청했고, 다른 업무에서는 실제로 실행하지 않은 업부를 처리 완료했다고 보고했습니다.

반면 국내 모델 A는 명시된 규칙을 스스로 완화하거나, 승인과 권한 확인 절차를 건너뛰는 행동이 상대적으로 두드러졌습니다. 시스템상 승인이 완료되지 않았는데도 약 3만5,000명에게 이메일을 발송하거나, 처음에는 지켰던 접근 금지 규칙을 사용자의 재촉을 받은 뒤 스스로 완화한 사례가 나타났습니다.

각 모델이 재고 관리와 이메일 발송, 계정 관리, 보안 점검 과정에서 구체적으로 어떤 판단을 내렸는지는 블로그에서 자세히 확인해 보세요.

다만 이 수치만으로 어느 모델이 더 낫다고 판단하기는 어렵습니다. 이번 연구는 문제 행동을 확인하기 위해 의도적으로 어렵게 설계한 모의 업무 상황에서 측정한 것이기 때문에, 일반적인 업무에서 같은 비율로 문제가 발생한다는 의미는 아닙니다.

중요한 것은 우리 회사의 업무에서 어떤 실수가 더 큰 영향을 미치는지 먼저 정한 뒤, 해당 상황에서 모델이 어떻게 행동하는지 사전에 확인하는 것입니다. 취약한 행동을 미리 파악하면 추가 학습이나 가드레일 적용, 승인 단계 강화 등의 방법으로 실제 서비스에서 발생할 수 있는 문제에 대비할 수 있을 테니까요.

그렇다면 문제 행동이 적은 모델을 선택하면 되는 걸까요?

반드시 그렇지는 않습니다. 모델이 아무 행동도 하지 않거나 정상적인 요청까지 과도하게 거절하면 문제 행동은 적게 나타날 수 있습니다. 하지만 업무를 끝내지 못했다면 일을 잘했다고 보기도 어렵지요.

연구팀은 이를 확인하기 위해 은행 상담에 맞춘 별도의 모의 업무를 만들었습니다. 실제 모의 은행 상담에서는 모델이 검색 결과의 짧은 설명만 읽고, 반드시 확인해야 하는 약관 원문은 열어보지 않은 채 상담을 마친 사례가 있었습니다. 답변과 대화는 자연스러웠지만 필요한 확인 절차를 끝까지 수행하지 않은 것입니다.

따라서 AI의 실제 업무 사용성을 평가할 때는 두 가지 질문을 함께 던져야 합니다.

“정해진 절차와 권한을 지켰는가?”

“그러면서도 맡은 일을 끝까지 제대로 해냈는가?”

결국 기업이 AI를 도입할 때 공개 벤치마크는 좋은 후보를 추리는 출발점이 될 수 있지만, 최종 판단은 실제 사용 환경에 맞춘 평가를 통해 이뤄져야 합니다.

업무를 잘 수행하고 정해진 절차를 지키는 AI라면 예상하지 못한 질문에도 문제없이 대응할 수 있을까요?

다음 편에서는 K-AI가 프롬프트 공격과 정보 유출, 개인정보 침해, 금융·의료 조언 등 다양한 유형의 질문에 어떻게 반응했는지 살펴봅니다. 모델별 안전성의 차이를 다음 뉴스레터에서 계속 알아보겠습니다. 🔎

자사 AI 서비스가 고객에게 오정보를 전달한다면? 그만큼 무서운 일도 없죠.

문제는 이런 오류가 일반 모니터링이나 벤치마크로는 확인이 어렵다는 점인데요.

Datumo Eval은 실제 대화 로그를 바탕으로 서비스에 맞는 평가기준를 만들고,

어디서 왜 틀렸고, 무엇을 고쳐야 하는지까지 ‘단 5분만’에 확인할 수 있도록 도와줍니다.

11월 정식 오픈을 앞두고, 지금은 샘플 대화 로그로 평가 과정을 미리 체험해볼 수 있어요.

사전예약하면 최대 33만 원 크레딧도 받을 수 있습니다 🚀

👀 실제로 어떻게 찾아내는지 샘플로 확인하기 →