최근 국내 AI 업계에서 가장 뜨거운 화두 중 하나는 ‘독자 AI 파운데이션 모델’, 이른바 ‘독파모’ 프로젝트입니다. 우리 기술과 데이터로 한국의 언어와 산업 환경에 맞는 AI를 만들겠다는 목표 아래 국내 주요 기업들이 자체 모델 개발에 뛰어들었는데요.

그런데 최근 평가 결과가 공개되자 예상하지 못한 논쟁이 시작됐습니다. 글로벌 벤치마크에서 좋은 성적을 거둔 모델과 전문가·사용자 평가에서 높은 점수를 받은 모델이 달랐고, 같은 모델도 평가 기준에 따라 순위가 바뀌었습니다.

그렇다면 소버린 AI는 무엇으로 평가해야 할까요?’🤔

사람도 대화 속 미묘한 의도까지 언제나 정확하게 이해하는 것은 아닙니다. 말을 유창하게 하는 사람이 실제 업무의 모든 절차를 꼼꼼하게 지킨다고 단정할 수도 없지요. AI 역시 하나의 점수만으로 모든 능력을 설명하기는 어렵습니다.

벤치마크 점수가 비슷한 모델이라도 실제로는 서로 다른 상황에서 실수할 수 있습니다. 그렇다면 국내 AI를 제대로 이해하려면, 높은 점수를 받았는지만 볼 것이 아니라 무엇을 이해하고, 어떤 일을 수행하며, 어떤 상황에서 실패하는지까지 살펴봐야 하지 않을까요?

셀렉트스타는 이러한 질문에서 출발한 평가 프로젝트를 진행했습니다. 국내 기업이 자체 개발해 공개한 대표 LLM 2종을 중심으로, 평가 목적에 따라 해외 모델을 비교군에 포함했습니다. 그리고 모델의 능력을 다음 세 가지 관점에서 분석했습니다.

1️⃣ K-AI의 한국어 능력

2️⃣ K-AI의 실제 업무 사용성

3️⃣ K-AI의 안전성

이번 연구의 목적은 모델의 우위를 가리는 것이 아님을 밝히는 바입니다. 벤치마크 점수 뒤에 가려진 모델별 강점과 취약점을 찾아내고, 기업이 AI를 실제로 도입하기 전에 무엇을 따로 확인해야 하는지 살펴보려고 합니다.

최근 디지털데일리는 셀렉트스타가 국내 AI 모델을 대상으로 진행한 평가 결과를 바탕으로, 벤치마크 종합점수만으로는 확인하기 어려운 모델의 실제 모습을 조명했습니다. 👉기사 보기

기사에서는 연구의 배경과 주요 결과를 중심으로 다룬 만큼, 이번 뉴스레터에서는 기사에 미처 담지 못한 평가 방법과 세부 결과를 3편에 나눠 매주 하나씩 소개하려 합니다.

첫 번째 주제는 바로 한국어 능력입니다.

사진 : ChatGPT 생성 이미지

AI가 한국어로 막힘없이 답하고, 어려운 질문에는 긴 풀이 과정까지 보여줍니다. 이쯤 되면 자연스럽게 이런 생각이 들지요.

‘이 정도면 한국어를 꽤 잘하는 것 아닐까?’

최근 국내 언어 모델들도 ‘한국어 특화’를 주요 강점으로 내세우고 있습니다. 하지만 한국어로 자연스럽게 답하는 것과 한국어의 문법·의미 체계를 정확하게 이해하는 것은 별개의 능력일 수 있습니다.

사람을 예로 들어볼까요? 대화를 유창하게 하는 사람도 맞춤법이나 문법 문제에서는 틀릴 수 있습니다. 문장의 표면적인 뜻은 알아들어도 속담과 관용 표현에 담긴 의도를 놓칠 수 있고, 여러 조건을 함께 따져야 하는 문제에서는 잘못된 결론을 내릴 수도 있지요.

AI의 한국어 능력도 하나의 점수로만 설명하기 어렵습니다. 이에 셀렉트스타는 한국어 능력을 다음 세 영역으로 나눠 살펴봤습니다.

• 음운·형태·문법 등을 이해하는 언어 구조 및 체계
• 어휘와 관용 표현을 파악하는 의미 및 맥락 이해
• 주어진 조건을 종합해 결론을 내리는 추론 및 판단

평가에는 수능과 공무원시험, 기존 공개 벤치마크 등에서 수집·정제한 총 2,285개 국어 문항을 활용했습니다. 국내 모델 2종과 해외 비교 모델들이 같은 문항에서 어떤 답을 내놓는지 비교했습니다.

이번 평가에서 특히 눈에 띈 것은 추론 과정의 언어와 길이가 실제 한국어 이해도를 그대로 보여주지는 않았다는 점입니다.

국내 모델B는 수능 문법 문제를 풀면서 출력된 추론 과정의 약 91%를 한국어로 작성했습니다. 풀이 과정만 보면 한국어로 문제를 이해하고 답을 찾는 것처럼 보였는데요.

추론 및 판단 대표 평가 30문항에서 국내 모델 B는 83%의 정답률을 기록해 93~100%를 보인 다른 비교 모델들보다 낮았습니다. 또한, 언어 구조 및 체계, 의미 및 맥락 이해, 추론 및 판단의 세 영역 모두에서 다른 핵심 비교 모델보다 낮은 성능을 보였습니다. 특히 음운과 형태를 다룬 언어 구조 및 체계 영역에서 가장 큰 차이가 나타났습니다.

*CSAT (College Scholastic Ability Test): 한국의 수능 문항

*PSAT (Public Service Aptitude Test): 공무원 선발시험에 활용되는 공직적격성평가

CSAT·PSAT 문제 풀이에서 출력된 추론 과정의 한글·영문 비율. 국내 모델 B는 추론 과정의 81.6~91.2%를 한글로 작성해 다른 비교 모델보다 한글 사용 비중이 높았다. 다만 이는 추론 과정에 사용된 언어의 비율로, 문제 해결 능력이나 정답률을 의미하지는 않는다. 출처: 셀렉트스타 

즉, 추론 과정을 대부분 한국어로 작성한다는 특징이 더 높은 국어 문제 수행 능력으로 이어지지는 않은 것입니다.

다른 국내 모델A에서는 또 다른 현상이 관찰됐습니다. 일부 어려운 음운 문제를 풀면서 제한 시간에 가까운 약 20분 동안 19만~20만 자에 달하는 추론을 생성했지만, 판단이 정답으로 수렴하지 못한 채 최종 답변도 완성하지 못했습니다.

물론 한국어로 추론했기 때문에 성능이 낮아졌다거나, 추론이 길어서 답변에 실패했다고 단정할 수는 없습니다. 어려운 문제일수록 풀이가 길어졌을 가능성도 있기 때문입니다.

다만 이번 결과는 한국어 특화 여부나 추론 과정의 언어·길이처럼 겉으로 드러나는 특징만으로 실제 한국어 이해 능력을 판단하기는 어렵다는 점을 보여줍니다.

한국어 능력 3개 영역의 대표 평가 문항 정답률. 국내 모델 A는 영역별 93~95%를 기록한 반면,

국내 모델 B는 70~83%로 비교 모델 가운데 가장 낮게 나타났다. 출처: 셀렉트스타 

기업에서 AI를 사용한다면 단순히 한국어 점수가 높은 모델을 찾는 것만으로는 충분하지 않습니다.

고객의 표현에 담긴 의도를 읽어야 하는 상담 서비스와 문법적으로 정확한 문서를 작성해야 하는 서비스는 필요한 한국어 능력이 다릅니다. 여러 규정과 조건을 검토해야 하는 업무라면, 문장을 자연스럽게 쓰는 능력보다 맥락을 놓치지 않고 일관된 결론을 내리는 능력이 더 중요할 수도 있지요.

결국 중요한 것은 ‘이 모델이 한국어를 잘하는가’라는 하나의 질문이 아닙니다. 우리 서비스에 필요한 한국어 능력은 무엇이며, 그 능력을 제대로 확인했는가라는 질문입니다.

이번 ‘한국어 능력’ 평가 방법과 영역별 결과, 실제 오답 사례는 블로그를 통해 더 자세하게 확인하실 수 있습니다.

다음 질문은 ‘실제로 업무를 맡길 수 있는가’입니다

한국어 문제를 잘 푸는 모델이라면 실제 업무도 잘 수행할까요? 다음 편에서는 AI가 실제 업무 환경에서 기업의 정책과 절차, 권한을 제대로 지키는지 살펴봅니다.

‘한국어를 잘하는 AI’에 이어 ‘실제로 믿고 일을 맡길 수 있는 AI’에 대해 다음 뉴스레터에서 계속 알아보겠습니다.🔎

자사 AI 서비스가 고객에게 오정보를 전달한다면? 그만큼 무서운 일도 없죠.

문제는 이런 오류가 일반 모니터링이나 벤치마크로는 확인이 어렵다는 점인데요.

Datumo Eval은 실제 대화 로그를 바탕으로 서비스에 맞는 평가기준를 만들고,

어디서 왜 틀렸고, 무엇을 고쳐야 하는지까지 ‘단 5분만’에 확인할 수 있도록 도와줍니다.

11월 정식 오픈을 앞두고 사전예약을 진행하고 있습니다.

지금 예약하면 최대 33만원 상당의 혜택도 받을 수 있어요 🚀

👀 [DATUMO Eval 자세히 보기]

🎟️ [사전예약하고 크레딧 받기]