셀렉트스타 김세엽 대표는 <내 AI는 문제가 없을까? AI 상용화의 핵심, 신뢰성 평가>라는 주제로 발표를 진행했는데요. AI를 만드는 개인, 혹은 기업이라면 누구든 걱정할 만한 문제를 셀렉트스타가 어떻게 기술로 해결하고자 하는지에 대한 이야기를 나누었습니다. 발표 내용을 간략하게 볼까요?

"AI 서비스 개발에는 품질과 안전성을 보장하기 위한 신뢰성 평가가 필수적입니다. Foundation Model은 확률적 동작으로 인해 의도치 않은 응답을 생성할 수 있으며, 실제 도메인에 적용했을 때 범용 벤치마크 성능보다 낮은 결과를 보이는 경우가 많은데요. 특히 사용자와의 상호작용이 중심인 AI 서비스는 수많은 검증 시나리오가 필요하고,

도메인 전문가의 반복 검증 부담이 큽니다.

셀렉트스타는 이러한 문제를 해결하기 위해 Datumo Eval(다투모 이밸)이라는 신뢰성 검증 자동화 솔루션을 개발해 신한은행, 우리은행, NH농협은행 등 주요 금융권에 도입했습니다. 다투모 이밸은 평가 기준 관리부터 평가 데이터 생성, 평가 및 레드티밍 수행, 그리고 결과 분석까지 모두 수행할 수 있는 올인원 생성형 AI 신뢰성 검증 플랫폼입니다.

신뢰성 평가는 선택이 아닌 필수입니다."

셀렉트스타는 'AI로 세상을 이롭게 한다'는 비전을 이루기 위해 <안전한 AI>에 집중합니다. 저희는 국내와 세계 최초, 그리고 세계 최대 규모 레드팀 챌린지를 운영했는데요. '내 AI는 문제가 없을까?'하는 생각이 잠시라도 스친다면, 셀렉트스타를 찾아주세요! 어떻게 이를 확인하고 개선할 수 있을지 함께 고민하겠습니다.