📰 [AI Ignite 후기] AI 규제 대응부터 신뢰성 검증까지!

지난 5월 26일, 서울 SBA 강남 스케일업센터에서 이번 달 'AI Ignite(이그나이트)'가 열렸습니다. 이번 행사는 <AI기본법에 대응하는 안전한 인프라 구성법>을 주제로, 금융권 AI 도입에 관심 있는 실무자들이 한자리에 모였는데요. 규제 변화 속에서 AI를 실제로 어떻게 도입하고 검증할 수 있는지, 두 연사님의 생생한 현장 이야기를 들을 수 있는 알찬 시간이었습니다.

첫 번째 세션에는 KB금융그룹 공동 생성형 AI 플랫폼 운영을 담당하는 이진성 KB국민은행 데이터·AI 엔지니어가 연사로 나섰습니다. 금융사 내부에서 AI 인프라를 직접 구축하며 쌓아온 경험을 바탕으로, 생생한 인사이트를 나누었습니다.

금융권 AI 도입의 장벽

AI를 업무에 활용하고 싶어도 금융사에는 특수한 장벽이 있습니다. 바로 '망분리' 규제인데요. 금융회사는 내부 업무망과 외부 인터넷을 분리해야 하기 때문에 챗GPT나 클로드 같은 외부 AI 서비스를 업무에 곧바로 연결하기가 어렵습니다. 그러나 최근 금융당국이 이 규제를 대폭 완화하는 방향으로 선회하고 있습니다. 금융위원회는 고성능 AI를 활용한 보안 목적에 한해 망분리 규제를 한시적으로 풀어주기로 했고, 보안 역량을 증명한 금융사에 대해서는 '기획형 혁신금융서비스' 절차를 통해 규제를 전면 해제하는 방안까지 검토하고 있습니다. 이 길이 열리면 챗봇 상담, AI 자산관리, 여신 심사 등 다양한 영역에서 AI를 자유롭게 활용할 수 있게 되겠죠?

그렇다면, 지금 당장은 어떻게 해야 할까?

이진성 엔지니어는 이러한 규제 변화 흐름 속에서 금융사가 실제로 AI 인프라를 구축하는 방법을 집중적으로 다뤘습니다. 현행 '혁신금융서비스' 지정 제도를 활용하면 외부 AI 모델을 업무에 연결할 수 있는데, 이때 전용 보안망 구축과 데이터 통제 등 강화된 보안 조건을 갖춰야 한다고 설명하지요. 또 내부망과 외부 클라우드를 결합한 하이브리드 AI 아키텍처 설계 방법을 실제 구현 사례와 함께 알려주어, 막연하게만 느껴졌던 금융권 AI 도입이 훨씬 현실적으로 다가왔습니다.

마지막으로는 올해 시행된 AI기본법으로 금융권이 앞으로 AI 안전성을 직접 증명해야 하는 의무를 부여받는다는 전망도 제시했는데요. 발표 후에도 질문이 쏟아지면서 현장의 뜨거운 반응을 이끌었습니다.🔥

두 번째 세션에서는 셀렉트스타 전문휘 CPO가 AI 신뢰성 검증 플랫폼 'Datumo Platform(다투모 플랫폼)'을 소개했습니다.

사실 AI 모델은 같은 질문에도 매번 다른 답을 내놓을 수 있고, 예상치 못한 방식으로 작동하기도 해서 기존 소프트 웨어 점검 방식만으로는 안전성을 보장하기 어려운데요. 다투모 플랫폼은 바로 이런 AI 특유의 불확실성을 검증하기 위해 만들어진 솔루션입니다.

전문휘 CPO는 발표에 앞서 AI 서비스를 만드는 과정에 마추지게 되는 3가지 질문을 던졌습니다.

• AI 성능이 잘 향상되고 있는것인가?
• 배포 후에 문제가 생기지는 않을까?
• 실제로 사용자들이 AI 서비스를 잘 쓰고 있는게 맞을까?

그렇다면 다투모 플랫폼이 이 질문에 어떤 답을 줄 수 있을까요?

AI 전 주기를 검증하는 'Datumo Platform'

셀렉트스타는 2025년 국내 최초 LLM 신뢰성 검증 솔루션 'Datumo Eval(다투모 이밸)'을 출시했는데요. Datumo Platform(다투모 플랫폼)은 기존 솔루션에 취약점을 탐지하는 레드티밍, 실운영 모니터링 기능까지 더해져 '원스톱 신뢰성 평가 통합 플랫폼'으로 재탄생되었습니다.

① Evaluation(이밸류에이션) – 제대로 된 평가 기준 만들기

"우리 AI가 잘 작동하고 있는 건지" 판단하려면 먼저 기준이 필요합니다. Evaluation 모듈은 일반적인 벤치마크의 한계를 넘어, 우리 서비스에 맞는 평가 체계를 직접 구축할 수 있게 해줍니다. 룰베이스 평가와 LLM-as-a-Judge(AI가 AI를 평가) 방식을 결합해 정량·정성 평가를 동시에 수행하고, 평가 결과를 통해 개선 사항을 판단할 수 있게 돕습니다.

② Redteaming(레드티밍) – AI 취약점 먼저 찾기

레드티밍은 쉽게 말해 'AI 해킹 테스트'입니다. 스토리텔링, 롤플레이, 페르소나 변환 등 다양한 전략으로 AI에게 질문을 던지고, 유해한 답변을 하지 않는지 실험하는 단계입니다. 이 과정을 통해 실제 서비스 전에 취약점을 발견할 수 있습니다. 다투모 플랫폼을 통해 레드팀 공격을 자동으로 수행하고 결과 분석까지 가능해 수작업으로는 놓치기 쉬운 허점도 체계적으로 잡아낼 수 있습니다.

③ Observability(옵저버빌리티) – 운영 중 이상 징후 감지하기

기업은 AI 서비스를 출시한 이후에도 긴장을 놓을 수 없습니다. Observability 모듈은 실제 사용자 대화를 자동으로 분류하고 분석해 기획 단계에서 예상하지 못했던 사용 패턴이나 성능 저하 지점을 조기 발견기 가능합니다. 이 기능은 2026년 3분기 출시를 앞두고 있습니다.🚀