오픈AI가 최근 추론(reasoning) 모델 o3와 o4-mini를 공개했습니다. 지금까지 발표된 모델 중 가장 ‘지능적인’ 시스템으로 소개했는데요.

공식 발표에 따르면, o3와 o4-mini는 단순한 대화형 챗봇을 넘어, 웹 검색, 코드 실행, 이미지 해석, 이미지 생성까지 자율적으로 판단하고 결합해 문제를 해결하는 ‘AI 에이전트형’ 모델입니다.

하지만 '지브리 열풍'을 이끈지 얼마 되지 않아 나온 새로운 모델에 기대가 너무 컸던 걸까요? LLM의 가장 큰 고질병인 환각(hallucination) 문제가 화제입니다. 함께 알아보겠습니다.

오픈AI는 o3와 o4-mini 모델의 시스템 카드(system card)를 공개했습니다. 시스템 카드는 각 모델의 성능, 한계, 그리고 안전성 평가 결과 등을 기술적으로 정리한 문서인데요. 이 자료에 따르면 두 모델은 성능은 향상됐지만 환각률은 오히려 심하게 악화되었습니다.

아래는 PersonQA 벤치마크*로 평가한 검증 결과입니다. 새로 나온 두 모델 모두 작년 말에 출시한 o1 보다 2-3배 이상 환각 증세를 보이지요. o4-mini는 정확도도 o1 모델보다 떨어집니다.

PersonQA(Person Question Answering)는 OpenAI가 내부적으로 만든 벤치마크로, AI 모델이 실존 인물에 관한 질문에 얼마나 정확하게 답하는지를 평가하기 위한 데이터셋입니다. 모델이 현실 세계 지식을 바탕으로 얼마나 신뢰성 있게 동작하는지를 평가하는 데 주로 사용됩니다.

- 예: “버락 오바마는 어느 해에 노벨 평화상을 받았나?”, “일론 머스크가 설립한 회사는?”

정확도가 압도적으로 높아지지도, 환각률이 개선되지도 않았는데 왜 o3와 o4-mini를 출시한 걸까요?

🧠 o3: ‘더 많이 생각하는 모델’

o3는 reasoning-first 모델입니다. 질문에 즉각 반응하지 않고, 다양한 추론 전략을 시도하고 실수를 인식하며 도구를 조합해 최종 답변을 내놓지요.

오픈AI는 o3가 더 많은 주장을 하려는 성향이 있어, 정확한 주장과 환각이 함께 늘어날 수 있다고 추측합니다. 하지만 환각률은 절대적인 수를 떠나 상대적인 비율이기 때문에, 정확한 추측인지는 의문인데요. 그래도 옳은 주장도 늘었다는 건, 정답에 대한 시도도 늘었다는 의미로 해석할 수 있습니다.

⚡ o4-mini: ‘최고의 모델’이 아닌 ‘가성비 모델’

o4-mini는 처음부터 ‘최고 성능’을 최우선 목표로 한 모델이 아닙니다. 저렴하고 빠르며, 파이썬 등과 같은 도구와 병행하여 사용할 경우에 극적으로 성능이 향상되는 모델을 만들고자 한 결과지요.

o4-mini는 대량 API 요청에 적합한 경량 고속 모델로, 트래픽과 비용이 중요한 기업 환경에서 실용적 선택지가 될 수 있습니다. 즉, 성능이 부족해 보이지만 시장 내에서 나름의 역할을 고려한 전략적 제품이라고 볼 수 있습니다. 

사실 두 모델은 환각률을 낮추기 위해 만든 모델은 아닙니다. 오픈AI가 강조한 바와 같이, 챗GPT 내에서 다양한 도구를 호출하여 코딩이나 이미지 해석, 수학 문제 풀이 능력 등을 'AI 에이전트'처럼 활용할 수 있는 모델이지요. 다만, 환각률로 인해 신뢰도가 많이 떨어질 수밖에 없습니다. 결국, AI 모델이 아무리 똑똑해져고 '얼마나 믿을 수 있는가'는 또 다른 문제입니다.

따라잡기 어려울 정도로 빠른 AI의 발전 속도가 무색하게, LLM의 환각은 여전한 골칫거리입니다. LLM의 정확성은 곧 서비스의 안전성와 기업의 이미지에 직결되는 문제이기 때문에 신뢰성 검증은 선택이 아닌 필수인데요.