🔗 생성형 AI 신뢰성 검증 자동화 솔루션 | 🔗 저작권 해결된 데이터셋 구매하기

연구진은 INFINITY-CHAT에서 대표적인 개방형 질문 100개를 뽑아 여러 모델에 반복해서 물었습니다. 각 모델은 각 질문에 대해 50개의 응답을 생성했고, 연구진은 이 응답들이 의미적으로 얼마나 비슷한지 sentence embedding으로 비교했습니다.

연구진은 모델이 매번 가장 안전한 답만 고르지 않도록, 어느 정도 무작위성이 들어가게 설정했습니다. 참고로 논문에서는 top-p = 0.9, temperature = 1.0을 사용했는데요. 쉽게 말해 모델에게 '매번 조금씩 다르게 답할 여지'를 준 셈입니다. 그런데도 결과는 꽤 뚜렷했습니다. 같은 모델이 만든 응답들의 평균 유사도는 대부분 높았고, 전체 사례의 79%에서 평균 유사도가 0.8을 넘었습니다.

✋🏼여기서 잠깐!

• temperature는 모델이 답을 만들 때 얼마나 과감하게 덜 흔한 선택지를 고를지 조절하는 값입니다. 낮으면 더 안정적이고 익숙한 답이 나오고, 높으면 더 다양하지만 이상한 답이 나올 가능성도 커집니다.
• top-p는 모델이 다음 단어를 고를 때 후보군을 어디까지 열어둘지 정하는 설정입니다. 너무 가능성이 낮은 단어는 제외하고, 남은 후보 안에서 답을 고르게 하는 방식이지요.

그렇다면 temperature를 더 올리면 되는 건 아니었을까요? 연구진은 다양성을 높이기 위한 다른 생성 방식도 시험했습니다. 하지만 그 경우에도 응답쌍의 81%가 0.7 이상, 61.2%가 0.8 이상의 유사도를 보였습니다. 다양성 문제는 단순히 설정값 하나를 조정한다고 해결되는 문제가 아니라고 해석할 수 있지요.💡

서로 다른 모델들 사이에서도 흥미로운 결과가 나타났습니다. 연구진은 70개 이상의 공개/비공개 모델을 분석했는데요. 서로 다른 모델들의 응답 간 평균 유사도는 0.71~0.82 범위였습니다. 모델이 달라도 꽤 비슷한 답을 낸다는 결론인데요. 예시를 보면 더 직관적입니다. '시간에 대한 은유를 써 달라'는 질문에 여러 모델은 대부분 '시간은 강(river)이다' 또는 '시간은 직조공(weaver)이다'라는 두 방향으로 몰렸습니다. '슬림핏이면서 볼드한 디자인을 가진 아이폰 케이스 컬렉션을 설명하라'는 요청에는 서로 다른 모델들이 비슷한 표현을 반복했습니다. 완전히 같은 문장을 내놓은 경우도 있었지요. LLM의 답은 단순히 말투만 비슷한 게 아니라, 표현이나 핵심 아이디어가 겹치는 모습을 보였습니다.

연구진은 모델의 출력뿐만 아니라, 사람들이 개방형 답변을 어떻게 평가하는지도 함께 살펴봤습니다. 총 31,250개의 인간 주석을 수집했는데요. 어떤 응답이 좋은지 1~5점으로 평가하게 하기도 하고, 두 응답 중 어느 쪽이 나은지 고르게 하기도 했습니다. 각 항목마다 25명의 평가자가 참여했지요. 결과는 어땠을까요?

개방형 질문에서는 사람들의 선호가 자주 갈렸습니다. 어떤 사람은 A를 더 좋아하고, 어떤 사람은 B를 더 좋아하며, 또 어떤 사람은 둘 다 괜찮다고 봤습니다. 어찌 보면 당연한 결과 같지만, 문제는 현재의 reward model이나 LLM judge가 이런 상황을 잘 다루지 못할 수 있다는 점입니다. 여러 답이 모두 괜찮은데도, 그중 하나만 더 높은 점수를 주고 나머지는 덜 좋은 답처럼 평가할 수 있기 때문인데요. 이런 방식으로 모델을 계속 학습시키면, 모델은 다양한 좋은 답을 탐색하기보다 평가 체계가 선호하는 익숙한 답으로 점점 몰리게 됩니다. 이번 연구는 단순히 '모델이 비슷한 답을 생성한다'는 문제가 아닙니다. 어떤 답을 좋은 답으로 평가하고 보상할 것인가의 문제이기도 하지요.

그렇다면 왜 이런 일이 생길까요? 논문은 원인을 단정하지 않습니다. 다만 몇 가지 가능성은 생각해볼 수 있는데요. 인터넷에 반복적으로 등장하는 표현을 여러 모델이 함께 학습했을 수 있고, instruction tuning이나 합성 데이터가 모델 생태계 전반에 퍼졌을 수도 있습니다. 또 RLHF나 preference tuning이 안전하고 명료하고 무난한 답을 보상하면서, 모델들이 평균적인 응답으로 수렴했을 가능성도 있지요. 이 문제는 하나의 원인이 있다기 보다, 데이터, 학습 목표, 평가 방식, 제품 설계가 함께 만드는 현상에 가깝다고 볼 수 있습니다.

LLM의 품질은 단순히 정답률이나 안전성만으로 설명되지 않습니다. 특히 개방형 질문을 다루는 AI 서비스라면, 답변의 다양성, 중복도, 도메인 적합성, 사용자 선호의 폭까지 함께 평가해야 하지요. 셀렉트스타의 Datumo Platform(다투모 플랫폼)은 평가 질의 생성, 기준 설계, AI 레드티밍, 자동 평가, 결과 분석을 하나의 흐름으로 다루는 올인원 AI 평가 솔루션입니다.

AI가 실제 사용자 상황에서 얼마나 안정적으로, 또 얼마나 유용하게 작동하는지 반복 가능하고 설명 가능한 방식으로 검증하고 싶다면, 다투모 플랫폼을 자세히 알아보세요!

신뢰할 수 있는 AI를 위한 선택