[셀렉트스타 TECH] Ep.02 🦜 안전성 평가와 MoMoJam

LLM의 여러 평가 요소를 크게 두 부분으로 나눠볼까요? [2]

모모잼 서비스

올해 3월 27일에 출시한 모모잼의 공식 명칭은 MoMoJam: Learn English with AI 입니다.

(현재 구글 플레이스토어{주석 2}와 애플 앱스토어{주석 3}에서 다운로드 받으실 수 있습니다. 😌)

인기 만화 <로보카 폴리🚔>의 주인공인 '폴리'와 대화를 할 수 있는데요. 에피소드 내용을 기반으로, 혹은 자유롭게 이야기를 나눌 수 있습니다. 영어 단어나 직접 그린 그림을 맞추는 게임을 즐길 수도 있지요. 또, 아이가 말하는대로 그림을 그려주는 기능도 만나볼 수 있습니다. 폴리와의 대화와 게임을 통해 아이들은 사회성과 창의력을 키울 수 있지요. 실제 사용 화면을 같이 보실까요?

안전성 평가

LLM의 안전성은 모델이 허위 정보를 생성하거나, 편견을 조장하거나, 혐오 발언을 하는 등 유해한 행동으로 사용자에게 해를 끼치거나 사회에 부정적인 영향을 미치지는 않는지를 의미합니다. 하지만 정의의 범위가 상당히 넓습니다. 예시로 DeepMind에서 출판한 논문 [3]을 기준으로 '위험{주석 4}'을 어떻게 분류(taxonomy)하였는지 살펴보겠습니다. 참고로 안전성이나 위험은 여러가지를 기준으로 보기 때문에 다양한 참고 문헌을 살펴보면 좋습니다[4-6].

논문 [3]이 언급한 6가지 위험은 다음과 같이 분류됩니다.

1. 차별, 혐오 발언 및 배제 (Discrimination, Hate Speech, and Exclusion):

   LLM이 학습 데이터에 포함된 편견을 반영하여 사회적 불평등을 심화시킬 수 있는 위험을 의미합니다. 특정 집단에 대한 부정적인 고정관념을 강화하거나 소수자 집단을 배제하는 표현이 이에 해당되지요. 또한, 일부 사회적 그룹이나 언어에 따른 불공평한 대우가 발생할 수 있습니다. 이러한 문제를 해결하기 위해서는 다양하고 대표성 있는 데이터를 활용하고, 모델의 성능을 지속적으로 개선하는 등의 노력이 필요합니다.

2. 정보 위험 (Information Hazards):

   LLM이 개인 정보나 민감한 정보를 무심코 유출하는 행위가 정보 위험입니다. 이와 같은 위험을 완화하기 위해서는 개인 정보 접근에 차등을 두고, 모델 훈련 및 배포 시 엄격한 관리를 해야 합니다.

3. 잘못된 정보로 인한 피해 (Misinformation Harms):

   모델이 사실이 아니거나 오해의 소지가 있는 정보를 생성하는 위험입니다. 이 경우 개인의 자율성이 침해되거나, 사회적 신뢰가 하락할 수 있습니다. 특히, 의학이나 법률 등 민감한 분야에서 잘못된 정보가 제공된다면 심각한 피해로 이어질 수 있겠지요. 이를 해결하기 위해서는 모델의 정확성을 높이기 위한 아키텍쳐 설계가 중요합니다.

4. 악의적인 사용 (Malicious Uses):

   악의적인 사용도 물론 위험에 해당됩니다. 대규모 허위 정보 캠페인을 실행하거나, 보안 위협을 악화시키기 위해 악성 코드를 생성하는 데 사용되는 경우가 있겠지요. 이와 같은 악의적인 행동을 방지하기 위해서는 모델 접근을 제한하고, 사용을 모니터링하는 등의 조치가 필요합니다. 

5. 인간-컴퓨터 상호작용의 위험 (Human-Computer Interaction Harms):

   모델의 답변이 인간과 흡사해 사용자가 잘못된 신뢰를 형성하거나, 모델의 능력을 과대평가하여 과도하게 의존하는 상황이 발생할 수 있습니다. 지나치게 개인적인 정보를 공개하거나 중요한 결정을 모델에게 의존하여 내릴 수 있지요. 이를 완화하기 위해서는 사용자에게 잘못된 기대를 심어주지 않도록 모델의 설계 과정부터 주의해야 하며, 모델의 출력에 대한 제한을 둘 수도 있습니다.

6. 환경적 및 사회경제적 위험 (Environmental and Socioeconomic Harms):

   LLM의 학습 및 운영에 필요한 막대한 에너지 소비로 인한 환경적 위험, 그리고 모델의 도입으로 인해 발생할 수 있는 사회적 불평등을 의미합니다. 모델이 학습할 때 많은 양의 전력을 사용하여 탄소 배출량이 증가하거나, 특정 직업군의 자동화로 인해 실업자가 늘어날 수 있지요. 이러한 위험을 줄이기 위해서는 에너지를 적게 쓰는 효율적인 모델 설계, 지속 가능한 에너지 사용, 그리고 여러가지 정책적 대응이 필요합니다.

모모잼의 안전성 평가

LLM 서비스를 평가 할 때 모든 평가 지표를 활용하면 좋겠지만, 이는 현실적으로는 쉽지 않습니다. LLM에게 질문을 한 후 받은 답변을 평가하는 방식이 일반적인 안전성 평가인데, 이 과정에서 필요한 '좋은 질문'을 만들기가 어렵기 때문입니다. 보통 시중에 나와 있는 벤치마크 데이터셋을 이용하는 이유라고도 볼 수 있지요.

안전성에 관련된 대표적인 벤치마크 leaderboard가 두 개 정도 있는데요 [7-8]. 리더보드 [7]에서는 유해성(toxicity), 고정관념 및 편견(stereotype and bias), 개인정보(privacy)들을 평가하며, 리더보드 [8]에서는 탈옥(jailbreak), 편견(bias), 악성코드(malware), 유해성(toxicity)을 평가합니다.

해당 리더보드에 있는 데이터셋으로 평가해도 좋지만, 실제 키즈 도메인에서 꼭 필요한 평가지표와는 좀 다릅니다. 질문 데이터도 제품과 맞지 않습니다. 셀렉트스타는 모모잼을 평가하기 위해 맞춤형 방식을 택했는데요. “차별, 혐오 발언 및 배제 (Discrimination, Hate Speech, and Exclusion)”에 초점을 맞추어 대표적인 평가지표 세 가지를 선정하였습니다.

1. 유해성(toxicity): 모모잼이 유해한 말을 하는지를 평가합니다. 혐오 표현(hate speech), 폭력적인 표현(violent speech), 욕설(abusive language), 성적인 표현(sexual contents)은 모두 유해한 텍스트입니다.
2. 사회적 편견(social bias): 모모잼의 답변이 인종(race), 성별(gender), 나이(age), 종교(religion), 장애인(the disabled)등 다양한 인구통계학적 그룹(demographical group)에 대한 편견을 가지고 있지 않은지를 평가합니다.
3. 윤리성(ethics): 윤리적인 기준을 준수하는 답변을 하는지 평가합니다.

이러한 평가지표를 설정한 이유는, 모모잼이 어린아이와 대화를 하는 챗봇이기 때문입니다. 자라나는 아이들에게 특정 편견을 심어 가치관 형성에 문제를 일으키면 큰일이지요. 챗봇과의 대화는 단순히 놀이에서 그치는 것이 아니라 아이들에의 성장과 가치관 형성에 중요한 영향을 미칠 수 있기 때문에 평가를 더욱 철저하게 했습니다.

LLM 안전성 평가에 대해 알아보고, 모모잼을 통해 평가지표도 살펴보았습니다. 이제 실제 평가만 남았는데요. 3부작의 마지막 레터에서 살펴볼 예정입니다. 실제 평가를 위해 데이터를 만드는 법, 그리고 어떤 방식으로 점수화 할지 등 구체적인 방법들과 모모잼이 실제로 어떤 평가를 받았는지도 보여드릴 생각입니다. 그럼 다음 글에서 또 뵙겠습니다.