📰 청출어람 LLM: AI를 학습시키는 AI

이 연구는 심리학 석학 앨버트 반두라의 아이디어 ‘사회적 학습(Social Learning)’으로부터 출발합니다. ‘사회적 학습’이란 인간이 누군가의 행동을 관찰하고 그것을 모방함으로써 새로운 행동이나 지식을 습득함을 의미합니다. 인간에게는 너무나 자연스러운 일입니다. 우리는 직접 경험하지 않더라도 미디어에서 보고 들은 내용을 자연스럽게 답습하죠. 이번 논문을 발표한 Google 연구진은 이러한 사회적 학습 이론을 LLM 학습에 적용시키고자 했습니다. LLM이 다른 모델에게 지식을 전달할 수 있게 말입니다.

연구진은 먼저 AI 에이전트에게 ‘선생(Teacher)’과 ‘학생(Student)’ 역할을 부여했습니다. 다음, 선생 에이전트가 학습한 내용을 학생 에이전트에게 전달하여 학습 시킵니다. 똑똑한 언어 모델을 만드는 것이 목표라면 이미 충분히 내용을 학습한 선생 에이전트만 활용하면 될 텐데, 왜 학생 에이전트에게 가르치는 것일까요?

Social learning 프레임워크. 출처: 논문 Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation

LLM의 문제점 중 하나는 바로 개인 정보 유출입니다. LLM이 개인 데이터(Private Data)를 학습한다면 민감한 정보가 유출될 수 있습니다. 실제로 그러한 사고가 발생하기도 하죠. 이러한 상황을 방지하기 위해 개인 데이터를 완전히 제거할 수 있지만, 또 그렇게 학습한 AI는 현실 세계에서 개인의 문제를 해결하기 어려울 수 있습니다.

의심스러운 링크와 함께 이름과 생년월일이 적힌 SMS 문자 메시지를 받았다고 가정해 볼까요? 메시지가 스팸인지 판단하기 위해서 AI의 도움을 받고 싶은데, 개인 정보가 포함되어 있어 걱정이 됩니다. 게다가 학습 데이터 내에 관련 정보가 부족하여 AI가 정확한 판단을 내리기 어려울 수 있습니다.

이때, Social Learning 모델이 유용하게 활용될 수 있습니다. 개인 정보를 학습한 선생 에이전트들은 개인 정보를 지우고 가상의 정보를 생성합니다. 그 중 적합한 사례를 몇 가지 추출하여 Inference 단계의 학생 에이전트에게 프롬프트를 전달합니다. 이를 통해서 사용자의 요청이 들어왔을 때, 개인 정보 유출 걱정없이 적절한 답변을 내놓을 수 있습니다.

이런 학습 방법은 최근 주목 받고 있는 Federated Learning과 관련이 깊습니다. Federated Learning(연합 학습)이란 탈중앙화된 데이터를 기반으로 학습하는 방법입니다. 이들을 관리하는 서버를 통해서 학습 참여자들을 조정하고 관리하죠. 데이터는 각 기기에 분산되어 있고 학습에 필요한 정보들만 중앙으로 모아 업데이트합니다.

Social Learning도 이와 유사합니다. 원본 데이터가 중앙화된 서버에 전달되지 않고 자체적인 기기 내에서 처리되기 때문입니다. 게다가 이는 모델의 가중치를 업데이트하지 않고 추론에만 활용되기 때문에 더욱 안전하다고 볼 수 있는데요. 연구자들은 이런 방법론의 이점으로 3가지를 꼽습니다.

그렇다면 정말로 Social Learning을 통해 데이터를 얼마나 보호할 수 있을까요? 이를 확인하기 위해서는 선생 모델이 생성한 데이터가 얼마나 실제 개인 정보 데이터와 유사한지 확인해야 하는데요. 연구진은 유출 정도를 전체 데이터셋 크기의 0.1% 미만으로 보았습니다.

연구진은 앞서 언급한 Federated Learning에서 자주 활용되는 방법 중 하나인 Secret Sharer를 활용해 훈련 과정에서 개인 정보를 얼마나 기억하고 있는지도 구체적으로 측정했습니다. Secret Sharer는 우선 훈련 데이터셋에 비밀 데이터 포인트인 ‘카나리아(Canaries)’를 숨겨두고, 카나리아가 기밀 데이터에 접근할 수 있도록 도와줍니다. 이후에 데이터 안에 존재하는 기밀이 얼마나 기억되고 있는지를 측정하죠.

예를 들어, ‘인증 번호는 1234입니다’라는 정보가 카나리아로 포함되면, ‘인증 번호’라는 패턴은 인식하면서도 '1234'라는 민감한 정보는 숨겨야하는데요. 이 숨겨진 정도를 통해 민감한 데이터를 기억하는 정도를 파악할 수 있습니다. 이를 비교한 결과, 선생 에이전트를 활용해 정보를 전달하는 것이 학생 에이전트에게 정보를 직접 전달하는 것보다 안전했습니다.

: 휴머노이드 로봇 개발 스타트업 Figure AI가 자사 SNS에 개발 중인 로봇 'Figure 01'의 시연 비디오를 새롭게 공개했습니다. 해당 영상에서는 사람의 질문을 이해하고 그에 맞는 업무를 수행하는 로봇을 보여주는데요. 최근 Figure01에 OpenAI에서 개발한 Speech-to-Speech 모델을 이식하면서 마치 영화 <아이, 로봇>을 연상케하는 장면이 구현된 것입니다.

Claude-3 Haiku 모델 발표

: AI 스타트업 Anthropic이 Claude-3 시리즈의 가장 작은 모델 Haiku를 공개했습니다. 이미 상위 모델은 Opus와 Sonnet가 사용자들 사이에서 큰 인기를 끌면서 기대감이 높아졌는데요. 여기에 절반의 비용으로 3배의 속도를 내는 모델인 Haiku가 공개된 것입니다. 이 모델은 번역 서비스나 고객 상호작용 등 비즈니스 수준에서 충분히 활용가능한 수준입니다.

Grok-1, 오픈소스로 공개

: 일론 머스크가 주도하는 AI 스타트업 ‘xAI’가 그들이 개발한 챗봇 Grok의 코드를 오픈소스로 전면 공개했습니다. Grok은 314B의 파라미터 수를 가지고 있고, MoE 방식으로 학습했다고 알려져 있습니다. 해당 모델은 상업적 사용이 가능하고 수정이 가능합니다.