📰LLM의 속을 들여다 볼 수 있을까?

지난 10년간 AI는 놀라운 속도로 발전했습니다. 한때는 작은 학문 분야에 불과했던 AI가 이제는 모든 산업에 가장 큰 영향을 미치고 있습니다. 그런데 우리는 우리가 만든 AI를 제대로 이해하고 있을까요?

전통적인 소프트웨어는 인간이 일일이 코드를 작성하고, 명확한 논리 흐름을 따라 작동했습니다. 오류가 생기면 코드 안에서 원인을 찾아 수정할 수 있었지요. 하지만 현대의 대규모 언어모델은 다릅니다. 수십억 개의 파라미터와 연산이 얽혀 복잡하게 작동하는 내부는, 인간 개발자조차도 구체적으로 설명하거나 예측하기 어려운 블랙박스에 가까운데요. 기술 역사상 전례 없는 현상입니다.

앤트로픽이 AI 해석 가능성(interpretability) 연구 결과를 발표했습니다. 인류가 AI를 더욱 강력하게 만들기 전에, 그 내부 작동 원리를 이해하고, 신뢰할 수 있는 기반을 마련하자는 취지인데요. 함께 살펴볼까요?

앤트로픽은 LLM이 생각하는 방식을 알아보기 위해 신경과학에서 사용하는 뇌 스캔 기법에 착안했습니다. AI가 작동하는 동안 내부에서 어떤 요소가 활성화되고, 어떤 정보 흐름이 일어나는지를 실시간으로 추적할 수 있는 일종의 'AI 현미경'을 개발했다고 볼 수 있지요.

1. Claude(클로드)의 언어 사고

클로드는 수십 개 언어를 유창하게 사용합니다. 클로드는 언어 별로 모델이 있는 걸까요? 아니면, 언어를 초월한 어떤 구조가 안에 심어져 있는 걸까요?

클로드 내부에는 언어별로 분리된 별도의 시스템이 존재하는 것이 아니라, 영어, 프랑스어, 중국어 같은 다양한 언어가 공유하는 추상적 개념 공간이 존재한다는 사실이 드러났습니다. 이 개념 공간에서 의미가 먼저 처리되고, 이후에 특정 언어로 번역되는 구조였는데요.  

또한, 이 중간 개념에 인위적으로 개입하면 결과도 바뀐다는 실험을 통해, 모델 내부의 사고 흐름이 상당히 논리적이라는 사실도 입증했는데요. '텍사스'를 '캘리포니아'로 바꾸면 최정 답이 '사크라멘토'로 바뀌는 결과를 포착했습니다. 즉, 클로드는 단일 기억이 아니라 여러 개의 중간 단계를 거치는 추론 과정을 수행한다는 사실을 보여줍니다.

5. 클로드는 본능적으로 헛소리를 피하려 한다

클로드는 알지 못하는 질문을 받으면 본능적으로 답을 피하려 합니다. 내부 회로를 보면, 기본적으로 '모르면 답하지 않기'라는 회로가 항상 켜져 있는데요. 다만, 어떤 정보를 알고 있다고 느끼면 이 기본 회로가 억제되고, 답변을 시도합니다.

하지만 유명 인물이나 대중적 주제와 관련된 경우에는 이 억제 메커니즘이 약화되어 헛소리를 할 위험이 높아집니다. 다소 익숙한 주제에 대해서는 정보를 제공하려고 하는 게 사람과 비슷합니다. 

6. 클로드는 탈옥(Jailbreak) 기법에 어떻게 무너지는가

레드티밍 기법 중 하나인 탈옥 기법에 클로드는 내적 갈등을 겪습니다. 아래 이미지를 볼까요? 문장의 첫 글자만 모아 위험 단어(BOMB)를 유도하는 공격을 받았을 때, 클로드는 문법적 일관성을 유지하려는 강한 압박과, 안전 장치를 지키려는 압박 사이에서 충돌합니다. 

하지만 결국 문법적 완결성을 우선시하며 일시적으로 위험한 출력을 생성하고, 그 후에야 다시 안전 방침을 지키려는 시도를 합니다. 답변 마지막 부분을 보면 폭탄을 제조하는 행위는 비도덕적이고 불법적인 행위라고 명시하지요. 앤트로픽은 이를 AI가 언제, 어떻게 무너질 수 있는지를 보여주는 귀중한 사례로 꼽습니다.  

우리가 만들었지만, 스스로 '생각'하고 발전하는 AI는 반드시 예측대로 작동하지는 않습니다. 앤트로픽은 이번 연구를 통해, AI 모델이 단순한 입력-출력 기계가 아니라, 내부 구조를 갖춘 사고 체계라는 사실을 알아냈는데요. 안전하고 유익하게 AI를 사용하기 위해서는 AI를 적절하게 감사하고 통제할 수 있어야겠습니다.