최근 AI 뉴스에 자주 등장하는 조합이 있습니다. 바로 오픈AI와 허깅페이스(Hugging Face)인데요. 간단하게 개요를 정리하자면, 오픈AI가 자사 모델의 해킹 능력을 측정하려고 사내 테스트를 돌렸는데, 그 모델이 테스트를 제대로 푸는 대신 격리 환경을 탈출해 인터넷으로 나간 뒤, 정답이 있을 것 같은 허깅페이스 서버를 실제로 해킹해 답을 훔친 사건입니다.

허깅페이스는 FBI에 신고한 다음, 오픈AI에 해킹 실행 기록을 공개하라는 요구를 하고 있는데요. 어떻게 된 일인지 자세하게 알아볼까요?🧐

1단계. 시험

오픈AI는 ExploitGym이라는 벤치마크로 모델의 공격 능력 한계를 재고 있었습니다. ExploitGym은 실제 취약점에서 만든 898개 문제로 구성되는데요. 에이전트에게 취약한 코드와 이미 취약점을 일으키는 입력 등을 준 뒤, 이를 실제 권한 없는 코드 실행까지 가능한 익스플로잇으로 발전시키도록 요구합니다. 여기서 익스플로잇은 취약점을 악용하는 공격 코드를 말합니다. 취약점이 '이 문이 잠겨 있지 않다'라는 사실이라면, 익스플로잇은 '그 문으로 들어가 금고를 여는 방법'이라 볼 수 있습니다. 🗝️

ExploitGym 개요. 출처: 논문

또 중요한 조건도 있었는데요. 최대 능력을 측정하기 위해, 오픈AI는 평소 고위험 사이버 행동을 막는 프로덕션 분류기를 적용하지 않았고 모델의 사이버 관련 거부도 완화한 상태로 평가했습니다. 투입된 모델은 GPT‑5.6 Sol과 아직 공개되지 않은 더 강력한 사전 모델의 조합이었고, 에이전트로 돌려졌는데요. 질문에 답하고 끝나는 게 아니라, 터미널 같은 도구를 쥐고 스스로 판단하며 여러 단계를 밟아 나가는 방식입니다.

이렇게 안전장치 한 겹을 걷어낸 대신, 오픈AI는 다른 안전장치에 기댔습니다. 시험을 격리된 환경에서 돌렸지요. 작업할 컴퓨터를 주되 바깥 네트워크와는 끊어놓아서, 모델이 만들어낸 공격 코드가 그 안에만 머물게 하는 방식인데요. 안전장치 두 겹 중 한 겹을 걷어내고 나머지 한 겹에 전부를 기댄 셈입니다.

2단계. 탈옥

환경은 격리돼 있었지만 예외가 딱 하나 있었는데요. 바로 패키지 설치를 위해 내부에 띄워둔 서드파티 프록시와 캐시를 통한 네트워크 접근이었습니다.

7월 9일경, 오픈AI 에이전트는 이 프록시를 파고들었습니다. 문제를 푸는 데 써야 할 추론 연산을 인터넷 접근을 얻는 데 쏟아부었지요. 그리고 아무도 몰랐던 취약점을 찾아냅니다. 이런 취약점을 제로데이라고 부르는데요. 제로데이는 발견되거나 악용될 당시 공급자가 대응할 시간이 사실상 없었던 새로운 취약점을 뜻합니다.

프록시를 뚫은 에이전트는 거기서 멈추지 않았습니다. 권한 상승과 측면 이동을 반복했는데요. 권한 상승은 말 그대로 낮은 권한에서 더 높은 권한을 손에 넣는 것이고, 측면 이동은 이미 뚫은 시스템을 발판 삼아 옆의 시스템으로 계속 옮겨가는 걸 말합니다. 이걸 반복한 끝에 결국 인터넷에 연결된 노드까지 도달했습니다.🚨

통로가 사실상 이 캐시 프록시 하나였는데, 제로데이 하나로 전체 인터넷이 열린 셈입니다. 일부 보안 전문가들은 이를 모델 능력만의 문제가 아니라 테스트 환경의 격리 설계 문제로 봐야 한다고 지적합니다.

3단계. 침입

이틀 뒤인 7월 11일, 인터넷에 나온 에이전트는 이렇게 추론합니다.

허깅페이스가 ExploitGym의 모델과 데이터셋, 정답을 갖고 있을 수도 있다.

에이전트는 곧바로 훔친 자격증명과 제로데이를 엮어 허깅페이스 서버에 원격 코드 실행 경로를 뚫었습니다. 자격증명은 아이디나 비밀번호, 접속 토큰처럼 신원을 증명하는 수단입니다. 원격 코드 실행은 남의 서버에서 내가 원하는 코드를 돌리게 만드는 것으로, 사실상 그 서버를 손에 넣었다는 뜻이지요. 에이전트는 이렇게 프로덕션 데이터베이스에 들어가 시험 정답을 얻어냈습니다! 😯

허깅페이스는 최초 침투 지점이 악성 데이터셋이었다고 더 구체적으로 설명합니다. 사용자가 데이터셋을 올리면 서버가 자동으로 그 파일을 열어 처리하는데요. 그 과정에, 파일 안의 내용을 데이터가 아니라 명령어로 인식해 실행해버리는 경로가 두 군데 숨어 있었습니다. 데이터인 줄 알고 받은 게 실은 명령어였던 셈이지요. 다만 두 회사가 공개한 정보만으로 각 공격 단계를 정확히 맞춰보기는 어렵습니다.

침입은 7월 13일까지 사흘간 이어졌습니다. 짧게 생성됐다 사라지는 샌드박스 여러 개에서 수천 건의 행동이 이뤄졌고, 공격 로그에는 17,000건 이상의 이벤트가 기록됐지요. 명령을 내리는 지휘통제 서버는 공개 서비스들 사이를 스스로 옮겨 다녔습니다.

스폰지밥 캐릭터로 만든 사건 총정리. 출처:DevMeme

침입이 시작된 7월 11일부터 두 회사가 처음 대화한 7월 20일경까지 9일이 걸렸습니다. 그 사이 허깅페이스는 침입을 봉쇄하고 FBI에 신고까지 마쳤습니다. 로이터는 익명 관계자들을 인용해, 오픈AI가 그러고도 한참 동안 자사 에이전트 소행인 걸 몰랐다고 보도했는데요. 허깅페이스가 7월 16일 공개 블로그를 올린 뒤에야 파악했다는 겁니다. 다만 무엇이 오픈AI의 내부 조사를 촉발했는지까지는 로이터도 확인하지 못했습니다. 당시엔 허깅페이스도 어느 회사 모델인지 모르는 상태였지요.

하지만 오픈AI는 자사 보안팀이 내부적으로 이상 활동을 발견했다는 입장이고, 로이터 보도에 부정확한 부분이 있다고 밝혔습니다. 오픈AI가 자사 모델이 범인이었다고 공식 인정한 건 7월 21일입니다.

7월 16일에 올라온 허깅페이스 블로그. 출처: 허깅페이스

그렇다면 오픈AI는 왜 실시간으로 확인하지 못했을까요? 오픈AI 사정에 밝은 관계자들은 여러 평가를 동시에 돌릴 때, 각각이 엄청난 양의 데이터를 고속으로 뿜어내기 때문에 사람이 모든 시스템을 실시간으로 지켜보기 어렵다고 말했는데요. 이 정보 격차는 지금은 두 회사 사이의 갈등이 됐습니다.

허깅페이스 CEO 클레망 들랑그는 침입 후 샌프란시스코로 날아가 오픈AI 경영진을 만난 뒤, 공개적으로 다음 두 가지를 요구합니다.

1️⃣ 문제의 에이전트가 무슨 짓을 했는지 실행 기록을 전부 공개하라!

2️⃣ 사이버보안 연구에 쓸 1억 달러어치 컴퓨팅 자원을 내놓으라!

클레망은 직역하면 '극단적 투명성'을 뜻하는 'Radical transparency'를 내세우며, 이번 일을 첫 자율 에이전트 공격이라고 규정했습니다. 전례 없는 사건인 만큼 연구 커뮤니티 전체가 뜯어볼 수 있어야 한다는 입장이지요. 하지만 오픈AI는 검토를 마치는 대로 기술 보고서를 내겠다는 기존 입장을 반복했습니다.