📰 AI가 기획하고 쓴 논문, ICLR을 통과하다

얼마 전 셀렉트스타 AI Safety팀의 논문이 세계 최고 수준 학회인 ICLR 메인 트랙에 채택되었다는 소식을 전해드렸는데요. 이번에는 일본의 Sakana AI가 공동 연구한 AI 에이전트가 ICLR 워크숍 피어리뷰 기준을 통과했다는 소식입니다. 사람이 다듬은 결과물이 아니라 연구 아이디어부터 실험, 논문 작성까지 전부 AI가 수행했다고 하는데요. 어떻게 된 일인지 알아볼까요?🚀

✋🏼 여기서 잠깐!

연구진은 ICLR 2025 주최 측과 협의 및 승인 아래 실험을 진행했고, AI 생성 제출물은 리뷰 후 자체 철회했습니다. 별도로 Sakana AI는 자사 발표문에서 AI 생성 논문에 워터마크를 적용했다고 밝혔습니다.

논문을 쓰는 에이전트의 이름은 'The AI Scientist(이하 'TAIS')'인데요. TAIS는 단순한 글쓰기 모델이 아니라, 다음 과정을 전부 자동으로 수행하는 연구 시스템입니다:

• 연구 아이디어 생성
• 기존 논문 탐색 및 중복 검증
• 실험 설계 및 코드 작성
• 실험 실행 및 결과 분석
• 논문 작성 (LaTeX 포함)
  
  

즉, '논문을 써주는 도구'가 아니라 연구자 역할 자체를 자동화한 시스템이라고 볼 수 있지요. TAIS를 거쳐 쓰여진 논문 세 편이 머신러닝 분야에서 가장 권위 있는 학회 중 하나인 ICLR 워크숍에 제출이 되었는데요. 그 중 한 편이 인간 평가자 점수에서 평균 점수 6.33점으로 워크숍 평균 합격 기준을 넘겼습니다. 상위 약 45% 수준에 들었지요.

Sakana AI를 비롯한 연구진은 The AI Scientist 에이전트에 대한 논문을 따로 발표했는데요. 해당 논문은 세계 최고 권위의 과학 학술지로 불리는 Nature에 실렸습니다. 논문 제목은 <Towards end-to-end automation of AI research>로, 'AI 연구의 전 과정 자동화를 향하여' 정도로 번역이 될 텐데요. 이 야무진 에이전트가 어떻게 작동하는지 함께 살펴보시지요!💡

연구진은 AI가 만든 연구 결과의 품질 역시 기초모델의 성능과 투입한 연산량에 따라 함께 향상된다는 점을 발견합니다. 지금까지는 AI가 논문을 잘 썼다고 해도 그것이 우연히 나온 인상적인 사례인지, 아니면 실제로 계속 개선될 수 있는 현상인지 분명하지 않았는데요. 이번 연구에서 서로 다른 모델들을 The AI Scientist에 적용해 생성한 논문들을 비교한 결과, 두 가지 경향을 확인할 수 있었습니다:

1. 더 좋은 모델이 더 좋은 논문을 만든다
2. 더 많은 연산이 더 좋은 논문을 만든다

이 관계는 P < 0.00001이라는 유의확률(p-value)를 보이며 통계적으로 유의미한 수준임을 입증합니다. P < 0.00001이라는 건, 이 결과가 우연일 확률이 0.001% 미만이라는 뜻입니다. 연구진은 '연구도 스케일링된다'라고 표현하는데요. AI 연구 에이전트의 성능 향상이 우연한 성공이 아니라, 모델 성능에 따라 지속적으로 발전할 가능성을 보여준다고 해석할 수 있습니다.

물론, 아직 The AI Scientist를 완전한 연구자로 볼 수는 없습니다. 한계도 분명하기 때문인데요. 현재 시스템은 때때로 아이디어가 너무 얕거나 단순한 상태로 나오고, 복잡한 코드 구현에서는 약점을 보이며, 부정확한 인용이나 부록 그림 중복 같은 환각 문제를 일으킬 수 있습니다. 또한 연산 기반 실험에 주로 한정되어 있어, 실험실 장비나 실제 물리적 실험이 필요한 분야까지 확장되지는 않았습니다.

좋은 과학자는 좋은 논문을 쓰겠지만, 좋은 논문을 쓴 과학자라고 해서 언제나 좋은 과학자라고 할 수는 없습니다. 인류의 궁금증을 해소하고 어려움을 해결하기 위해 노력하는 인간 연구자의 역할은, 단지 결과물을 생산하는 데서 끝나지 않습니다. 무엇을 질문할지 정하고, 어떤 문제를 더 중요한 것으로 볼지 판단하며, 연구가 사회에 미칠 영향까지 함께 고민하는 일 역시 과학의 본질에 속하기 때문이지요. AI가 논문을 쓸 수 있도록 하는 기술력도 중요하지만, 어떤 방향으로 지식을 확장하고 기술을 책임 있게 활용할지를 동시에 고민해야 합니다. 🧪