🏓핑-퐁, 핑-퐁, 탁구치는 로봇

DeepMind는 이미 인간 수준을 뛰어넘는 바둑 모델, AlphaGo를 만든 전력이 있습니다. 그 외에도 체스, 오목 등은 모두 전략을 시뮬레이션하며 테스트할 수 있고, 이 시뮬레이션 과정은 실제 게임에 임하는 데 있어 큰 차이가 없습니다. 바둑에서는 AlphaGo의 명령에 따라 수를 놓아줄 사람 한 명만 있으면 충분했죠.

하지만 탁구는 다릅니다. 위치, 속도, 회전 등 다양한 변수를 조절하며 경기를 펼치는 복잡한 스포츠입니다. 여기서는 두 가지 요소가 중요한데요. 바로 1) 높은 수준의 전략적 결정을 내리는 능력과 2) 그 전략을 실행할 수 있는 물리적 기술입니다. 로봇은 실시간으로 가장 유리한 전략을 선택한 후, 이를 수행할 수 있는 기술을 갖춘 상태에서 필요할 경우 전략적으로 덜 유리한 선택을 할 수도 있어야 합니다.

연구진은 계층적이고 모듈화된 정책 아키텍처를 제안했습니다. 이 시스템은 여러 저수준 기술 정책(Low-level Skill Policies)과 고수준 컨트롤러(High-level Controller)로 구성되어 있습니다. 각 저수준 기술 정책은 많은 탁구 기술을 의미합니다. 대표적으로 포핸드 탑스핀, 백핸드 타겟팅, 또는 포핸드 서브와 같은 탁구 전문 기술이 있죠.

특정 기술이 충분히 훈련되면, 고수준 컨트롤러는 더욱 전문적인 형태로 로봇을 발전시킵니다. 특수한 기술을 구사하는 능력을 익힌 뒤에 어떤 타이밍에 어떤 기술을 활용해야 하는지 결정하는데요. 이때 게임 중에 얻는 실시간 정보만 활용하지 않습니다. 현장에서 선수가 코치에게 피드백을 받듯이 게임 통계, 상대방의 능력과 같은 설명을 기반으로 최적의 기술을 선택하기도 합니다.

이미지의 왼쪽 부분은 훈련 과정을 보여줍니다. 로봇은 MuJoCo 물리 엔진과 같은 시뮬레이션 환경에서 훈련을 받습니다. 여기서 로봇은 다양한 공의 상태 데이터를 사용하여 저수준 컨트롤러(LLC)들의 기술 라이브러리를 구축합니다. 이 저수준 컨트롤러들은 서브나 랠리 등 다양한 기술을 담당하며, 시뮬레이션과 실제 세계 간의 차이를 줄이기 위한 어댑터를 사용해 학습됩니다.

이와 동시에, 같은 공의 상태 데이터를 사용해 어떤 스타일로 대응할지 결정하기 위한 고수준 컨트롤러(HLC)도 훈련됩니다. 실제 공의 상태 데이터를 사용해 현실적인 시뮬레이션을 구현하기 때문에, 훈련된 정책들은 별도의 추가 조정 없이 실제 환경에 적용할 수 있습니다.

이미지의 오른쪽 부분은 실제 경기에서의 적용 과정을 나타냅니다. 로봇이 실제 경기에서 배치될 때, HLC는 스타일 선택기를 사용해 포핸드 또는 백핸드 측면을 선택하는데요. 로봇이 실제 환경에서 움직일 때, 경기장에서의 관찰 데이터(공의 위치, 탁구채의 위치와 방향, 공의 속도 등)가 수집됩니다. 이 데이터는 실시간으로 로봇의 행동에 피드백을 제공하기 때문에, 로봇이 계속해서 자신의 기술을 개선하고, 상대방의 스타일에 맞춰 플레이를 조정할 수 있도록 합니다.

로봇은 ‘실전과 같은 훈련’과 ‘훈련과 같은 실전’을 반복합니다. 실제로 인간처럼 시간을 들여 게임을 많이 할 수 없기 때문에 현실을 완전히 모방한 시뮬레이션을 통해 다양한 전략을 세우고, 이를 실전에서 테스트하면서 동시에 상대에게 빠르게 적응하지요. 이렇게 시뮬레이션 상태에서 학습한 모델을 현실로 옮기는 것을 Sim-to-Real이라고 하는데, 이 격차를 최소화하는 것은 물리적으로 모델링하는 데 있어 매우 중요한 문제입니다.

연구진은 하이브리드 학습 방법을 제안합니다. 인간의 행동과 주변 환경의 상호작용은 사실상 정확한 예측이 불가능한데요. 이를 극복하기 위해 인간 행동 모델링, 즉 인간이 탁구를 할 때 공의 분포를 모델링하고 이에 대응할 수 있도록 강화학습 방법론을 적용합니다. 또한, 로봇이 새로운 상황에서도 인간처럼 자연스럽게 행동하도록 모방학습을 진행합니다.

이렇게 학습한 로봇은 총 29번 인간과 경기를 진행했는데요. 이 중 로봇이 45% (13/29)의 경기를 승리했습니다. 상대는 초보자부터 대회 참가자 수준까지 다양한 실력의 인간 선수들이었다고 하는데요. 비록 가장 숙련된 선수들과의 경기에서는 모두 패했지만, 초보자와의 경기에서는 100% 승리, 중급자와의 경기에서는 55%의 승률을 기록했습니다.

탁구를 비롯한 스포츠 종목은 뛰어난 운동 신경을 기반으로 오랫동안 훈련을 거쳐야 어느 정도 능력을 갖출 수 있습니다. 로봇이 아마추어 인간 수준으로 스포츠 경기를 할 수 있다는 건, 그 자체만으로도 새로운 가능성입니다.

AlphaGo도 초기에는 패배를 겪었으나 개선 속도가 타의 추종을 불허해 세계 최고 수준에 이르렀는데요. 이제는 역으로 AI의 바둑을 따라 하는 선수가 생겼을 정도라고 합니다. 스포츠 대회에 새로운 참가 부문이 생기는 날이 올까요? 🤖

: 아부다비의 TII가 ‘FalconMamba 7B’라는 새로운 경량화 대형 언어 모델(sLLM)을 공개했습니다. 이 모델은 기존의 Transformer 구조를 벗어나 상태 공간 언어 모델(State Space Language Model, SSLM)를 기반으로 하는 Mamba를 적용했다는 점에서 의미 있습니다. TII는 FalconMamba 7B가 허깅페이스 벤치마크에서 Meta의 Llama 3.1 8B 및 Mistral 7B를 능가한다고 밝혔습니다.

자동으로 AI 연구 논문을 써주는 AI

: 자동으로 AI 연구 논문을 써주는 AI가 개발되어 화제입니다. Transformer 논문 저자 중 한 명이 창업한 Sakana.ai 에서는 최근 <The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery>를 공개했는데요. 이 시스템은 연구 아이디어 생성부터 코드 작성, 실험 실행, 결과 요약 및 발표까지 모든 연구 주기를 자동화합니다. 한 편의 논문을 제작하는 데 약 $15의 비용밖에 들지 않습니다.

일론 머스크의 xAI, Grok-2 공개

: 일론 머스크의 AI 스타트업 xAI가 최신 언어 모델 'Grok-2'와 'Grok-2 Mini'를 베타 버전으로 공개했습니다. 'Grok-2'는 멀티모달 AI 어시스턴트로서 Claude 3.5 Sonnet과 GPT-4 Turbo를 능가하는 성능을 입증했습니다. 특히, 다양한 학문적 벤치마크에서 뛰어난 성능을 보였으며, 시각적 수학 추론과 문서 기반 질문 응답에서 최고 성능을 기록했는데요. 현재 이 모델들은 X 플랫폼에서 베타 버전으로 제공되며, 곧 엔터프라이즈 API를 통해 이용 가능할 예정입니다.