최근 메타 AI 연구진을 중심으로, AI와 뇌 신호 해독에 관한 흥미로운 연구가 공개됐습니다. 논문 제목은 Accurate Decoding of Natural Sentences from Non-Invasive Brain Recordings로, 직역하면 '비침습적 뇌 기록으로부터 자연스러운 문장을 정확하게 해독하기' 정도가 될 텐데요. 연구진은 이 시스템을 Brain2Qwerty v2라고 부릅니다.

비침습적(인체에 직접적인 상처를 내거나 기구를 체내에 삽입하지 않는 방식) 뇌 기록만으로 자연문장을 정확하게 복원했다는 건, 정확히 어떤 의미일까요? 🧠

이번 연구는 사람이 가만히 앉아 머릿속으로 아무 문장이나 떠올렸고, AI가 그 생각을 읽어낸 연구가 아닙니다.

참가자들은 먼저 문장을 듣고, 잠시 기다린 뒤, 그 문장을 실제 키보드로 타이핑했습니다. 연구진은 이 타이핑 과정에서 발생하는 뇌 활동을 MEG, 즉 뇌의 자기장을 측정하는 장비로 기록했지요. 그리고 모델은 그 MEG 신호만을 입력으로 받아 참가자가 타이핑한 문장을 복원하려 했습니다. 그러니까 이 연구를 정확히 표현하면, '생각을 자유롭게 읽은 연구'라기 보다는 '문장을 기억하고 타이핑하는 동안의 뇌 신호를 텍스트로 디코딩한 연구'에 가깝습니다. 그렇다면 이 Brain2Qwerty v2는 어떤 점에서 특별할까요? 🤔

지금까지 높은 성능을 보인 Brain-Computer Interface, 즉 BCI 연구는 대체로 뇌에 전극을 삽입하는 침습형 방식에 의존해왔습니다. 침습형 방식은 성능은 좋지만, 수술이 필요하고 장기적인 안정성이나 확장성 면에서 한계가 있습니다. 반면 Brain2Qwerty v2는 두개골 밖에서 측정한 비침습 뇌 신호만으로 자연문장 복원의 가능성을 보여줬는데요. 바로 이 차이가 중요합니다. 뇌에 전극을 심지 않고도 사람이 생성하려는 언어를 어느 정도 복원할 수 있다면, 장기적으로는 말을 하거나 움직이기 어려운 사람들을 위한 더 안전한 의사소통 기술로 이어질 수 있기 때문이지요.

BCI의 가장 중요한 목표 중 하나는 말을 하거나 움직이기 어려운 사람이 뇌 신호만으로 의사소통할 수 있게 하는 것입니다. 루게릭병이나 뇌손상 등으로 발화나 운동 능력이 제한된 사람에게는 뇌 신호를 텍스트로 바꾸는 기술이 삶의 질을 크게 바꿀 수 있는데요. 문제는 뇌 신호의 품질입니다.

침습형 BCI는 뇌 안쪽 또는 뇌 표면에 전극을 삽입하기 때문에 비교적 선명한 신호를 얻을 수 있습니다. 최근 침습형 BCI 연구들은 사용자가 말하려 하거나, 손글씨를 쓰려 하거나, 타이핑하려는 신호를 상당히 높은 정확도로 복원하는 결과를 보여줬습니다. 하지만 침습형 방식은 말 그대로 수술이 필요합니다. 또 의료적 위험이 있고, 전극이 장기간 안정적으로 작동해야 하며, 많은 환자에게 널리 적용하기도 어렵지요.

때문에 EEG(뇌파검사), fMRI, MEG처럼 몸 안에 기구를 넣지 않고 뇌 활동을 측정하는 비침습형 방식도 주목받고 있는데요. 비침습 신호는 대체로 약하고 노이즈가 많습니다. 뇌파검사는 신호대잡음비가 낮고, fMRI는 시간 해상도가 느립니다. MEG는 뇌에서 활동이 일어나는 순간순간의 변화를 비교적 빠르게 잡아낼 수 있다는 장점이 있습니다. 하지만 장비가 크고 비싸서 병원 밖이나 일상 환경에서 쓰기 어렵지요. 이때, 연구진은 이런 질문을 던집니다:

비침습 MEG 신호를 충분히 많이 모으고,
최신 딥러닝과 LLM을 잘 결합하면 자연문장 수준의 brain-to-text decoding이 가능할까?

실험 개요. 참가자들은 들은 문장을 기억한 뒤 키보드로 타이핑했고, 연구진은 이때의 MEG 신호를 기록했다. 오른쪽 뇌 지도는 키 입력 시점에 MEG가 주로 운동피질 활동을 포착했음을 보여준다. 출처: 논문.

Brain2Qwerty v2 구조. 연속적인 MEG 신호를 Encoder가 글자 수준 표현으로 바꾸고, Aligner가 이를 단어 의미 공간에 맞춘 뒤, LLM이 최종 문장을 생성한다. 출처: 논문.

Brain2Qwerty v2는 전체 참가자 평균 WER 39%를 기록했습니다. WER는 정답 문장과 예측 문장이 단어 단위에서 얼마나 다른지를 나타내는 오류율인데요. 가장 성능이 좋았던 참가자에서는 이 수치가 22%까지 내려갔습니다. 다만 이 결과를 과하게 해석할 수는 없습니다. WER 39%는 '문장의 61%를 완벽히 맞혔다'는 의미가 아니기 때문이지요. 이는 단어가 빠지거나, 다른 단어로 바뀌거나, 불필요한 단어가 들어간 정도를 계산한 값입니다. 따라서 여전히 오류는 적지 않습니다.

그럼에도 비침습 MEG 신호만으로 자연문장을 복원하는 일이 얼마나 어려운지 생각하면, 의미있는 결과로 볼 수 있습니다. 특히 Brain2Qwerty v2는 단순히 글자 후보를 뽑는 Encoder나, 그 결과를 N-gram 언어모델로 보정한 방식보다 단어 수준과 의미 수준에서 더 나은 결과를 냈습니다!💡

물론, 좋은 점만 있지는 않습니다. LLM은 자연스럽고 그럴듯한 문장을 만드는 데 강하기 때문에 뇌 신호가 충분히 선명할 때는 깨진 문자 조각을 의미있는 문장으로 복원하는 데 도움이 됩니다. 하지만 반대로 신호가 애매할 때는, 문장은 매끄럽지만 실제 사용자가 입력하려던 내용과는 전혀 다른 결과를 만들 수 있는데요. 논문에서도 이런 경향이 나타납니다. Brain2Qwerty v2는 단어 단위나 의미 단위로 봤을 때는 기존 방식보다 좋아졌지만, 글자 하나하나를 얼마나 정확히 맞혔는지를 보면 오히려 N-gram 방식보다 나빴습니다.

사실 이는 LLM을 써본 사람이라면 익숙한 문제일 텐데요. LLM은 확실하지 않을 때도 그럴듯한 문장을 만들어내지요? 일상적인 대화에서는 어느 정도 의미가 맞는 문장이 도움이 될 수 있겠지만, BCI에서는 다릅니다. 약 이름, 숫자, 비밀번호, '예/아니오'처럼 정확성이 중요한 표현에서는 그럴듯한 문장보다 글자 단위의 정확성이 훨씬 중요하기 때문이지요. 🎯

Brain2Qwerty v2는 비침습 MEG 기반 자연문장 복원에서 의미 있는 진전을 보여줬으나, 아직 실제 의사소통 장치로 보기에는 오류가 많습니다. 또, LLM 특유의 '유창하지만 틀린 문장' 문제도 해결해야 합니다.