자비스, data2vec를 설명해주게 

이전 버전과 학습 구조는 크게 달라지지 않았지만, 더욱 효율적인 방법을 제시했습니다. 우선 data2vec의 학습 방법을 살펴보고 2.0에서 개선된 부분을 짚어보겠습니다.

data2vec 학습 방법

data2vec은 다양한 형태의 데이터를 대용량으로 처리하기 위해 자기 지도 학습 방식(Self-Supervised Learning, SSL)을 채택합니다. 자기 지도 학습 방식이란, 데이터 내에 스스로 레이블을 만들어 학습하는 방식입니다. 예를 들어 주어진 문장 속 특정 단어를 마스킹하여 가린 뒤, 해당 단어를 문맥 속에서 스스로 예측합니다. 자기 지도 학습의 가장 큰 장점은 레이블이 지정된 가공 데이터셋이 없더라도 학습이 가능하다는 사실입니다.

data2vec 역시 이미지, 텍스트, 음성 데이터의 일부를 가립니다. 하지만 마스킹된 토큰(부분)의 데이터 형태가 다르기 때문에 하나의 모델로 예측하기는 어렵습니다. 그래서 Meta의 연구진은 교사-학생(Teacher-Student) 모델을 활용합니다. ‘교사 모델’은 데이터를 가리지 않은 채로 타깃 데이터 표현을 학습합니다. 그리고 ‘학생 모델’은 일부가 가려진 데이터를 통해, 교사 모델의 잠재 표현 값을 예측합니다. 선생님은 정답을 알고 있고, 학생은 선생님처럼 되기 위해 학습하는 과정이라고 이해할 수 있습니다.

이렇게 되면 마스킹된 토큰을 예측하는 작업이, 잠재 표현 값을 예측하는 작업이 되기 때문에 어떤 데이터 유형이 들어오더라도 하나의 모델에서 학습이 가능합니다. 왜냐하면 잠재 표현 값은 데이터의 형태와 무관하게 벡터로 표현되기 때문입니다.

data2vec 2.0 개선 방안

data2vec 2.0에서는 3가지 개선 방안을 적용했습니다. 첫 번째로 특정 학습 예제로 설정된 타깃 표현 하나에, 다양한 마스킹 버전을 활용합니다. 이는 일종의 데이터 증강법으로, 새로운 타깃 표현을 만드는 데 필요한 계산 비용을 줄일 수 있습니다. 두 번째로 너무 많은 빈칸(약 80%)이 있는 경우는 학생 인코더에서 제외합니다. 세 번째는 디코더에 트랜스포머 네트워크(Transformers)가 아닌 합성곱 신경망(Convolutional Networks)을 활용합니다.

현재 멀티모달 연구가 ‘자비스’와 같은 프로덕트 레벨까지 올라오기에는 턱없이 부족합니다. 이를 뒤집어 말하면 data2vec의 발전 가능성은 아직 무궁무진하다는 뜻이기도 합니다. AI 석학들이 2023 AI 트렌드로 멀티모달을 전망하고 있는 만큼 괄목할 만한 발전을 기대해봅니다.

장기 기억 기능이 탑재된 챗봇, SKT 에이닷

별걸 다 기억하는 AI

단순 물음에 대답하는 챗봇을 넘어, 대화를 기억하는 챗봇의 시대가 오고 있습니다. SKT 에이닷에는 장기 기억 기능이 탑재됐습니다.

새로운 유형의 단백질을 생성하는 AI

신약 개발 새 지평 연 AI

이제 단백질 구조 예측뿐 아니라 새로운 단백질 디자인까지 생성해냅니다. ‘크로마’와 ‘로제타폴드디퓨전‘이 그 주인공입니다. 이 두 모델은 신약 개발에 새로운 지평을 열 것으로 보입니다.

ChatGPT는 와튼스쿨을 졸업할 수 있다

대화형 AI모델, 와튼스쿨 시험 보게했더니

ChatGPT가 미국 명문 MBA인 펜실베이니아 대학의 와튼스쿨 졸업 시험에서 합격점을 받았습니다. 와튼스쿨의 한 교수는 ChatGPT에게 ‘운영관리’ 시험을 보도록 했는데 B나 B-를 받을 성적에 가까운 답안을 작성했다고 밝혔습니다.