제미나이는 언어, 이미지, 음성, 동영상을 모두 처리하는 멀티-모달(Multi-modal) 모델입니다. 구글에 따르면 지금까지 멀티 모달 AI는 각각 여러 모델을 따로 학습시킨 다음 연결하는 방식으로 구현되었지만, 제미나이는 이와 달리 사전 학습 단계부터 다양한 데이터 양식을 함께 학습했습니다.

때문인지 제미나이 테크니컬 리포트에서는 익숙한 멀티-모달 대신 ‘크로스-모달(Cross-modal)’이라는 표현이 종종 등장 합니다. 챗지피티(ChatGPT)가 설명하는 두 표현의 미묘한 차이는 아래와 같습니다.

”크로스모달은 서로 다른 모달리티 간의 상호작용과 이해에 중점을 둡니다. 하나의 모달리티로부터 얻은 정보를 다른 모달리티의 데이터 처리에 활용합니다. 예를 들어, 크로스모달 모델은 텍스트를 이용해 이미지를 해석하거나, 이미지를 통해 텍스트의 맥락을 파악하는 등의 작업을 할 수 있습니다.”

제미나이 1.0(Gemini 1.0)은 크기에 따라 울트라(Ultra) / 프로(Pro) / 나노(Nano) 세 가지 버전으로 제공됩니다. 각 모델의 정확한 파라미터 개수는 공개되지 않았지만, 메타(Meta)의 오픈 소스 라마(LLaMa) 모델과 비교했을 때 '나노'는 라마의 가장 작은 모델보다 작고, '울트라'는 가장 큰 모델보다 거대합니다.

*AI 모델 파라미터 개수와 모델 성능은 비례하지 않지만 일반적으로는 파라미터가 많을수록 복잡하고 다양한 기능을 수행할 수 있을 거라 여겨집니다. 구글은 이전 파운데이션 모델 팜-2(PaLM 2)의 파라미터 개수를 공개하지 않았지만, 많은 이들은 팜-2의 파라미터 개수를 이전 버전의 5,400억 개보다는 훨씬 적은 3,400억 개로 예상하고 있습니다.

가장 작은 나노 모델은 모바일, 랩탑에 장착되는 '온-디바이스(On-device) AI'를 위해 만들어졌습니다. 나노 버전에는 18억(1.8B) 파라미터를 가진 ‘나노-1’과 32.5억(3.25B)의 ‘나노-2’가 있으며, 모델 압축을 위해 파라미터는 4비트 양자화되었습니다.

구글 '픽셀8 프로(Pixel 8 Pro)'에서 실행되는 제미나이 나노(Gemini Nano)는 대화 요약·스마트 답장·데이터 유출 방지 등 다양한 기능을 수행하고, 네트워크 연결 없이 작동하며 설계상 여러 가지 이점을 제공합니다.

구글에 따르면 제미나이는 수개월 내로 검색, 광고, Chrome, Duet AI 등 더 많은 제품과 서비스에 적용될 예정입니다.

여러 벤치마크에서 GPT-4보다 높은 성능을 보인 모델이 바로 제미나이 울트라입니다. 가장 큰 울트라 모델은 구글의 이전 주력 모델인 ‘팜-2(PaLM-2)’와 비교해서도 규모가 크게 증가했습니다. 특이한 점은 울트라 모델을 학습할 때 구글이 여러 데이터센터에 걸친 대규모 TPUv4 가속기를 사용했다는 점입니다.

구글은 내부 클러스터와 클러스터 간 네트워크를 사용하여 여러 데이터센터의 슈퍼컴퓨터(SuperPods)를 결합했습니다. 가속기 수를 늘림에 따라, 전체 시스템에서 하드웨어 고장 주기가 비례적으로 감소했다고 합니다 (a proportionate decrease in the mean time between failure of hardware in the overall system).

개인적으로 이번 발표에서 아쉬운 점은 울트라와 나노 버전의 성능을 일반 사용자가 체험해 볼 수 없었다는 점입니다. 현재 기존 팜-2(Palm-2)를 대체하여 챗봇 바드(Bard)에 내장된 제미나이는 프로(Pro) 버전입니다.

다양한 입출력을 다루는 제미나이의 진가는 울트라(Ultra)에서, 압축된 모델이 온-디바이스에서 어떤 성능을 보이는지는 나노(Nano) 버전에서 확인할 수 있으니까요.

구글은 내년 제미나이 울트라 공개에 앞서 레드팀 구성을 포함한 광범위한 신뢰 및 안전 검사를 진행하고 있으며, 인간 피드백을 통한 미세 조정 및 강화 학습(RLHF)으로 모델을 개선하고 있습니다 :)