Bard, 2번째 쇼케이스

(튀르키예의 맹인 방랑 음유시인(Bard) 베이셀 새티로루)

2022년에 공개된 PaLM은 5,400억 개의 학습 파라미터를 가진 초대형 모델이었습니다. PaLM 2는 구글이 학습 모델과 자세한 파라미터 수를 공개하지는 않았지만, 실험 결과를 토대로 PaLM 2에는 이전 모델의 5분의 1 수준인 약 1,000억 개의 파라미터로 학습한다고 알려져 있습니다.

PaLM의 핵심적인 변화 3가지를 알아보도록 하겠습니다.

• 계산 최적화 스케일링(Compute-optimal scaling)

계산 최적화 스케일링 실험을 통해 데이터 사이즈와 파라미터 사이즈를 거의 1:1 비율로 맞추었을 때 가장 뛰어난 성능을 보인다는 것을 알아냈습니다.

• 개선된 데이터셋 혼합(Improved dataset mixtures)

일반 텍스트의 78%가 영어였던 이전 모델에 비해 약 100여 개국의 다양한 도메인 데이터(프로그래밍 언어, 수학 등)를 학습하여 더 좋은 학습 능력을 갖추었습니다.

• 모델 구조와 목적 개선(Archiectural and objective improvements)

기본적으로 Transformer 모델 기반이지만, 사전 학습 모델의 목적을 다르게 두면서 더 다양한 과제에서 좋은 성능을 보이도록 학습하였습니다.

무엇보다도 PaLM 2의 특징은 바로 다개국어 과제에서 강점을 보인다는 것입니다. Bard를 소개하면서 여러 언어를 지원한다고 밝혔는데요. 그중에 한국어를 가장 먼저 언급했다는 점에서 국내에서도 반응이 뜨거웠습니다. 실제로 PaLM 2 기술 보고서에서도 한국어 코드 주석을 첫 번째 사례로 들었습니다.

코드 생성 능력도 뛰어납니다.

코드 생성은 요즘 언어모델의 도전 과제로 꼽힙니다. 사실 위의 이미지를 자세히 들여다보면, 코드의 내용이 살짝 달라진 것을 알 수 있습니다. ‘Fix this code’라는 말에 따라 발생할 수 있는 오류를 고친 것입니다. 코드가 주어지지 않은 상황에서도 과제와 맥락을 설명하면, Python, JavaScript, C 등 다양한 컴퓨터 언어로 코드를 구현할 수 있습니다. 코드 생성 외에도 추론(Reasoning), 질의응답(QA), 번역(Translation) 등의 과제에서 SOTA를 달성하며 현존 최고의 언어모델이라고 자부하고 있습니다. 물론, 실제 성능을 비교해보면 결과는 조금 다를 수도 있지만요.

무엇보다 가벼운 모델인 만큼 다른 분야에 적용하여 활용할 수 있는 분야가 많습니다. 구글 블로그에 따르면 25개의 구글 제품에 활용하고 있다고 밝혔는데요. 그중 대표적인 사례로, Google Workspace와 Med-PaLM 2, Sec-PaLM 등이 있습니다. Google Workspace에서는 메일이나 독스를 작성할 때 업무 효율성을 높여주기 위한 방향으로 활용됩니다. 또한, PaLM 2에 의학정보를 추가로 학습시켜 의학 관련 텍스트에 대해 간단히 답하고 인사이트를 요약할 수 있는 Med-PaLM 2 모델도 개발했습니다. 심지어 X-ray 이미지 등을 이해하여 그에 대한 적절한 설명을 내어주기도 합니다. Sec-PaLM는 Google Cloud 등에서 발생할 수 있는 잠재적인 보안 위협 요소에 대해 분석하는 모델입니다.

PaLM 2가 공개되면서 점차 뛰어난 언어모델이 손 안에 들어올 만큼 작아지는 건 아닌가 기대감이 들기 시작했습니다. 마치 메모리가 점점 작아지면서 빠르게 PC가 상용화되었듯, 모델이 가벼워지고 그에 맞는 AI 반도체가 개발되면다면 정말 몇 년 안에 누구나 AI 디바이스를 하나씩은 지니고 다니지 않을까 기대가 됩니다. 또한 점차 범용적인 목적의 모델이 등장하면 어느 분야와 만나 새로운 확장을 이어나갈까 사뭇 궁금해집니다.

매주 AI 소식을 전해드리면서 

반갑게 메일을 열어보시는

5,000 여 분의 목소리도 궁금했었습니다.

이제, 일방이 아닌 구독자 여러분과

양방향으로 Interactive하게 소통하고 싶습니다. 

여러분들의 다양한 의견들을 기다리겠습니다.   

게시판 BETA 오픈 기념 EVENT에 참여해주시는

여러분께 커피쿠폰 쏘겠습니다!

이벤트 기간 : 5월 24~29일까지

• 타견적대비 더많은 혜택
• 1:1 AI 멘토링 지원 
• 최고 투자자들의 '투자 검토'
• 투자, 법률, 특허관련 특강 기회

美·英 선거 앞두고 AI 생성 가짜뉴스가 판친다

"내년 봄 되면 유권자 맞춤형 허위정보·사진·음성 등장"(기사링크)

지난 3월, 도널드 트럼프 전 미국 대통령이 수갑을 차고 경찰에 연행되는 모습이 공개되었습니다. 하지만 곧 AI로 가짜 사진임이 밝혀져 논란이 되었습니다. 선거를 앞둔 상황에서 AI 생성 가짜뉴스와 가짜뉴스 사이트에 대한 우려가 점차 커지고 있습니다.

'라마'의 예상밖 흥행…'AI 뒤집기' 노리는 메타

‘오픈소스 전략’으로 차별화하며 지분을 확보하고 있기 때문(기사링크)

올해 초 발표된 언어모델 ‘라마(LLaMa)’가 뜻밖의 흥행을 이어가고 있습니다. 가벼운 오픈소스 모델로 대규모의 자원이 필요하지 않아 단시간 내에 맞춤형 서비스를 구현할 수 있다는 특징을 가지고 있습니다. 하지만, 연구 목적으로 공개한 만큼 아직 상업적 이용은 불가합니다.

생성 AI로 이미지 만드는 ‘AI 아티스트’ 채용

게임사들이 앞다퉈 AI 도입에 몰두 (기사링크)

빌 게이츠, AI비서가 구글검색과 아마존 쇼핑 없앨 것

딥마인드 창립자가 만든 인플렉션 주목(기사링크)

MS의 공동창업자 빌 게이츠가 ‘AI포워드 2023’에서 ‘디지털 에이전트’라 불리는 AI 개인비서가 개발되면 사람들이 더이상 검색사이트나 아마존에 가지 않을 것이라고 말했습니다. 그러면서 아직 주류로 사용될 때까지는 시간이 걸릴 것으로 예상했습니다.