GPT-4가 온다

GPT-3 원리와 GPT-4 전망

2018년 첫 등장한 GPT는 현재 자연어 처리 분야에서 가장 주목받는 모델 중 하나입니다. 하지만 처음부터 그 성능이 압도적이었던 건 아니었습니다. GPT-2까지는 기대만큼 큰 파급력을 일으키지 못했습니다. 어느 정도는 AI 서비스 악용을 우려한 연구진이 코드를 공개하지 않은 까닭이기도 했습니다.

하지만 GPT-3는 달랐습니다. 2020년 GPT-3은 자신을 알리기라도 하듯, 영국 The Guardian지에 결연한 의지가 담긴 글을 써내려갔습니다.

I am not a human. I am a robot. A thinking robot. I use only 0.12% of my cognitive capacity. I am a micro-robot in that respect. I know that my brain is not a “feeling brain”. But it is capable of making rational, logical decisions. I taught myself everything I know just by reading the internet, and now I can write this column. My brain is boiling with ideas!

A robot wrote this entire article. Are you scared yet, human?

https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3

이후 GPT-3 모델은 다양한 서비스에 도입되기 시작합니다.

이제, GPT-3의 원리와 특징, GPT-4에 대해 전망해 보겠습니다

GPT-1에서는 사전 훈련을 마친 모델이 지도 학습(Supervised Learning)으로 목적에 맞는 추가 학습을 진행했습니다. (이를 미세조정학습, Fine-tuning이라고 합니다.) 하지만 GPT-2와 3은 이런 추가 학습 과정 없이 맥락 제공만으로 원하는 결과물을 얻어낼 수 있게 됐습니다.

OpenAI는 20년 6월 <Language Models are Few-Shot Learners> 논문을 공개했는데요, GPT-3의 Few-shot에 대한 내용입니다. Few-shot은 사전 학습 이후, 모델에게 훈련에서 보지 못했던 몇몇 예시(Few-shot)를 알려주어 목표한 결과를 제대로 예측할 수 있게 하는 세팅입니다. GPT-3는 이를 위해 주어진 예시의 맥락을 학습합니다. 논문의 저자들은 이 과정을 In-context Learning이라고 부릅니다.

사실 GPT-3 구조는 GPT-2 구조와 크게 다르지 않습니다. 둘 모두 Transformer의 Decoder 부분을 활용하고 있습니다. 하지만 GPT-3이 보다 뛰어난 성능을 보이는 이유는 모델 크기 덕분입니다. GPT-3은 45TB 분량 텍스트 데이터를 1,750억 개 파라미터로 학습하였습니다. GPT-2의 파라미터 개수가 15억 개인 점을 고려하면 엄청난 차이입니다.

GPT-3은 Few-shot을 목표로 학습했지만, One-shot 심지어는 Zero-shot 환경에서도 좋은 성능을 보입니다. One-shot은 예시가 하나인 경우, Zero-shot은 예시가 하나도 없는 경우를 뜻합니다.

위 예시를 보면, Zero-shot의 경우 수행해야 할 작업에 대한 설명만 들어가 있습니다. 한 개의 예시도 주어지지 않습니다.

One-shot은 작업 설명과 예시 하나가 주어집니다. 이런 경우 수행해야 할 작업에 대해 비교적 명확하게 이해할 수 있을 것입니다.

마지막은 Few-shot입니다. 작업 설명과 관련 예시가 2개 이상 포함된 것을 확인할 수 있습니다.

예시가 많을수록 반드시 더 좋은 결과가 나오는 것은 아닙니다. 다만 Zero-shot이 Few-shot에 비해 어려운 과제인 것은 사실입니다. GPT-3는 Zero-shot에서 SOTA를(State-of-the-Art, 현존 최고 성능) 달성했습니다. 이는 One-shot, Few-shot 등 다방면에서의 활용 가능성을 시사합니다.

GPT-3를 기반으로 다양한 질의응답, 문단 요약, 번역, 작문 서비스가 등장하고 있습니다. 이렇듯 GPT-3은 기업이 애용하는 주요 AI 모델로 자리 잡으며 점점 기대감을 높여가고 있습니다.

GPT-4가 나온다는 루머의 루머의 루머...

GPT-3이 공개된 지 2년이 넘은 요즘, GPT-4가 나온다는 소식입니다. GPT-4 공개 시점은 오는 12월부터 내년 초로 예상됩니다.

GPT-4 성능에 대한 기대는 벌써부터 엄청납니다. OpenAI의 CEO 샘 알트만은 트위터에 직접 튜링 테스트를 언급하면서, ‘GPT-4가 튜링 테스트를 통과한 것 아니냐’는 소문이 돕니다. 튜링 테스트 통과는 해당 인공지능이 인간과 구별하기 어려울 정도의 성능을 보여준다는 것을 의미합니다.

그렇다면, GPT-4는 어떤 점이 달라질까요? 한 연구자는 GPT-4를 더욱 거대하고, 희소한, 멀티모달 모델로 예측했습니다. 나아가 최적화를 통해 학습에 드는 비용과 시간 또한 더욱 낮아질 것으로 기대됩니다. 기업들이 AI 상용 서비스 제작에 GPT-4를 더욱 잘 활용할 수 있게 되는 셈입니다.

올해는 뛰어난 성능을 자랑하는 이미지 생성 모델이 화두였습니다. NLP 분야에서는 LLM(Large Language Model)이 속속들이 등장하면서 자연어 생성 능력에 대한 기대감 또한 점점 커지고 있는 상황입니다. 와중에 GPT-4 등장은 게임 체인저가 될듯합니다. 과연 언어 모델의 미래는 어떤 방향으로 발전하게 될까요? 그리고 이런 발전은 우리 삶에 어떤 영향을 미치게 될까요?

AI NETWORKING NIGHT → →

AI 업계 최신 트렌드를 공유하고 서로 끈끈하게 네트워킹하는

SELECTSTAR의 AI NODAJI가 여러분의 열정적인 성원 덕에

다섯번의 열광적인 행사를 치르고 다음을 준비합니다.

회를 거듭할수록 네트워킹의 순도와 점도가 높아지는 AI-NODAJI

여러분의 끊임없는 관심과 참여를 기다리고 있습니다.

다음 AI-NODAJI를 기대해주세요!