GPT-4가 온다

1. GPT는 무엇인가?

인공지능에 관심 있는 분들이라면 GPT에 대해 한 번쯤 들어보셨을 것입니다. GPT는 2018년 6월 OpenAI가 공개한 언어 처리 모델로, BERT와 더불어 언어 모델의 양대 산맥입니다. BERT가 연구자들 사이에서 다양한 과제의 기초 모델로 활용된다면, GPT는 AI 기업 중심으로 상용 서비스를 제작하는 데 활용되고 있습니다.

OpenAI는 매년 연구를 거듭해가며 새로운 버전의 GPT를 발표하고 있습니다. 2019년 2월엔 GPT-2, 2020년 6월엔 GPT3이 발표됐습니다. 특유의 사람다움으로 유명해진 스캐터랩社의 챗봇 AI ‘이루다’가 바로 GPT-2를 기반으로 만들어졌습니다.

Transformer와 GPT-1

GPT는 Generative Pre-trained Transformer의 줄임말입니다. 그 이름대로 Generative Pre-trained(생성적 사전 학습) 기법을 적용한 Transformer 기반 모델입니다. GPT의 원리를 알아보기 앞서, 그 기반이 된 ‘Transformer’ 모델에 대해 살펴보겠습니다.

Transformer는 2017년 12월 Google Brain 팀에서 기계 번역(Machine Translation)을 위해 제안했던 모델입니다. 그래서 번역하고자 하는 문장을 입력하면 다른 언어의 문장을 출력하는 Encoder-Decoder 구조를 갖습니다.

먼저 문장을 입력하면 Encoder에서 각 단어 토큰 간의 관계를 학습합니다. 이때 어떤 토큰끼리 관련이 있는지(어떤 토큰에 주목하고 있는지) 계산하는 Attention 매커니즘이 활용됩니다.

예를 들어 특정 단어가 자주 같이 등장한다면, 두 단어가 관련이 깊다고 보아 Attention Score는 높아질 것입니다. Attention 연산은 입력 문장 내에서 이루어지므로, 같은 언어 내에서 단어 토큰의 연관성을 계산하는 셈입니다. 그래서 해당 프로세스를 Self-Attention이라고 부릅니다.

한 발 차이 오프사이드, AI 심판은 가려낼 수 있다

오프사이드 논란 종결! 피파가 각잡고 개발한 AI심판

2022년 카타르 월드컵이 시작되었습니다. 최근 스포츠에도 AI가 적극적으로 도입되고 있는데요, 국제축구연맹 FIFA가 MIT, 취리히 공과대학과 3년 동안 개발한 AI 기술이 개막전에서부터 빛을 발했습니다. 해설위원들조차도 정확하게 파악하지 못한 오프사이드 시비를 빠르고 정확하게 파악했습니다

CES 2023에서 혁신상 수상한 국내 기관들

SKT·딥브레인AI·카이스트 등 CES 2023 혁신상 수상

SKT, 딥브레인AI, 카이스트 등 국내 산학이 CES에서 혁신상을 수상했습니다.

SKT는 동물과 시각장애인을 위한 AI 서비스, 딥브레인AI는 AI 추모 서비스 등을 개발하였습니다

KT, 초거대 AI ‘믿음’ 공개

구현모 KT 대표, 초거대 AI '믿음' 공개... "韓 디지털전환 앞당길 것"

국내 통신사가 AI 개발에 투자를 아끼지 않고 있습니다. 구현모 KT 대표는 초거대 AI ‘믿음’을 공개하면서 AI 인프라에 대한 중요성을 강조했습니다. KT는 AI를 어떻게 활용하고 있을까요

옛날 방송 자료 화면 찾는 AI 기술

방송국이 30년 전 영상 3초만에 찾을 수 있는 이유 / 오목교 전자상가 EP.114

방송국에서 옛 자료화면을 찾을 때마다 저렇게 오래된 자료를 어떻게 찾아오는지 궁금하셨나요? SBS에서 AI 기술을 활용하여 인물의 과거 모습을 검색하거나, 비슷한 장면을 찾는 시스템을 도입했다고 합니다. 그 원리를 한 번 살펴보세요