2023년 상반기 AI 트렌드: NLP편

Bard / LLama / LangChain / LLM

2023. 7. 12.

2023년 7월 2주차 셀렉트스타 뉴스레터

글: Deep daiv. ㅣ 편집: 권혁주

2023년 상반기 AI 트렌드 Part 1. NLP

작년 11월 ChatGPT가 등장 이후 LLM(Large Language Model) 경쟁이 가속되고 있습니다. OpenAI를 시작으로 Google, Meta, DeepMind뿐 아니라 다양한 오픈 소스 모델도 등장하고 있습니다. 이번 레터에서는 다양한 LLM 모델과 LangChain 애플리케이션을 소개합니다.

Point 1. Google 'Bard'

구글 Bard가 2022년 공개된 LaMDA를 2023년 공개 모델로 소개하고 있다.

먼저 구글(Google)의 인공지능(AI) 챗봇 ‘Bard’입니다. 올해 2월 구글이 Bard를 공개 시연한 직후 주가가 급락하는 사건이 있었습니다. Bard가 과정에서 잘못된 답변을 내놓았기 때문인데요. 그 후 3개월, 구글은 ‘구글 I/O’ 콘퍼런스에서 차세대 LLM ‘PaLM 2’를 공개하며 Bard를 전면 개방했습니다. 챗봇 ‘Bard’의 근간이 되는 파운데이션 모델을 LaMDA 계열에서 PaLM 2로 교체한 겁니다. Bard는 현재 100개 이상의 언어를 지원하며 미국과 한국을 포함한 전세계 180개국에서 사용되고 있습니다.

Bard의 기본 기능은 ChatGPT보다 다양합니다. 최신 정보가 반영된 검색 결과, 사용자의 위치 기반 답변, 이미지 검색 결과 제공 등이 그 예시입니다. 아래는 2023년에 공개된 모델을 알려 달라는 질문에 대한 답변입니다. 결과와 함께 관련된 링크와 썸네일 이미지를 보여주는데요. 안타깝게도 아직 환각(Hallucination) 문제는 완전히 해결되지 않은 것 같습니다. LaMDA는 2022년에 공개된 모델인데, 마치 올해 공개된 것처럼 소개하고 있네요.

하지만 구글은 확고한 1위 검색 포털입니다. 이미 기존 서비스에 다양한 AI 솔루션을 접목하고 있고, AI 학습에 필요한 데이터 수집도 원활합니다. 강력한 인프라와 다양한 서비스, 리서치 조직을 보유한 구글이라 시간이 지날수록 AI 역량은 강력해질 듯합니다.

Point 2. Meta 'LLaMa', 다양한 오픈 소스 모델

올해 2월 구글이 Bard를 공개할 때 메타(Meta)는 챗봇이 아닌 언어 모델 LLaMa(라마)를 공개했습니다. LLaMa는 다른 언어 모델에 비해 가볍다는 특징을 가지고 있는데요. LLaMa 중 가장 작은 모델은 70억 개(7B)의 파라미터를 가지고 있습니다. GPT-3의 1750억 개(175B)개의 파라미터와 비교하면 얼마나 가벼운지 짐작해 볼 수 있습니다. 메타는 LLaMa를 소수 연구자를 대상으로 공개지만, 얼마 지나지 않아 모델 소스 코드가 유출되었습니다. 당황한 메타였지만 곧 예상치 못한 일이 벌어졌습니다. LLaMa를 기반으로 파인 튜닝한 오픈 소스 모델이 커뮤니티에 쏟아지면서 큰 화제가 된 겁니다.

특히 스탠포드 대학에서는 LLaMa 공개 뒤 한 달이 지나지 않아 이를 기반으로하는 Alpaca를 공개했습니다. 연구진에 따르면 Alpaca 7B는 GPT-3.5(’text-davinci-003’) 정도의 성능을 가지고 있다고 합니다. 또한 LMSYS Org에서는 Alpaca보다 성능이 더 뛰어난 Vicuna(13B)를 공개했습니다. (라마, 알파카, 비쿠냐 모델 이름은 모두 낙타과 동물에서 따왔습니다 😂)

이에 더해 LLaMa를 모바일 환경에서 구동할 수 있는 모델, 특정 도메인에 특화된 모델 등 다양한 모델들이 쏟아지기도 했습니다. LLM 유출이 오히려 빠른 발전을 불러온 것이죠. LLaMa는 비영리적 활용을 목적으로 공개됐기에, 일찍이 메타는 LLaMa를 이용한 상업 활동을 금지한 바 있습니다.

하지만 그 사이 OpenAI가 ChatGPT 플러그인을 공개하고 GPT-4 버전을 공개하는 등 서비스를 고도화하면서 챗봇 시장을 장악하기 시작했습니다. 위기감을 느낀 것일까요? Meta는 전략을 바꿔 지난 6월, 조만간 상업적 이용이 가능한 언어 모델을 공개하겠다고 밝혔습니다. OpenAI가 ChatGPT의 원리와 모델을 완전히 베일에 감춘 것과는 정반대로 나아가고 있는 것입니다. 새로운 공개 모델을 활용한 다양한 어플리케이션이 개발될 것으로 보입니다. OpenAI가 ChatGPT 플러그인으로 챗봇 버전의 앱 스토어를 구축한다면, Meta는 LLM판 앱 스토어를 구상하고 있는 것일까요

Point 3. NLP 애플리케이션 LangChain

해외에서는 API를 활용해 자체적인 LLM 애플리케이션을 개발할 수 있는 프레임워크 LangChain이 화제입니다. LangChain은 여러 모듈들을 간편하게 연결(Chain)할 수 있도록 도와줍니다.

예를 들어 보겠습니다. 언어 모델 API와 검색 엔진 API를 결합한 다음, 목적에 맞는 프롬프트 템플릿을 설정하면 나만의 LLM 기반 앱을 만들 수 있습니다. 아래는 ‘LangChain’ 홈페이지에 공개된 활용 방법입니다.

위의 코드처럼 프롬프트 템플릿을 미리 만들어 놓는다면 사용자가 별도로 프롬프트 엔지니어링을 할 필요 없이 원하는 답변을 얻을 수 있습니다.

LangChain은 주로 OpenAI에서 제공하는 GPT-3.5 API(’text-davinci-003’)를 이용해 개발합니다. 위와 LLMChain에 모델과 프롬프트를 입력하면 실행했을 때 원하는 결과를 얻을 수 있습니다. LangChain은 챗봇, 질의 응답(QA), 번역, 데이터 분석 등 다양한 작업을 지원합니다.

특히 자체 데이터 파일을 제공할 수 있다는 점도 LangChain의 주요 특징으로 꼽힙니다. 미리 LangChain에 자체적인 데이터를 입력해두고 그에 맞게 프롬프트를 설정해둔다면 더욱 특화된 서비스를 제공할 수 있을 것입니다.

해외에서는 LangChain을 활용한 다양한 어플리케이션이 공개되고 있습니다. 국내에서도 LangChain 활용 사례가 점점 늘어나고 있습니다. 인공지능을 전문적으로 모르더라도 매력적인 서비스를 개발할 수 있는데요. 흥미로운 분은 LangChain 공식 홈페이지를 참고해보세요!

python.langchain.com → →

ChatGPT 공개 이후 6개월 정도가 흘렀습니다. 작년 LLM이 경량화되는 흐름을 보인데 이어, 올해는 이를 본격적으로 활용한 서비스들이 등장하고 있습니다. 우리 삶을 바꿀 만한 자연어 기술들도 속속들이 등장하고 있고요. 남은 하반기에도 하루가 다르게 새로운 기술과 서비스가 나타나는 흐름이 계속될 것으로 보입니다. 그렇다면 컴퓨터 비전의 트렌드는 어떻게 변화하고 있을까요?
*2023년 상반기 AI 트렌드 Part 2. 컴퓨터 비전 편은 '내일' 발송됩니다.