작년 11월 ChatGPT가 등장 이후 LLM(Large Language Model) 경쟁이 가속되고 있습니다. OpenAI를 시작으로 Google, Meta, DeepMind뿐 아니라 다양한 오픈 소스 모델도 등장하고 있습니다. 이번 레터에서는 다양한 LLM 모델과 LangChain 애플리케이션을 소개합니다.

먼저 구글(Google)의 인공지능(AI) 챗봇 ‘Bard’입니다. 올해 2월 구글이 Bard를 공개 시연한 직후 주가가 급락하는 사건이 있었습니다. Bard가 과정에서 잘못된 답변을 내놓았기 때문인데요. 그 후 3개월, 구글은 ‘구글 I/O’ 콘퍼런스에서 차세대 LLM ‘PaLM 2’를 공개하며 Bard를 전면 개방했습니다. 챗봇 ‘Bard’의 근간이 되는 파운데이션 모델을 LaMDA 계열에서 PaLM 2로 교체한 겁니다. Bard는 현재 100개 이상의 언어를 지원하며 미국과 한국을 포함한 전세계 180개국에서 사용되고 있습니다.

Bard의 기본 기능은 ChatGPT보다 다양합니다. 최신 정보가 반영된 검색 결과, 사용자의 위치 기반 답변, 이미지 검색 결과 제공 등이 그 예시입니다. 아래는 2023년에 공개된 모델을 알려 달라는 질문에 대한 답변입니다. 결과와 함께 관련된 링크와 썸네일 이미지를 보여주는데요. 안타깝게도 아직 환각(Hallucination) 문제는 완전히 해결되지 않은 것 같습니다. LaMDA는 2022년에 공개된 모델인데, 마치 올해 공개된 것처럼 소개하고 있네요.

하지만 구글은 확고한 1위 검색 포털입니다. 이미 기존 서비스에 다양한 AI 솔루션을 접목하고 있고, AI 학습에 필요한 데이터 수집도 원활합니다. 강력한 인프라와 다양한 서비스, 리서치 조직을 보유한 구글이라 시간이 지날수록 AI 역량은 강력해질 듯합니다.

올해 2월 구글이 Bard를 공개할 때 메타(Meta)는 챗봇이 아닌 언어 모델 LLaMa(라마)를 공개했습니다. LLaMa는 다른 언어 모델에 비해 가볍다는 특징을 가지고 있는데요. LLaMa 중 가장 작은 모델은 70억 개(7B)의 파라미터를 가지고 있습니다. GPT-3의 1750억 개(175B)개의 파라미터와 비교하면 얼마나 가벼운지 짐작해 볼 수 있습니다. 메타는 LLaMa를 소수 연구자를 대상으로 공개지만, 얼마 지나지 않아 모델 소스 코드가 유출되었습니다. 당황한 메타였지만 곧 예상치 못한 일이 벌어졌습니다. LLaMa를 기반으로 파인 튜닝한 오픈 소스 모델이 커뮤니티에 쏟아지면서 큰 화제가 된 겁니다.

위의 코드처럼 프롬프트 템플릿을 미리 만들어 놓는다면 사용자가 별도로 프롬프트 엔지니어링을 할 필요 없이 원하는 답변을 얻을 수 있습니다.

LangChain은 주로 OpenAI에서 제공하는 GPT-3.5 API(’text-davinci-003’)를 이용해 개발합니다. 위와 LLMChain에 모델과 프롬프트를 입력하면 실행했을 때 원하는 결과를 얻을 수 있습니다. LangChain은 챗봇, 질의 응답(QA), 번역, 데이터 분석 등 다양한 작업을 지원합니다. 

특히 자체 데이터 파일을 제공할 수 있다는 점도 LangChain의 주요 특징으로 꼽힙니다. 미리 LangChain에 자체적인 데이터를 입력해두고 그에 맞게 프롬프트를 설정해둔다면 더욱 특화된 서비스를 제공할 수 있을 것입니다.

해외에서는 LangChain을 활용한 다양한 어플리케이션이 공개되고 있습니다. 국내에서도 LangChain 활용 사례가 점점 늘어나고 있습니다. 인공지능을 전문적으로 모르더라도 매력적인 서비스를 개발할 수 있는데요. 흥미로운 분은 LangChain 공식 홈페이지를 참고해보세요!

ChatGPT 공개 이후 6개월 정도가 흘렀습니다. 작년 LLM이 경량화되는 흐름을 보인데 이어, 올해는 이를 본격적으로 활용한 서비스들이 등장하고 있습니다. 우리 삶을 바꿀 만한 자연어 기술들도 속속들이 등장하고 있고요. 남은 하반기에도 하루가 다르게 새로운 기술과 서비스가 나타나는 흐름이 계속될 것으로 보입니다. 그렇다면 컴퓨터 비전의 트렌드는 어떻게 변화하고 있을까요?
*2023년 상반기 AI 트렌드 Part 2. 컴퓨터 비전 편은 '내일' 발송됩니다.