올해 초 삼성의 갤럭시 S24에서 온디바이스 AI를 선보였습니다. 뒤늦게 Apple 역시 생성형 AI를 도입하겠다고 발표했고, 그 첫 번째 결과물이 이번에 공개된 OpenELM입니다.

OpenELM은 Open Efficient Language Model의 준말로 이름에서 알 수 있듯 오픈 소스 모델로 공개됐습니다. 모델의 크기는 약 3B에 불과해 모바일 디바이스에서도 활용이 가능하고, 동급의 타 모델과 비교했을 때 많은 벤치마크 지표에서 최고 성능(SOTA)을 달성했습니다.

OpenELM의 모델 구조의 핵심 아이디어는 **레이어 단위별 스케일링(Layer-wise Scaling)**입니다. ICLR 2021에 발표된 DeLight(Deep and Light-weight Trasnformer) 모델의 아이디어를 적용했습니다(참고로 OpenELM과 DeLight 두 논문 모두 1저자가 Sachin Mehta입니다). 구조를 이해하기 위해 언어 모델의 학습 구조를 가볍게 살펴보겠습니다.

최근 공개되고 있는 많은 언어 모델은 Transformer 기반 구조입니다. 하나의 모델에는 여러 개의 Transformer 레이어가 포함되는데요. 일반적으로는 각 레이어가 동일한 구조로 되어 있고 각 레이어의 파라미터 수도 동일합니다. 하지만 DeLight는 Transformer 레이어마다 파라미터 수를 다르게 할당합니다. 입력층에 가까울수록 적은 파라미터를, 출력층에 가까울수록 많은 파라미터를 할당하죠. 이를 이미지로 표현하면 다음과 같습니다.

출처: DeLight: Deep and Light-weight Transformer(Mehta et al., 2021)

OpenELM에서 언급된 Layer-wise Scaling은 DeLight 논문에서 Block-wise Scaling이라 불립니다. (a) 그림을 살펴보면, Block-wise 파트에 Input에 가까운 레이어보다 Output에 가까울수록 파라미터가 많이 분배되어 있음을 알 수 있습니다. (b)에서는 이를 정량적으로 비교하고 있는데요. 거의 1.5배 가까이 많아지는 것으로 보입니다. 파라미터를 효율적으로 재분배하면 층이 깊어질수록 표현력은(Representation) 개선되고, 연산량은 줄일 수 있는 장점이 있습니다.

Microsoft의 Phi 시리즈는 지난해 6월 처음으로 공개됐습니다. 당시 Textbooks Are All You Need 논문을 통해 훈련 데이터의 중요성을 강조한 바 있는데요. 논문 이름에서 알 수 있듯이, 교과서 수준의 품질(Textbook quality)을 가진 데이터를 기반으로 학습시켰더니 성능이 개선됐다는 것입니다. 

작은 언어 모델인 Phi-3의 돌파구는 데이터 품질입니다. 그동안 모델의 크기를 키워왔던 데는 규모의 법칙(Scaling Laws)이 작용했기 때문인데요. 연구진은 규모의 법칙에 ‘고정된’ 데이터 소스가 활용됐다는 점을 한계로 지적합니다. 데이터 소스에 따라 규모의 법칙은 깨질 수 있다는 것이죠. 일례로, Phi-2(2.7B)를 LLM 기반 필터링을 적용한 데이터로 학습했더니 25배 큰 일반 모델보다도 성능이 뛰어났다고 말합니다.

놀랍게도 Phi-3는 4비트 양자화(4-bits Quantization)를 통해 모바일 디바이스에서도 활용이 가능합니다. 아이폰14의 디바이스 성능만으로 초당 12개의 토큰을 생성할 수 있죠. 또한 한 번에 이해할 수 있는 문맥의 길이가 최대 128K 토큰까지 늘어났습니다. 참고로, 10만 개(100K)의 토큰은 거의 200 페이지의 책 한 권 분량과 같습니다.

출처: Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone(Abdin et al., 2024)

이번 모델에 적용된 전략은 **데이터 최적화 체제(Data Optimal Regime)**입니다. 주어진 스케일에 따라서 학습해야 할 데이터 품질에 집중한 것입니다. 모델의 크기가 작은 경우에는 많은 내용을 훈련시키더라도 그 내용을 모두 이해하는 수용 능력(Capacity)이 부족합니다. 언어 모델의 한계를 인정하고 적은 양의 데이터로 최적의 결과를 얻는 전략이 필요하죠.

언어 모델의 한계를 넘어서기 위해 Microsoft 연구진은 웹 검색 기능을 활용하고자 합니다. 답을 생성하는 데 필요한 정보가 부족한 만큼, 해당 정보는 웹 검색을 통해 얻을 수 있습니다.

왼쪽은 Phi-3-mini가 웹 검색을 하지 않고 생성한 답변, 오른쪽은 웹 검색을 실행한 뒤 생성한 답변.

출처: Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone(Abdin et al., 2024)

연구진은 Phi-3 모델군에서 3.8B에서 7B로 개선폭과 비교했을 때 7B와 14B는 아직 그만한 개선폭을 보이지 못했다며, 계속해서 스케일별로 최적화된 데이터를 찾아나가는 중이라고 밝혔습니다.

Apple은 작은 모델에 최적화된 구조로, Microsoft는 작은 모델에 최적화된 데이터로 학습하는 전략을 세웠습니다.

새롭게 짜여진 경쟁 구도에서 마지막에 웃을 자는 누구일까요? 🏆

: Adobe가 이미지 생성 서비스 ‘파이어플라이 이미지 3’를 공개했습니다. 이전 버전에 비해서 이미지 생성 퀄리티가 향상됐으며, 더 길고 복잡한 프롬프트를 이해해 생성할 수 있다는 것이 특징입니다.

인텔 CEO, 6월 AI Summit 서울서 개최

: Intel이 오는 6월 5일, 서울에서 ‘AI Summit’을 개최합니다. 그리고 이번 AI Summit에 Intel 최고 경영자 펫 겔싱어도 참여합니다. 세계적으로 열리는 행사이지만 최고 경영자가 직접 참여하는 건 드문데요. 이번 행사는 NVIDIA를 견제하려는 움직으로 풀이됩니다. 

iPhone에 ChatGPT를 탑재한다

: Apple이 올해 말 아이폰에 탑재할 새로운 기능을 위해 OpenAI와 논의를 재개합니다. 블룸버그 통신에 따르면, 이미 올해 초 관련 합의를 진행했지만 최소한에 그쳤고 최근 다시 양사의 대화가 시작된 것으로 보인다고 전했습니다. 오는 6월 Apple의 세계 개발자 컨퍼런스 WWDC에서 새로운 서비스를 발표하며 향후 방향성을 엿볼 수 있을 것으로 보입니다.