💾 초거대 AI, 학습 비용은 얼마?

LLM / 사전학습 / FLOPs / GPU Hours

2023. 8. 9.

2023년 8월 2주차 셀렉트스타 뉴스레터

글: 권혁주 ㅣ 검수: 정인영

초거대 AI, 학습 비용은 얼마

'AI는 새로운 전기'라고 강조하는 앤드류 응 스탠포드대 교수. 이미지. CB Insights.

많은 연사들이 오늘날 AI를 전기와 같은 인프라에 빗대어 설명합니다. 현재 AI 기술은 마치 네이버와 쿠팡의 배송 서비스처럼 초기 구축엔 막대한 비용이 들지만 많이 활용될수록 평균 생산 단가는 낮아지는 구조입니다.

이는 정확히 말하면 AI 중에서도 ‘초거대 AI’ ‘파운데이션 모델’에 대한 설명인데요, 현재 생성 AI 열풍의 골자 또한 ‘수많은 파라미터를 가진 초거대 모델을 대규모 데이터로 사전 학습시키면 파인 튜닝 등을 통해 전문 분야에도 쉽게 활용할 수있다’는 내용으로 요약됩니다.

이처럼 잘 만든 파운데이션 모델은 어떤 산업 분야에도 적용될 수 있는 가능성을 가지고 있습니다. 하지만 만들기 비싸죠. 아직까지 우리에게 가장 친숙한 파운데이션 모델은 마이크로소프트로부터 10조 이상 투자를 받은 OPEN AI의 GPT와 구글의 PaLM 시리즈 정도입니다.

초거대 AI, LLM을 학습 시키는 데는 돈이 얼마나 드는걸까요? 결론부터 말하면 '어떤 GPU 인스턴스를 얼마나 오래 사용했는지' 파악하면 비용을 간단히 계산해 볼 수 있습니다. 다만 이번 레터에서는 모델 학습과 연산량, GPU와 관련된 개념들을 소개하며 어떤 요소들을 함께 고려해야 하는지 천천히 살펴보겠습니다 :)

적절한 파라미터를 찾기 위한 무수한 연산 반복

주요 모델별 학습 연산량(단위, petaFLOP)

Our World in Data, Computation used to train notable artificial intelligence systems

먼저 AI ‘학습’에 얼마나 많은 연산이 필요한지 따져봐야 합니다. 학습이란 AI 모델이 적절한 파라미터 값을 찾는 과정인데요, (파라미터는 모델이 입력받은 정보를 어떻게 처리할지 결정하는 역할을 합니다) 학습을 통해 AI는 파라미터에 숫자를 일일이 대입하고 계산하면서, 정답과 오차를 줄여나갑니다. 이는 무수한 연산을 반복하는 과정이며 연산 횟수가 늘어남에 따라 학습에는 더 많은 컴퓨팅 자원이 필요합니다.

연산 횟수를 측정하는 단위로는 보통 FLOPs(FLoating point OPerations)가 활용됩니다. *FLOPs는 FLOPS와 다릅니다. 모두 대문자로 된 FLOPS는 “FLoating point OPerations per Second"의 약어로, 하드웨어 계산 속도를 나타내는 단위입니다. 그렇기에 어떤 문서에서는 AI 학습에 대한 연산 횟수를 나타날 때 "FLOPs" 대신 "FLOP"이라는 표현을 사용하기도 합니다

'PaLM: Scaling Language Modeling with Pathways' Google Research. 22.04

모델 파라미터 개수에 따른 사전 학습 FLOPs 량.

모델 학습에 필요한 FLOPs 수는 모델 구조와 파라미터 개수, 학습 데이터 규모 및 에포크 수(epoch, 데이터셋을 반복 학습하는 횟수) 등에 따라 달라집니다. 더 많은 파라미터를, 더 많은 데이터로, 더 많이 반복하여 학습할수록 연산 횟수가 증가하는 구조입니다.

일례로 구글이 파라미터가 각각 80억 개와 5,400억 개인 PaLM 모델을 7,800억 개 토큰으로 학습시켰을 때 FLOPs 수는 각각 4.29×10^22과 2.56×10^24 입니다. 10의 8제곱이 '억', 12제곱이 '조'임을 생각해보면 정말 큰 수라고 느껴지네요. 두 모델의 FLOPs 수는 대략 파라미터 규모만큼인 약 60배 차이가 납니다.

파라미터 개수와 학습 데이터 규모에 따른 학습 및 추론 FLOPs량

자료. a16z enterprise.

GPU Hours와 MFU, 양자화

GPU 모델에 따른 시간당 가격. A100 80GB 기준 시간당 2달러가 조금 넘는다.

자료. coreweave. gpu-cloud-pricing.

이만한 연산을 수행할 수 있는 컴퓨팅 자원을 가진 기업은 소수입니다. 대부분 기업에서는 로컬 하드웨어나 데이터 센터가 아닌 Amazon Web Services(AWS), Microsoft Azure 등 서드파티 클라우드 컴퓨팅을 통해 컴퓨팅 자원을 마련하고 있습니다. 초기 투자 비용을 절감하고, 필요에 따라 규모를 조정할 수 있으며, 유지 관리 부담을 줄일 수 있기 때문입니다. 이러한 클라우드 서비스의 과금 구조는 사용한 만큼 돈을 내는 정량제입니다.

여기서 과금 단위는 FLOPs가 아닌 ‘GPU hours’ ‘GPU days’ 입니다. 어떤 GPU 인스턴스를 얼마나 오래 사용했는지를 표현하는 수치인데요, 앞서 계산한 FLOPs 값에 기반해 대략적인 GPU hours를 추정할 수도 있지만 더 정확한 조사를 위해서는 Model FLOPS Utilization(MFU) 개념과 모델의 파라미터 규모를 따져봐야 합니다.

'PaLM: Scaling Language Modeling with Pathways' Google Research. 22.04

먼저 'Model FLOPS Utilization' 개념은 모델이 학습 시 GPU 성능을 얼마나 잘 활용하고 있는지 나타내는 비율 지표입니다. MFU가 높을수록 하드웨어 연산 시간은 줄고, 비용은 감소합니다. 구글 PaLM 모델 사전 학습 시 MFU는 46.2%를 기록했지만, 일반적으로 MFU는 50% 미만입니다.

다음으로 파라미터 개수는 GPU 메모리 종류를 결정하는 데 반영됩니다. 일반적으로 더 많은 파라미터를 가진 모델일수록 학습에 더 큰 메모리를 가진 고가의 GPU가 사용됩니다. 하지만 가장 메모리가 큰 칩을 활용하더라도 모든 파라미터를 하나의 GPU에 로드할 수는 없습니다.

그래서 대규모 AI 학습에는 병렬 및 분산 컴퓨팅, 양자화 기술들이 활용됩니다. 큰 모델은 여러 기기에 분산될 수 있어야 하며, 여기서부터는 컴퓨팅을 설계하는 엔지니어링의 영역입니다.

양자화와 컴퓨팅 주제를 더욱 살펴보고 싶은 분께는 허깅페이스 블로그 ‘Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU’를 추천드립니다 :)

사전 학습에 비해 많이 저렴한 파인 튜닝

Benchmarking Large Language Models on NVIDIA H100 GPUs with CoreWeave

자료. Mosaic ML.

이제 지금까지의 설명을 기반으로 위 표를 이해해 볼 수 있습니다. 상업적으로 활용가능한 오픈소스 LLM ‘MPT’로 유명한 Mosaic ML 자료입니다. 표는 70억 개의 파라미터를 가진 7B MosaicGPT모델을 1,340억 개 토큰에 대해 학습시켰을 때 드는 대략적인 비용을 나타냅니다.

만약 학습에 NVIDIA A100을 활용하면 필요한 GPU Hours는 1만 1,462시간이며 이를 금액으로 환산하면 약 2만 5,300달러(한화 약 3,340만 원)가 됩니다. A100보다 성능이 높은 H100을 활용하면 GPU Hours와 비용이 함께 줄어듭니다. 표에서 fp8과 bf16은 모델을 압축하는 양자화 방식을 의미합니다.

'Llama 2: Open Foundation and Fine-Tuned Chat Models' Meta, 23.07.

최근 공개된 Meta AI의 Llama 2의 모델 카드도 살펴보겠습니다. 70B 모델 사전 학습에 A100-80GB 기준 172만 GPU Hour가 소요된 걸 알 수 있습니다. 앞서 살펴본 7B MosaicGPT의 100배 이상입니다. 그만큼 더 많은 파라미터를 방대한 데이터로, 정교하게 학습시켰다는 의미로 해석됩니다. 단순 환산 GPU 비용만 350만 달러(한화 약 46억 원)가 넘어가네요.

-단, 메타는 Llama 2 사전 학습을 자체 슈퍼컴퓨터에서 진행햇습니다.

"We used custom training libraries, Meta’s Research Super Cluster, and production clusters for pretraining. Fine-tuning, annotation, and evaluation were also performed on third-party cloud compute" Llama 2: Open Foundation and Fine-Tuned Chat Models

이와 달리 파인 튜닝에는 훨씬 적은 비용이 듭니다. 스탠포드 대학에서는 이전 버전인 Llama 7B 모델을 "Alpaca 7B로 파인 튜닝하는 데 8개의 80GB A100에서 3시간이 걸렸다"고 했는데요. 대부분의 클라우드 컴퓨팅 서비스에서 그 가격은 100달러 미만입니다.

보통 파인 튜닝 단계에서는 학습에 활용하는 데이터 규모도 작고, 모든 파라미터를 학습시키지도 않기 때문입니다. 왜 대부분 기업들이 모델을 직접 개발하지 않고, 파인 튜닝하거나 API를 활용하는 지 알 수 있는 대목입니다. 요즘에는 기술 주권과 국가경쟁력 관점에서 초거대 AI 육성을 강조하는 기사들도 심심치 않게 보여서, 개인적으로 재밌게 흥미롭게 읽고 있습니다 :)

이번 레터는 여기까지입니다. 읽어주셔서 감사합니다!