📰 한국도 미국도 '초거대 AI' 검·인증

초거대 AI / 바이든 / FLOPs / 파라미터

2023. 10. 31.

2023년 11월 1주차 셀렉트스타 뉴스레터

글: 권혁주 ㅣ 검수: 정인영

📰 한국도 미국도, 초거대 AI 검·인증

10월 30일 발표된 백악관 AI 위험 예방 행정 명령(Executive Order)

이번 주 월요일 조 바이든 美 대통령이 인공지능(AI) 기술 위험 예방을 위한 행정 명령에 서명했습니다. 총 13개 섹션으로 구성된 행정명령은 고용, 외교, 의료, 사법, 행정 등 다양한 분야를 망라합니다. 그간 유럽에 비해 AI 개발과 활용에 관대했던 미국이 이제는 세계 표준을 선도하려 한다는 평가가 나옵니다.

행정 명령은 대통령 임기 내 입법과 비슷한 효력을 지니며 연방 부처는 행정 명령을 근거로 법규와 규칙을 제정할 수 있습니다. AI가 가져올 위험과 규제 동향에 대해서는 9월 3주 뉴스레터(빅테크 CEO 집결, AI규제와 머스크의 xAI)에서 살펴봤는데요,

이번 행정 명령은 그동안 진행된 美 의회 AI 청문회 포럼의 결과이며 주목할 점은 대규모 언어 모델 학습과 보유에 대한 정부의 관리·감독입니다.

*행정 명령 전문 링크

Sec 4. Ensuring the Safety and Security of AI Technology.

Section 4.2 Ensuring Safe and Reliable AI.

이제 사회에 큰 영향을 끼칠 수 있을만큼 똑똑한 인공지능을 개발하거나, 개발할 계획이 있는 기업은 관련 정보, 보고서 또는 기록(information, reports, records)을 제출해야 합니다.

기준은 모델 학습에 활용된 컴퓨팅 파워입니다. 모델 학습에 필요한 연산량이 1e26(10의 26제곱) 플롭스을 초과하면 제출 대상입니다. 통상 플롭스(FLOPs) 수는 파라미터 개수와 훈련 데이터 규모 등에 비례해 늘어납니다.

아직까지 공개된 모델 중 훈련 플롭수 수가 1e26을 넘는 모델은 없습니다. 5,400억 개 파라미터로 7,800억 개 토큰을 학습한 구글 ‘PaLM’의 훈련(train) 플롭스 수가 2.56x10e24이며, OWID(Our World In Data) 자료에 따르면 GPT-4 훈련 플롭 수는 2.1x10e25 입니다. 이보다 약 5배 높은 훈련 기준을 넘는 모델은 어떤 모델인지, 어느 정도의 성능을 보일지 우리는 아직 모릅니다.

https://perma.cc/59K8-WXQA.
링크 내 Chart를 통해 모델 훈련 플롭스 수를 확인할 수 있습니다.

다만 1e26이라는 숫자는 오픈AI가 7월 구글 딥마인드, 미 정부 소속 연구원들과 함께 발표한 연구(프론티어 AI 규제: 공공 안전을 위한 신흥 위험 관리, Frontier AI regulation: Managing emerging risks to public safety)에 등장하는 숫자입니다.

해당 논문에서 연구진은 대규모 피해를 일으킬 가능성이 있는 ‘큰 모델’의 기준으로 1e26을 언급하고 있습니다. 현재 진행 중인 AI 위험 대응 논의에 빅테크와 백악관이 얼마나 긴밀한지 알 수 있는 대목입니다.

"Perhaps more than any model that has been trained to date. Estimates suggest that 1E26 floating point operations (FLOP) would meet this criter
(아마도 지금까지 훈련된 어떤 모델보다도 더 많은 양의 계산이 필요합니다. 추정치에 따르면, 1E26 (10의 26승) 플로팅 포인트 연산(FLOP)이 이 기준을 충족시키기에 충분한 것 같습니다)"

Example frontier AI lifecycle. 7월 연구에서 제안된 규제 체계 도식.

자료. Frontier AI regulation: Managing emerging risks to public safety

국내에서도 초거대 AI 모델을 대상으로한 검·인증 체계가 마련되기 시작했습니다. 이는 지난주 수요일(25일) 열린 ‘제4차 AI 최고위 전략대화’의 골자입니다.

인증 대상은 자발적으로 신뢰성을 확보하려는 고위험 영역 AI(에너지, 의료, 생체정보, 채용 등)이며, 한국정보통신기술협회(TTA)에서 시험 실시 후 적합 판정 시 인증서가 발급됩니다. 관련 기사에 따르면 외형상 민간 자율 인증이지만 과기정통부가 적극 지원하고 있어 다른 민간 인증과 큰 차이가 있습니다.

해당 사업은 올해 시범 인증을 거쳐 내년 본격화할 예정입니다. 셀렉트스타 역시 한국어 언어 모델 신뢰성 벤치마크 데이터를 구축하는 동시에, 모델 검·인증 활동에 함께할 예정입니다 :)

11월 1주 뉴스 & 논문 클리핑

자료. CODEFUSION: A Pre-trained Diffusion Model for Code Generation

튜닙·숭실대, 혐오 발언 데이터셋 연구 EMNLP 논문 승인 ㅣ 이데일리

자연어처리(NLP) 기반 AI 스타트업 튜닙과 숭실대 공동 연구팀이 작성한 논문이 자연어처리 분야 최고 저명 학술대회 EMNLP 2023 Findings 에 게재된다. (...) 해당 데이터셋은 셀렉트스타 ‘데이터셋 지원 사업’을 통해 구축됐다. 오는 12월 논문 출판 이후 오픈데이터셋 홈페이지를 통해 공개될 예정이다.

정부 지원 민간 AI신뢰성 인증 12월 첫 나온다 ㅣ 지디넷코리아

정부가 지원하는 민간 자율 인공지능(AI) 신뢰성 인증서가 오는 12월 국내서 처음 등장할 전망이다. 한국정보통신기술협회(TTA, 회장 손승현)가 평가해 수여하는 것으로 외형상 민간 자율 인증이지만 과기정통부가 적극 지원하고 있어 다른 민간 인증과 큰 차이가 있다.

GPT-3.5-turbo는 20B 파라미터 모델 l Microsoft Research

CodeFusion: A Pre-trained Diffusion Model for Code Generation 논문 저자들은 디퓨전 모델을 연구하면서 GPT-3.5-turbo(ChatGPT의 기반이 되는 모델)는 20B 파라미터 모델이라고 적었습니다(위 이미지 참조). GPT 3.5 기본 모델의 파라미터 개수는 175B 입니다. 해외 사용자들은 OpenAI 기술력에 놀란 반응입니다.