📰 '달리 3'과 'GPT - 4V(ision)' 공개

DALL·E 3 / GPT - 4V(ision) / Gobi / Gemini

2023. 9. 27.

2023년 9월 4주차 셀렉트스타 뉴스레터

글: 권혁주 ㅣ 검수: 정인영

보고 듣고 말하는 GPT-4V(ision)

프롬프트: 성운의 폭발로 묘사된 농구선수의 덩크슛을 표현한 유화

달리2: 왼쪽 / 달리3: 오른쪽. 출처. 오픈AI 블로그.

지난 20일과 25일 오픈AI에서 이미지 생성 AI '달리 3(DALL·E 3)'와 보고 듣고 말하는 'GPT-4V(ision)'을 연이어 공개했습니다. 달리 3과 GPT-4V 서비스는 모두 10월 중 ChatGPT Plus 및 Enterprise 고객을 대상으로 제공될 예정입니다.

이제 ChatGPT와 대화하며 이미지를 주고 받을 수 있고, 음성으로 문답을 이어나갈 수 있게 됐습니다. 음성 기능은 모바일(iOS 및 Android) 환경에서 제공되며 이미지 기능은 앱·웹 모든 플랫폼에서 사용할 수 있습니다.

*달리 3으로 생성한 이미지는 사용자가 상업적으로 자유롭게 활용할 수 있습니다!

AI가 가져올 위협과 다양한 관점들

이미지.오픈 AI 블로그.

공개된 GPT-4V(ision) System Card에서 흥미로운 점은 GPT-4V 훈련이 이미 2022년에 완료됐다는 점입니다. 이전에 공개된 GPT-4 또한 훈련을 마친 뒤 충분한 시간을 가지고 공개된 점을 고려하면, 아직 알려지지 않은 오픈AI의 다양한 기술과 모델이 더욱 궁금해 집니다. (최근에는 곧 나올 구글 Gemini에 대항하기 위한 차세대 언어 모델 'Gobi'를 준비하고 있다는 소식이 들려옵니다.)

GPT-4V 시스템 카드에서 설명하는 훈련 과정은 기술적 배경이 되는 GPT-4의 훈련 과정과 동일했습니다.

사전 훈련 단계에서는 대규모 인터넷 텍스트와 이미지, 그리고 라이선스가 부여된 데이터 소스를 사용하여 문서에서 다음 단어를 예측하도록 했습니다. 그 후 인간 피드백 강화 학습(RLHF, Reinforced Learning from Human Feedback)을 통해 인간 트레이너가 선호하는 출력을 생성하도록 했습니다.

학습을 마친 뒤 올해 초 OpenAI는 GPT-4V 안전성을 높이기 위해 Be My Eyes를 포함한 다양한 알파 사용자 그룹에 접근 권한을 부여했습니다. Be My Eyes는 시각 장애인을 위한 도구를 개발하는 조직입니다.

Be My Eyes는 2023년 3월부터 8월 초까지 약 200명 규모 테스터 그룹과 함께 제품의 안전성과 사용자 경험을 더욱 세밀하게 조정했습니다. 9월에는 베타 테스트 그룹 규모가 약 16,000명(시각 장애 및 저시력자)로 늘어났습니다.

그림 2. 안전성 조정 과정에서의 프롬프트 응답 거부율 변화.
자료. GPT-4V System Card.

테스트를 마친 뒤 연구진은 GPT-4V 모델 공개 전 정성적 평가와 정량적 평가를 함께 진행했습니다. 정성 평가는 내부 스트레스 테스트와 외부 레드팀(외부에서 프롬프트 입력 등으로 시스템 취약점을 발견하는 역할)으로 구성되었고, 정량 평가로는 모델 거부율과 성능 정확도를 측정했습니다.

이중 모델 거부율은 본인 확인 요청, 불법 행위, 민감 정보 등 모델이 위험한 질문에 대해 답변을 거부하는 비율을 나타내는 지표입니다. 연구진은 "추가 안전 훈련 데이터, 거절 시스템을 통해 내부 목표인 100% 거부율을 달성할 수 있게 됐다"며 긍정적인 코멘트를 달았습니다.

다만 레딧을 중심으로 일부 커뮤니티에서는 '100% 거부율'에 대한 의문과 우려의 목소리도 나오고 있습니다.

'(모델은) 지나치게 신중할 것입니다. 거부된 안전 요청 비율을 옆에 함께 표시해야 합니다.'

'오픈소스 AI가 필요한 이유다. 아마도 최악의 미래 중 하나는 OpenAI의 CEO만이 허용되는 것과 허용되지 않는 것을 결정하는 경우다.'

'제작자의 변덕에 따라 LLM을 더욱 제한하는 것을 축하해야 할까요?'

결국 모델이 얼마나 똑똑하고, 엄격하고, 개방적인지는 직접 써봐야 알 수 있겠습니다. 오픈AI가 이러한 사용자 피드백을 받아 들여 안전성이나 일부 출력에 대한 필터 기능을 별도로 제공할지도 흥미로운 부분입니다. 새로운 기능을 써보기 위해 연휴 동안 핸드폰과 인터넷을 수시로 확인해야 겠습니다 :)

9월 4주 AI 뉴스 클리핑

함께 읽고 싶은 아티클 모음

AI의 2000억 달러짜리 질문 l 세콰이아캐피탈 스토리
GPU 용량이 과도하게 구축되고 있습니다. 장기적으로는 좋습니다만, 단기적으로는 모호합니다. 현재 AI가 창출하는 가치는 그를 위한 GPU 자원 비용을 넘어설 수 있을까요? 이는 2000억 달러 규모의 질문입니다.

구글 ‘제미니’ 의식했나…오픈AI, 챗GPT ‘눈·귀’ 달았다 I 서울경제

구글이 칼을 갈고 고도화 중인 차세대 LLM ‘제미니(Gemini)’가 멀티모달 기능에 중점을 두고 있다는 소식이 전해지고 있습니다. 제미니는 현재 일부 기업에 초기 버전이 제공됐으며 곧 일반 대상 출시가 임박한 것으로 보입니다.

아마존, 앤트로픽에 최대 5조4000억 투자 l AI타임스
아마존이 오픈AI의 경쟁사 앤트로픽에 최대 40억달러(약 5조4000억원)를 투자했습니다. 앤트로픽의 ‘클로드’를 ‘아마존 베드록(Amazon Bedrock)’에 탑재하고, 차세대 LLM에 대한 접근권과 AI 모델 미세조정 기능 등을 확보했다고 합니다.