AI 모델을 학습시키려면 고품질 데이터는 필수입니다. 하지만 데이터 수집과 레이블링 작업이 만만치 않아 그동안 양질의 데이터를 마련하는 데 막대한 비용이 들었습니다. 물론, 비용을 들이더라도 쉬운 일은 아닙니다.

출처: <Improving Image Generation with Better Captions> (Betker et al., 2023) 

위의 3개의 이미지는 어떻게 설명하면 좋을까요? 사람마다 설명하는 방식이 다를텐데요. 사람을 많이 모집하더라도 기준이나 설명하는 방식이 다르기 때문에 일관된 데이터를 제작하기란 쉬운 일이 아닙니다.

AI가 발전하면서 대체한 작업 중 하나는 바로 이 어노테이션(Annotation) 작업입니다. Text-to-Image 생성 모델은 텍스트로 된 설명, 그리고 관련된 이미지가 짝을 이루고 있어야 합니다. AI가 어노테이션을 하기 위해서는 이미지에 대해 ‘텍스트’로 이해해야 하는데요. 비용을 절감하면서 대량의 텍스트를 확보하기 위해 연구진이 활용한 방법이 있습니다. 바로 웹의 이미지를 수집하면서 그와 관련된 설명인 대체 텍스트(Alt Text)를 같이 수집하는 작업입니다. 하지만 문제가 있습니다. 위의 예시에서 보시다시피 대체 텍스트에 URL, 정체 모를 숫자 등이 포함되어 있는 경우가 있기 때문인데요. 이런 데이터는 오히려 모델에게 악영향을 끼칠 수 있어 차라리 제거하는 편이 좋습니다.

이후에 지속적으로 더 좋은 데이터를 구축하고자 하는 노력이 이어졌습니다. 생성 모델이 실제 서비스에 사용되기 위해서는 사용자의 다양한 요구에 적합한 결과물을 내야 했기 때문입니다. 첫 번째 이미지로 예를 들자면, 과거에는 단순히 ‘나무 마룻 바닥 위 하얀 현대식 욕조’라고 짧게 설명하는 데 불과했다면 이제는 배경, 분위기, 주변 사물들까지 상세하게 설명해야 합니다.

OpenAI의 이미지 생성 모델 DALL·E 3에서는 더 상세한 이미지 캡션(caption)을 생성하면서 학습 데이터 퀄리티를 높였습니다. 이때 짧은 설명과 긴 설명을 같이 생성했는데요. 사용자가 장황하게 설명하지 않더라도 그 맥락에 맞게 대략적인 이미지 생성이 가능하죠. 이후 더욱 상세한 요구를 하면 그에 맞는 이미지 또한 생성 가능합니다.

생성 모델은 최근에 많이 발전했으나 여전히 여지가 많이 남아 있습니다. 영상에서 시간과 동작을 일관되게 유지하거나, 추론 시간을 줄이는 등, 여러 기법들이 추가되어야 하지요. 또한, 창작물의 결과가 ‘AI스럽다’는 인식에서 벗어나지 못하고 있기도 합니다. 이미지 내의 텍스트를 제대로 생성하지 못한다는 취약점도 존재하는데요.

이를 해결하는 건 시간문제로 보입니다. 우리는 불과 2년 사이에 가파른 변화를 겪었습니다. 2년 뒤, 지금 진행되고 있는 생성 모델과 관련된 수많은 연구들이 우리를 어디에 데려다줄지 무척 기대가 됩니다. 🚀

: OpenAI의 언어 모델 'o1-preview'가 2025년 대학수학능력시험 국어 과목에서 97점을 획득했습니다. 'o1-preview'는 2025년 수능 국어 벤치마크 데이터셋을 사용하여 테스트를 수행했는데요. 특히 언어 이해력, 논리적 사고력 등을 평가하는 데 뛰어난 성능을 보였습니다. 

OpenAI, Google에게 웹브라우저 도전장?

: OpenAI가 AI 기반 웹브라우저 개발을 논의 중인 것으로 알려졌습니다. 이 웹브라우저는 시장에서 Google Chrome의 지배력에 도전할 것으로 보입니다. 만약 OpenAI의 웹브라우저가 성공적으로 출시되고 시장에서 자리를 잡게 된다면, Google 검색 엔진에도 상당한 영향을 미칠 것으로 예상되는데요. 이러한 개발 소식은 미 법무부가 Google에 대한 반독점 소송을 진행 중인 시점과 맞물려 더욱 주목을 받고 있습니다. 

삼성전자, 자체 개발한 생성형 AI ‘가우스 2’ 공개

: 삼성전자가 자체 개발한 새로운 생성형 인공지능(AI) 모델 '삼성 가우스2'를 발표했습니다. 이 모델은 지난해 선보인 '가우스1'의 후속작으로, 여러 데이터 타입을 동시에 처리할 수 있는 멀티모달 모델로 성능이 개선되었습니다. 가우스2는 '콤팩트', '밸런스드', '슈프림'의 세 가지 버전으로 제공되며, 각각 온디바이스 환경과 클라우드 기반 대용량 작업에 최적화되어 있습니다. 삼성은 가우스2가 기존 공개형 생성 AI 모델들과 비교해 언어 생성과 코딩 등에서 우수한 성능을 제공한다고 밝혔습니다.