지난달 공개된 <CogAgent: A Visual Language Model for GUI Agents>는 논문 제목 그대로 GUI(Graphical User Interface)를 위한 VLM입니다. GUI는 스마트폰이나 PC 화면에 보이는 모든 그래픽 요소로서 컴퓨터와 상호작용할 수 있는 요소들이 여기에 해당합니다. 

인간의 작업을 도와주는 모델이 이번이 처음은 아닙니다. 2023년, AutoGPT 모델은 ‘알아서’ 원하는 작업을 수행할 수 있도록 도와준다고 하여 유명세를 탔습니다. 하지만 이는 모두 텍스트 데이터의 정보를 기반으로 탐색한 결과입니다. 시각적 정보인 아이콘, 이미지, 다이어그램 등은 단어의 형태로 직접 전달하기 어려운 경우가 있습니다. 반면 CogAgent는 시각적 정보까지 이해하고, 화면 상의 정확한 좌표로 나타내며 해야 할 작업에 가이드를 제공한다는 장점을 갖습니다.

GUI를 이해한다는 것은 인간 중심적인 관점입니다. 초기 컴퓨터처럼 어두운 화면에 코드를 입력하여 원하는 프로그램을 실행시키는 CLI(Command Line Interface)와 같은 상호작용 방식은 컴퓨터를 사용하는 데 큰 장벽이 됩니다. GUI는 그런 어려움을 극복할 수 있는 대안으로서 제시된 인터페이스입니다. 에이전트가 GUI를 이해할 수 있다면 인간을 더 많이 도와줄 수 있을 것입니다. 아래의 예시를 보겠습니다.

사용자가 구글의 첫 화면을 켜고 CogAgent에게 다음과 같은 요청을 내립니다.

그러면 CogAgent는 검색창을 가리키며 ‘CVPR 2023 최우수 논문’을 입력하고, Enter 키를 누르고, 적절한 정보를 가리키고, 원하는 정보에 접근할 수 있도록 알려줍니다. 마치 사람이 검색하는 과정과 유사해보이지 않나요? 마찬가지로 스마트폰의 화면도 이해할 수 있습니다.

위의 이미지처럼 스마트폰을 보고 라이트 모드로 바꾸거나, 좋아요를 많이 받은 이유에 대해서 설명하거나, 원하는 시간에 맞춰 길찾기할 수 있는 정보도 찾아줍니다.

그렇다면 어떻게 GUI를 이해할 수 있는 VLM을 개발했을까요? 연구진은 자체적으로 개발한 CogVLM-17B를 기반으로 GUI를 이해할 수 있도록 학습시켜 CogAgent를 개발했습니다.

웹 화면의 스크린샷의 크기는 결코 작지 않고, 그 안에는 많은 버튼, 입력창 등 다양한 GUI 요소들이 포함되어 있습니다. 스크린샷의 크기를 임의로 작게 만들었다가는 GUI 요소들을 이해하지 못할 수 있습니다. 따라서 GUI를 이해하기 위해서는 고해상도의 이미지를 인식하는 모델이 필요합니다. 이를 위해 연구진은 CogVLM에 고해상도 이미지를 이해할 수 있는 모델을 덧붙였습니다.

: 미국 현지 시간으로 1월 9일, 세계 최대 가전 박람회 CES 2024가 개최됩니다. 지난해 AI가 큰 화두였던 만큼 올해에는 AI 기능이 추가된 가전 / 전자 제품들이 많이 출시됐습니다. 

'GPT 스토어' 오픈...맞춤형 AI 챗봇 사고판다

: ChatGPT를 개발한 OpenAI가 GPT 스토어를 열었습니다. 지난해 11월, OpenAI의 DevDay에서 GPTs 서비스를 공개했는데요. 덕분에 AI를 몰라도 이제 누구나 프롬프트를 입력하여 특정한 목적을 수행하는 GPT를 개발할 수 있게 됐습니다. 

From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations

: Meta에서 대화를 기반으로 실제 사람들이 얘기하는 것과 같은 영상을 생성하는 AI 기술을 공개했습니다. 모델이 생성한 아바타는 대화 소리만 듣고 입모양을 생성하는 기술을 넘어서 이제 자연스럽게 몸 동작과 제스처를 취하기까지 하는데요. 다각도에서 촬영한 대화 장면 데이터셋을 기반으로 학습했고, 코드와 데이터셋 모두 공개한다고 밝혔습니다.