한 장의 이미지에는 수백~수천 단어를 담을 수 있습니다. 이미지 속 텍스트를 토큰 단위로 환산하면 텍스트로 직접 읽는 것보다 훨씬 경제적으로 표현이 가능하지요. 이를 실험하고자 딥시크 연구진은 "1000단어로 된 문서라면, 이를 해독하는 데 몇 개의 비전 토큰이 필요할까?"라는 근본적인 질문을 던졌습니다. 여기서 '비전 토큰'이란 이미지 내 정보 조각을 나타내는 단위를 의미합니다. LLM에서의 단어 토큰이 문장의 기본 단위이듯, 이미지를 작은 패치로 나누어 표현한 한 조각 한 조각이 비전 토큰입니다. 1024×1024 해상도의 문서 이미지를 16×16 크기 패치로 쪼개면 약 4096개의 비전 토큰으로 표현할 수 있지요. DeepSeek-OCR 모델은 특별한 설계를 통해 이 비전 토큰의 수를 크게 줄였는데요. 어떤 구조를 차용했을까요?

이번 모델은 두 부분으로 구성된 시각-언어 모델(VLM)입니다. 앞부분은 이미지를 인코딩하여 비전 토큰 시퀀스로 변환하는 시각 인코더이고, 뒷부분은 이 비전 토큰을 받아 다시 텍스트를 디코딩하는 언어 모델이지요. 전체적으로 하나의 구조로 작동하며, 이미지 입력을 받아 최종 텍스트 출력까지 직접 산출합니다.

DeepSeek-OCR의 구조. 출처: 딥시크

DeepEncoder (딥 인코더)

딥 인코더는 고해상도 이미지를 효율적으로 처리하면서 적은 수의 토큰으로 압축된 표현을 뽑아내도록 설계되었습니다. 내부는 크게 아래 세 단계로 이루어집니다:

1. 세밀히 본다
   메타의 Segment Anything Model(SAM)의 비전 트랜스포머 기반 모듈을 활용합니다. 입력 이미지를 작은 단위로 나누어 세밀한 특징을 포착합니다.
   
   
2. 효율적으로 줄인다
   비전 토큰의 개수를 16분의 1로 다운샘플링합니다. 앞선 토큰이 4096개였다면, 이 과정을 거치면 256개 수준으로 압축되겠지요?
   
   
3. 정보를 합쳐 이해한다
   오픈AI의 CLIP 모델에서 사용하는 비전 트랜스포머를 응용합니다. 앞에서 압축된 토큰들을 전체적으로 한 번 더 확인하며 이미지 전반의 맥락과 의미를 파악합니다.
   
   

위 세 단계 연결 구조를 통해 딥 인코더는 고해상도 입력에서도 활성화 메모리 사용을 억제하고, 출력 토큰 수를 최소화할 수 있었습니다.⚡️

MoE 디코더

DeepSeek-OCR에는 DeepSeek-3B-MoE라는 Mixture-of-Experts (MoE) 구조의 언어 모델 디코더가 자리하고 있습니다. 이름에서 알 수 있듯이 약 30억 개의 파라미터를 가진 모델인데요. MoE란 여러 개의 전문가 모델이 모여있는 형태로, 각 토큰을 처리할 때 모든 전문가를 다 쓰는 대신 입력에 따라 일부 전문가만 활성화하는 방식입니다. 덕분에 모델 규모를 키우면서도 계산 효율을 높일 수 있지요.

MoE 디코더는 비전 인코더가 압축해 낸 정보를 텍스트로 풀어내는 역할을 하는데요. 딥 인코더가 만들어낸 적은 수의 비전 토큰을 입력으로 받아, 그 안에 담긴 내용을 차례대로 문자로 생성해냅니다. 마치 사람이 눈으로 문서를 보고 머릿속에서 글로 해석해내는 과정과 비슷하지요? 게다가 이 디코더는 언어 모델이기 때문에, 필요한 경우 프롬프트를 추가로 받아서 원하는 형식으로 출력할 수도 있습니다.

이제, 실험 결과를 살펴볼 차례입니다. 이번 모델이 자랑하는 대표적인 장점을 볼까요?

시각 압축률에 따른 OCR 정확도

앞서 설명했듯이, DeepSeek-OCR 모델은 긴 텍스트를 대폭 압축된 이미지 토큰만으로 복원해냅니다. 압축률이란 텍스트 토큰 수 대비 비전 토큰 수 비율을 의미하는데요. Fox 벤치마크 결과, 압축률이 약 9~10배일 때 96% 이상의 정확도를 보였고, 10~12배 구간에서도 약 90% 내외를 유지했습니다. 극단적으로 약 20배 가까이 압축했을 때에도 정확도가 60% 수준으로 남아 있어, 정보 손실이 있더라도 의미 있는 복원이 가능함을 보여주었지요.

금융 리포트 내 차트를 구조적으로 파싱한 DeepSeek-OCR의 예시. 출처: 딥시크