VALL-E Speaks

Text to Speach 2.0

출처: Neural Codec Language Models are Zero-Shot TTS Synthesizers (Wang, 2023)

음성 데이터는 주로 Mel-Spectrogram으로 변환하여 활용하지만 VALL-E는 텍스트와 목소리를 입력 받아 디코더 단계에서 오디오 파일(Waveform)로 변환할 수 있는 이산적인 오디오 코덱 코드(Discrete Audio Codec Code)를 생성해냅니다. 그 과정을 조금 더 자세히 들여다 보겠습니다.

우선 입력된 텍스트 데이터를 음소(Phoneme)로 변환해야 합니다. 음소는 분별할 수 있는 소리의 최소 단위입니다. ‘오늘 날이 참 좋다’라는 문장을 소리나는 대로 적는다면 [오늘 나리 참 조타]라고 쓸 수 있습니다. 텍스트를 음소로 변환하는 이유는 실제로 우리가 발화할 때는 문자 그대로가 아닌, 문자를 해석하여 규칙에 맞는 발음법으로 소리 내기 때문입니다. 우리말의 음소는 자음과 모음이 이에 해당하고, 영어는 알파벳뿐만 아니라 ‘ai’, ‘ee’, ‘ear’ 등을 포함하여 총 44개라고 알려져 있습니다. (음소를 분류하는 기준은 학자마자 다릅니다.)

다음으로는 음성 프롬프트를 사전 학습된 뉴럴 코덱 모델로 인코딩하여 이산적인 음성 코드로 변환합니다. 인코딩하는 이유는 음성 파일을 압축하기 위해서입니다. 이 과정을 Speech Quantization이라고 하는데 직역하면 음성 양자화입니다. 양자화는 단절없이 연속된 변화량을 디지털 데이터, 즉 띄엄띄엄한 값으로 표현하는 작업을 뜻합니다. 적절한 양자화는 데이터를 관리·저장·연산하는 데 큰 도움이 됩니다.

VALL-E 연구진은 양자화에 구글의 AudioLM에서 활용한 SoundStream 뉴럴 코덱을 활용하였습니다. (구글?)

한 번도 학습한 적 없는 음성 데이터로 TTS를 구현하려면 새로운 방법이 필요합니다. 이를 위해 VALL-E는 Zero-Shot TTS를 조건화된 코덱 언어 모델링 작업으로 간주합니다. 많은 발전을 거쳐 상향 평준화된 기존 언어 모델의 방법론을 TTS 모델에 접목시키는 게 핵심입니다(ChatGPT에 활용된 생성형 언어 모델 GPT만 보아도 성능이 얼마나 뛰어난지 가늠할 수 있습니다). TTS 모델을 언어 모델로 가정하고, 음소 시퀀스와 음성 코덱 코드가 입력(조건화)되었을 때 자연스러운 음성이 생성될 수 있도록 예측합니다.

TTS 모델의 어느 부분이 언어 모델과 접목될 수 있는지 잘 모르겠다고요? 먼저 언어 모델은 통계, 그중에서도 조건부 확률로 생각해 볼 수 있습니다. 예를 들어 여기 ’난’과 ‘너를’이라는 단어 묶음이 있습니다. 다음에 어떤 단어가 나올까요? ‘사랑해’를 생각했다면 우리의 사고가 조건화돼 있다고 볼 수 있습니다. 확률적으로 표현한다면 P(’사랑해’(사건) | ‘난’, ‘너를’(조건)) 의 값이 다른 값들보다 크다고 할 수 있습니다. VALL-E 또한 P(생성된 음성(C) | 음소 시퀀스(x), 입력된 음성(C*)) 을 최대화하도록 최적화합니다. 이 과정에서 음소 시퀀스와 입력된 음성의 특징을 추출하여 음성 생성 방법을 학습하는 것입니다.

출처: Neural Codec Language Models are Zero-Shot TTS Synthesizers (Wang, 2023)

VALL-E 학습에는 Transformer의 디코더를 기반으로 AR(Autoregressive, 자기 회귀)과 NAR(Non-Autoregressive, 비-자기 회귀) 방식을 혼용하였습니다. 입력된 음성을 양자화하여 인코딩하고, 이 코덱 행렬의 ‘가장 첫 번째 열’만 AR 모델로 학습합니다. AR 모델은 이전 생성된 출력값을 다시 입력값으로 활용하기 때문에 다른 모델에 비해 생성 성능이 뛰어납니다. 하지만 이렇게 학습할 경우 추론 과정에서 속도가 느려질 수 있는데요. 이를 방지하고자 코덱의 나머지 부분은 NAR 방식으로 학습합니다.

작년 이맘 때쯤, 다큐 3일의 ‘낭만 어부’의 일화가 재조명된 적이 있습니다. 거친 목소리로 선상에서 읊는 시는 정말 험난한 삶의 낭만처럼 느껴졌습니다. 그 낭만 어부는 좋아하는 시 중 하나인 이형기 시인의 ‘낙화’를 외우셨는데 아쉽게도 방송사의 편집 때문에 시의 일부 밖에 듣지 못했습니다.

그 목소리의 시를 듣고 싶어 TTS를 열심히 찾아봤지만 당시 한국어 기준으로 2시간 분량의 녹음 파일이 필요하다고 하여 단념해야했습니다.

하지만 이제는 그 바람이 현실이 될 수 있을 것 같습니다.

VALL-E에게는 딱 3초면 충분하니까요

AI로 표절 ‘도둑 유튜버’ 활개

생성AI 저작권 침해 논쟁은 이제부터

생성 AI가 발전하면서 일반인들도 쉽게 활용할 수 있게 된 것에 대한 여러 부작용이 보이고 있습니다. 우후주숙 생겨나는 질 낮은 콘텐츠들도 문제지만 심지어 정성들여 만든 오리지널 콘텐츠의 손쉬운 복제도 큰문제입니다. 아직까지 저작권 침해에 대한 법류이 마련되어 있지 않은 상황에서 이와 같은 분쟁의 증가 불가피할 것으로 보입니다.

MS, 메타버스 부서 정리

관련된 임직원 약 100명 모두 해고

AI에 투자금이 몰리면서 다른 부서들은 짐을 싸고 있습니다. OpenAI에 지속적으로 투자하고 있는 마이크로소프트는 산업용 메타버스 부문 개발을 중단한 것으로 밝혀졌습니다. 전문가들은 마이크로소프트가 전략적으로 신기술 개발의 높은 위험을 감수할 필요가 없다고 판단했다고 보고 있습니다.

초거대 AI 개발 전쟁에 스타트업들 ‘낙수 효과

각기 학습한 데이터가 달라 더 다양하 고도화된 결과물 기대

스타트업 업계에서는 초거대 AI 모델을 활용하여 특정 분야에 특화된 ‘버티컬 서비스’를 통해 틈새 시장을 공략하고 있습니다.