음성 도구 열여섯 개가 지시문 한 줄이 됐다: 텐센트가 1.5B 모델을 MIT로 풀었다

내레이션 한 줄을 고치려면 지금까지 성우를 다시 부르거나 그 구간만 새로 합성해 붙여야 했다. 텐센트가 9월 9일 공개한 AuK는 원본 음성을 그대로 두고 말한 내용만 바꾼다. 지시는 문장 하나다. "이 부분을 저 문장으로 바꿔라"라고 적으면 목소리와 억양을 유지한 채 그 구간이 교체된다. 모델 크기는 1.5B, 라이선스는 MIT다.

한 줄 정리

텐센트가 음성 생성과 편집을 한 모델로 묶은 1.5B 규모의 AuK를 9월 9일 MIT 라이선스로 공개했다.

한눈에 보기

묶음	받는 작업
생성	참조 음성의 목소리로 읽기, 목소리 묘사만으로 합성
내용 편집	말한 문장 교체·삽입·삭제, 멜로디를 유지한 가사 교체
음향 편집	피치, 말하기 속도, 볼륨
비언어 편집	감정, 음색, 지역 억양 제거, 숨·웃음·기침 추가와 제거, 속삭임 변환
분리·복원	노이즈와 잔향 제거, 화자 분리, 반주에서 보컬 추출, 지정한 화자만 남기기

도구를 갈아 끼우던 자리가 지시문 한 줄이 됐다

지금까지 음성 후반 작업은 도구를 옮겨 다니는 일이었다. 합성은 A 서비스, 노이즈 제거는 B 플러그인, 화자 분리는 C 모델. 각각 계정과 사용료가 따로 붙었고 파일은 그 사이를 계속 왕복했다.

AuK는 열여섯 가지를 전부 같은 입력 형식으로 받는다. 오디오 파일 하나와 자연어 지시 한 줄이다. 저장소에 실린 예시는 이렇게 생겼다.

auk-infer \
  --audio content.wav \
  --instruction "Replace 'but accepting what we cannot have' with 'and living well with dreams unmet'." \
  --output out.wav

같은 인터페이스로 "잡음과 잔향을 없애고 원래 화자들은 다 남겨라"를 적으면 복원이 되고, 화자를 지정하면 분리가 된다. 작업 종류를 고르는 드롭다운이 없다.

4스텝으로 추론하는 증류판 AuK-Flash도 같이 나왔다. 인코더로는 Qwen2.5-Omni-3B를 따로 받아 붙이고, ComfyUI 노드와 파인튜닝 스크립트가 같은 저장소에 들어 있다. ComfyUI 쪽에는 원본과 목표를 합쳐 30초라는 길이 제한이 걸려 있다.

받아도 못 돌리는 오픈 가중치와 다르다

7월 30일에 Kimi K3를 다뤘다. 2.8조 파라미터짜리 세계 최대 오픈 가중치였는데 파일이 1.56TB라 개인 장비에서는 사실상 돌릴 수 없었다. 8월 말 텐센트 Hy4 preview도 같은 벽에 걸렸다. 가중치를 받을 권리와 실행할 능력은 다른 문제였다.

AuK는 1.5B다. 인코더 3B를 더해도 노트북 한 대나 GPU 한 장 안에서 끝난다. 라이선스도 MIT라 상업 사용과 파인튜닝에 조건이 안 붙는다. 학습 데이터 규모는 지시·오디오 쌍 30억 건, 감독 신호 195만 시간으로 보고돼 있다.

같은 저장소에 파인튜닝 스크립트가 들어 있다는 점도 크기와 이어진다. 학습 데이터는 JSONL 한 줄이 원본과 목표 한 쌍인 단순한 형식이고, 열여섯 작업이 전부 같은 모양을 쓴다. 특정 화자 목소리나 자사 제품명 발음을 따로 학습시키려는 팀이 붙어 볼 여지가 1.56TB짜리 모델보다 훨씬 넓다.

켜기 전에 정할 것

능력 목록이 곧 허가 목록은 아니다. AuK는 참조 음성 몇 초로 그 목소리를 흉내 내고, 억양을 지우고, 감정을 갈아 끼운다. 고객 인터뷰 음성으로 그 사람이 하지 않은 말을 만들 수도 있다는 뜻이 된다. 도구를 들이기 전에 어떤 원본에 어디까지 손대도 되는지를 팀 규칙으로 먼저 적어 두는 편이 낫다.

운영 쪽 제약도 미리 본다. 인코더는 Qwen2.5-Omni-3B를 별도로 내려받아 붙이는 구조이고 ComfyUI 통합에는 30초 길이 상한이 걸려 있다. 긴 내레이션을 다루려면 구간을 잘라 돌리는 전제로 워크플로를 짠다. 지시문을 다듬어 주는 Prompt Enhancer는 외부 LLM 키를 요구하니 사내에서만 돌릴 계획이라면 그 단계를 빼거나 자체 엔드포인트로 돌린다.

위시클레이 관점

오픈 가중치의 값어치는 파라미터 수가 아니라 내 기계에 올라가느냐에서 갈린다. 1.56TB와 1.5B 사이 어딘가에 그 선이 있고, AuK는 선의 안쪽에 있다.

실무에서 이 차이가 드러나는 자리는 파일 자체다. 고객 인터뷰 녹음, 사내 교육 영상 내레이션, 아직 안 나간 광고 가편본. 외부 SaaS에 업로드하는 순간 계약서나 내부 규정과 부딪히는 파일이 콘텐츠 팀에는 늘 몇 개씩 있다. 열여섯 가지 작업 중 팀이 실제로 쓰는 건 두세 개일 텐데, 하필 그 두세 개가 밖으로 못 내보내는 파일에 걸린다.

도구 개수를 줄이는 게 요점이 아니다. 지금까지는 그런 파일을 만나면 작업을 포기하거나 위험을 감수하는 두 선택지뿐이었다. 9월 9일부터 세 번째 칸이 생겼다.