Mercury 3가 초당 1,068토큰으로 나왔다

답이 나오기까지 2초가 걸리는 챗봇과 0.9초가 걸리는 챗봇은 고객이 체감하는 제품이 다르다. 스타트업 Inception이 10월 19일 공개한 Mercury 3는 그 차이를 모델 구조로 풀겠다는 시도다. 글자를 한 토큰씩 이어 쓰는 기존 방식 대신 확산(diffusion) 방식으로 여러 토큰을 한꺼번에 다듬어 내보낸다. NVIDIA GPU에서 초당 1,068토큰이 나온다고 한다.

가격은 입력 100만 토큰당 $0.20, 출력 $0.70이다. 출시 기념으로 50% 할인이 걸려 지금은 입력 $0.10, 출력 $0.35다. 캐시된 입력은 90% 싸고 컨텍스트 창은 이전 Mercury 2.5의 260K에서 1M 토큰으로 늘었다.

한 줄 정리

Mercury 3는 Claude Haiku 5.5와 GPT-6 Luna 급이라고 주장하는 모델을 4~8배 빠르게 돌려 응답 속도가 제품 품질인 작업에서 새 선택지가 생겼다.

한눈에 보기

성능 주장은 아직 회사 숫자다

Inception은 여러 표준 벤치마크에서 Mercury 3가 GPT-6 Luna와 Claude Haiku 5.5와 같거나 낫다고 밝혔다. 구체적인 점수표는 본문 텍스트가 아니라 차트 이미지에 있고 독립 검증은 아직 없다. 브라우저 에이전트 평가인 Mind2Web에서는 실시간 작업 50개 중 절반을 끝냈다고 했다.

속도 쪽 수치가 더 구체적이다. 검색 API를 붙인 테스트에서 첫 결과가 나오는 중간값이 0.9초, 응답이 끝까지 도착하는 시간이 2.2초였다. 파라미터는 Mercury 1보다 40배 이상 늘렸다고만 하고 절대 규모는 공개하지 않았다. 규모를 키우고도 속도를 지켰다는 점이 이번 발표의 핵심이다.

API는 OpenAI 호환이라 기존 코드의 모델 이름과 주소만 바꿔 시험해 볼 수 있다. Vercel AI Gateway에는 inception/mercury-3로 같은 날 올라왔고 게이트웨이는 추론 요청에 별도 수수료를 붙이지 않는다고 밝혔다.

가격은 숫자보다 곱셈으로 읽는다

하루 문의 3,000건에 건당 입력 2,000토큰과 출력 500토큰이 든다고 가정하면 한 달 입력은 1.8억 토큰, 출력은 4,500만 토큰이다. 정가로 계산해 입력 약 $36에 출력 약 $32, 합쳐 월 $68 안팎이다. 할인 기간에는 절반이다. 쇼핑몰 상담 봇 한 대의 월 모델 비용이 점심 한 끼 값에 가깝다.

이 계산은 단순 가정이고 실제로는 프롬프트 길이와 재시도 횟수가 청구서를 좌우한다. 자기 로그에서 건당 토큰 수를 한 번 뽑아 보면 어느 모델이 맞는지 바로 나온다.

어디에 쓰고 어디에 쓰지 않을까

빠른 모델이 이기는 자리는 사람이 화면 앞에서 기다리는 작업이다. 상담 챗봇의 첫 응답, 검색창 자동완성, 음성 에이전트의 맞장구, 입력하는 동안 따라오는 문장 교정이 그렇다. 여기서는 1초가 이탈률을 좌우한다.

반대로 밤새 도는 배치 요약이나 리포트 생성에서는 속도가 값어치를 못 한다. 거기서는 품질과 단가만 보면 된다. 한 팀 안에서도 작업마다 모델을 나눠 쓰는 쪽이 비용도 품질도 낫다.

확산 방식은 아직 검증이 짧다. 긴 문서에서 사실을 틀리지 않는지와 지시를 정확히 따르는지는 자기 데이터로 직접 돌려 봐야 안다. 할인이 걸린 지금이 시험 비용이 가장 싼 때다.

위시클레이 관점

Claude Haiku 5.5급 모델을 초당 1,000토큰으로 돌린다는 발표에서 눈에 띄는 숫자는 정확도가 아니라 0.9초다. 고객 문의 채널을 운영하는 쇼핑몰이나 에이전시가 모델을 고를 때 지금까지는 똑똑한 쪽과 싼 쪽을 저울질했다. 여기에 빠른 쪽이라는 세 번째 축이 생겼다.

세 축이 갈라지면 모델 하나로 전부 처리하는 방식은 비효율이 된다. 첫 응답은 Mercury 3 같은 빠른 모델이 맡고 환불 판단이나 계약 검토처럼 틀리면 비싼 일은 더 무거운 모델로 넘기는 구조가 맞다. 이 분업을 설계하는 일이 팀의 몫이고 개발자가 아니어도 업무 목록을 보고 정할 수 있다.

모델 가격표는 계속 내려가고 지금 제시된 $0.20이라는 단가도 몇 달 뒤엔 기준선이 된다. 오래 남는 자산은 어떤 작업에 몇 초까지 기다릴 수 있는지와 어떤 실수는 허용되는지를 적어 둔 기준표다. 그 표가 있는 팀은 새 모델이 나올 때마다 반나절 안에 갈아 끼울 수 있다.

참고

• Inception, Mercury 3 소개와 가격 (Inception Labs)
• Vercel AI Gateway의 Mercury 3 지원 공지 (Vercel Changelog)