메타, 실시간 음성 전사 Muse Voice Transcribe 공개

메타 슈퍼인텔리전스 랩스(Meta Superintelligence Labs)는 2026년 9월 1일 첫 실시간 오디오 인식 모델인 Muse Voice Transcribe를 공개했다. 이 시스템은 음성을 텍스트로 전사하고, 같은 녹음 안에서 20명이 넘는 서로 다른 화자를 구분하며, 한 사람이 말을 멈추는 정확한 순간을 감지한다. 지금까지 이 세 가지 작업은 각각 별도의 시스템, 즉 전사를 담당하는 모델과 화자 분리(diarization)를 담당하는 모델, 그리고 발화 종료를 판단하는 별도의 감지기를 서로 연결해야 처리할 수 있었고, 그 연결 지점마다 지연 시간과 오류가 새롭게 발생했다. 이 모델은 이미 muse-voice-transcribe-1.0이라는 이름으로 메타의 API를 통해 제공되고 있으며, 맥용 Meta AI 앱과 회사의 코딩 보조 도구인 Muse Code의 음성 받아쓰기 기능을 뒷받침하고 있다. 메타는 이 모델의 가중치를 공개하지 않았기 때문에, 자체 서버에 설치할 방법은 없고 오직 호스팅된 형태로만 사용할 수 있다.

작동 방식: 같은 반복문 안에서 듣기와 쓰기를 함께

Muse Voice Transcribe는 Muse Spark 계열에 속하며, 오디오를 80밀리초 단위, 즉 초당 12.5개의 조각으로 나누어 처리한다. 각 조각은 하나의 토큰으로 변환되며, 모델은 텍스트도 함께 생성하는 동일한 디코더 안에서 이를 자기회귀적으로 분석한다. 즉 들은 내용과 쓴 내용을 따로 정렬하는 별도의 단계가 존재하지 않으며, 바로 이 지점이 기존 파이프라인들이 흔히 어긋나던 지점이었다. 각 조각을 처리한 뒤 모델은 이진 선택을 한다. 계속 듣겠다는 뜻의 토큰을 예측하거나, 곧바로 단어 하나를 출력하는 것이다. 오디오 스트림이 끝나면 특수 토큰이 더 이상 입력이 들어오지 않는다는 사실을 모델에 알리고, 모델은 남아 있던 텍스트를 즉시 모두 출력한다. 메타는 이러한 동작을 “유연한 듣기(flexible listening)”라고 부르며, 매 순간 누가 말하고 있는지를 판단하는 데에도 같은 방식을 적용한다.

미리 정하지 않고 학습으로 결정되는 지연 시간

모델이 단어 하나를 쓰기 전에 얼마나 많은 오디오를 기다릴지, 즉 메타가 “지연(delay)”이라고 부르는 값은 고정돼 있지 않다. 문맥을 더 많이 쌓을수록 전사는 더 정확해지지만, 그만큼 기다리는 시간도 늘어난다. 메타의 엔지니어들은 이 균형을 사람이 손으로 정하는 대신 강화학습으로 학습시켰다. 단어 오류율에 기반한 정확도 보상과 속도 보상을 곱하는 방식으로 결합해, 모델 스스로 단어마다의 난이도에 따라 지연 시간을 다르게 조절하도록 학습한 것이다. 화자를 구분할 때도 별도의 모델을 쓰지 않고, 같은 스트림 안의 특수 토큰을 사용한다. 하나는 화자 전환이 일어날 수 있는 순간에 즉시 표시되고, 다른 하나는 약간 늦게 A부터 Z까지의 화자 라벨을 부여한다. 같은 사람의 음성이 여러 구간으로 나뉘어도 결국 같은 라벨로 귀결된다. 추가로 두 개의 토큰이 한 발화의 시작과 끝을 표시해 발화 종료 감지에 쓰이며, 이 세 가지 작업은 모두 전사의 기본 보상 위에서 함께 학습된다.

Cartesia, ElevenLabs, Gemini를 앞선 결과

• Artificial Analysis AA-WER Streaming 벤치마크에서 최종 전사 기준 단어 오류율은 발화 종료 후 0.16초 시점에 3.1%로, Cartesia Ink-2(0.43초에 3.4%)와 ElevenLabs Scribe v2 Realtime(0.14초에 3.6%)을 앞섰다.
• 첫 부분 전사 오류율은 0.13초 만에 3.6%였다. 외부 엔드포인트를 사용하는 Cartesia Ink-2 버전은 0.07초로 더 빠르지만 정확도는 4.0%로 더 낮았다.
• AMI-IHM, AMI-SDM, VoxConverse 테스트에서 평균 화자 분리 오류율은 17.5%로, 함께 비교된 다른 다섯 개 시스템은 21.1%에서 28.6% 사이였다.
• 한 시간이 넘는 녹음과 20명 이상의 동시 발화를 추가 후처리 없이 지원하며, 언어·키워드·문맥 편향(biasing) 조정을 통해 정확도를 더 높일 수도 있다.
• 가격은 오디오 1,000분당 3달러(시간당 약 0.18달러)로, Cartesia Ink-2의 4달러보다 낮고, ElevenLabs Scribe v2 Realtime과 Deepgram Flux의 시간당 6.50달러의 절반에도 못 미친다.

이 모델은 70개가 넘는 언어로 학습됐으며, 그중 25개 언어는 출시 전 광범위한 검증을 거쳤다. 이중언어 화자들 사이에서 흔히 나타나는, 한 문장 도중에 언어를 바꾸는 상황도 정확도 손실 없이 자연스럽게 처리한다. 메타는 2026년 9월 1일 X의 @AIatMeta 계정을 통해 이 출시를 발표하면서, 이를 회사의 첫 실시간 인식 모델이라고 소개했다. 이는 OpenAI나 구글이 이에 준하는 실시간 전사 시스템을 선보이기 전에 나온 발표다. 맥에 Meta AI 앱을 이미 설치한 사용자는 지금 바로 사용해 볼 수 있다. 어떤 애플리케이션에서든 Fn 키를 누른 채로 말하기만 하면, 받아쓰기 내용이 새 모델로 전사된다.

여러 사람이 동시에 말하는 회의나 기자회견, 인터뷰를 녹음하는 한국의 기업과 전문직—기자, 법률사무소, 고객지원팀, 청각장애인을 위한 접근성 서비스—입장에서는, 전사와 화자 분리, 발화 종료 감지를 한 번의 처리로 끝내는 모델이 인프라 비용과 여러 도구를 연결하면서 생기는 오류 가능성을 동시에 줄여줄 수 있다. 다만 그 대가로 오직 메타의 API를 통해서만 사용할 수 있고, 자체 서버에 두거나 모델 가중치를 감사할 수 없다는 점을 받아들여야 한다. 이미 운영 중인 전사 파이프라인을 교체하기 전에는, 지원되는 70여 개 언어 가운데 광범위하게 검증된 언어는 25개에 불과한 만큼, 실제로 사용할 팀의 언어와 억양을 기준으로 실제 오류율을 먼저 확인해 보는 편이 좋다.