Meta lanceert Muse Voice Transcribe voor spraak in realtime

Meta Superintelligence Labs presenteerde op 1 september 2026 Muse Voice Transcribe, zijn eerste model voor audioperceptie in realtime. Het systeem transcribeert spraak, onderscheidt meer dan 20 verschillende sprekers binnen dezelfde opname en herkent het exacte moment waarop iemand stopt met praten — drie taken die tot nu toe drie afzonderlijke systemen vereisten: één voor transcriptie, één voor diarisatie (sprekersonderscheid) en een derde detector voor het einde van een spreekbeurt, aan elkaar geknoopt, met de latentie en foutbronnen die elke koppeling toevoegt. Het model is al beschikbaar via de Meta-API als muse-voice-transcribe-1.0 en drijft nu het spraakdictaat aan van de Meta AI-app voor Mac en van Muse Code, de programmeerassistent van het bedrijf. Meta heeft de modelgewichten niet vrijgegeven, dus het model kan alleen gehost worden gebruikt, zonder de mogelijkheid om het op eigen servers te draaien.

Hoe het werkt: luisteren en schrijven in dezelfde lus

Muse Voice Transcribe behoort tot de Muse Spark-familie en verwerkt audio in blokken van 80 milliseconden, oftewel 12,5 blokken per seconde. Elk blok wordt een token dat het model autoregressief analyseert, binnen dezelfde decoder die ook de tekst genereert: er is geen aparte uitlijningsfase tussen wat gehoord en wat geschreven wordt, precies waar traditionele pipelines vaak uit de pas gaan lopen. Na elk blok maakt het model een binaire keuze: het voorspelt een token dat vraagt om te blijven luisteren, of het geeft direct een woord uit. Wanneer de audiostroom stopt, laat een speciaal token het model weten dat er geen informatie meer komt, en het geeft onmiddellijk alle openstaande tekst vrij — een gedrag dat Meta 'flexibel luisteren' noemt en dat het ook gebruikt om te bepalen wie op elk moment aan het woord is.

Een vertraging die getraind wordt, niet vooraf vastgelegd

Hoeveel audio het model afwacht voordat het een woord schrijft — wat Meta 'vertraging' noemt — is geen vaste waarde: hoe meer context het verzamelt, hoe nauwkeuriger de transcriptie, maar ook hoe langer de wachttijd. In plaats van die afweging handmatig vast te leggen, trainden Meta's ingenieurs die met reinforcement learning, door een beloning voor nauwkeurigheid (woordfoutpercentage) vermenigvuldigd te combineren met een beloning voor snelheid, zodat het model zelf leert de vertraging woord voor woord aan te passen op basis van moeilijkheidsgraad. Om sprekers te identificeren, gebruikt het systeem geen apart model, maar speciale tokens binnen dezelfde stroom: één markeert een mogelijke wisseling van spreker zodra die zich voordoet, en een andere, licht vertraagd, wijst een sprekerlabel toe van A tot Z; audio van dezelfde persoon kan over meerdere segmenten verdeeld zijn die allemaal naar hetzelfde label verwijzen. Twee extra tokens markeren begin en einde van een spreekbeurt voor de eind-detector, en de drie taken worden samen getraind bovenop dezelfde basisbeloning voor transcriptie.

Resultaten boven Cartesia, ElevenLabs en Gemini

• 3,1% woordfoutpercentage op de definitieve transcriptie, 0,16 seconden na het einde van de spraak, op de Artificial Analysis AA-WER Streaming-benchmark — beter dan Cartesia Ink-2 (3,4% bij 0,43 s) en ElevenLabs Scribe v2 Realtime (3,6% bij 0,14 s).
• 3,6% foutmarge op de eerste gedeeltelijke transcriptie, in slechts 0,13 seconden; de Cartesia Ink-2-variant met externe eindpunten is sneller (0,07 s), maar minder nauwkeurig (4,0%).
• 17,5% gemiddeld foutpercentage bij diarisatie op de AMI-IHM-, AMI-SDM- en VoxConverse-tests, tegenover een bereik van 21,1% tot 28,6% bij de vijf andere geteste systemen.
• Ondersteunt opnames van meer dan een uur en meer dan 20 gelijktijdige sprekers zonder verdere nabewerking; de nauwkeurigheid kan verder verbeterd worden door taal, sleutelwoorden en context bij te sturen.
• Prijs van 3 dollar per 1.000 minuten verwerkte audio (0,18 dollar per uur), onder de 4 dollar van Cartesia Ink-2 en minder dan de helft van de 6,50 dollar van ElevenLabs Scribe v2 Realtime en Deepgram Flux.

Het model werd getraind op meer dan 70 talen, waarvan er 25 grondig gevalideerd werden vóór de lancering, en het gaat om met taalwisseling midden in een zin zonder verlies van nauwkeurigheid, iets wat gebruikelijk is bij tweetalige sprekers. Meta kondigde de release aan op 1 september 2026 via het account @AIatMeta op X, en omschrijft het als zijn eerste realtime perceptiemodel — een stap die eerder komt dan een vergelijkbaar systeem voor live transcriptie van OpenAI of Google. Wie de Meta AI-app al op een Mac heeft geïnstalleerd, kan het meteen uitproberen: houd gewoon de Fn-toets ingedrukt en spreek in eender welke applicatie, en het dictaat wordt getranscribeerd met het nieuwe model.

Voor Nederlandse bedrijven en professionals die vergaderingen, persconferenties of interviews opnemen met meerdere mensen die door elkaar praten — journalisten, advocatenkantoren, klantenserviceteams, toegankelijkheidsdiensten voor dove mensen — verlaagt een model dat transcribeert, stemmen scheidt en pauzes herkent in één stap de infrastructuurkosten en de foutmarge van het aan elkaar knopen van meerdere tools. Daar staat tegenover dat het alleen via de API van Meta te gebruiken is, zonder mogelijkheid om het zelf te hosten of de modelgewichten te controleren. Voordat een reeds in productie zijnde transcriptiepijplijn vervangen wordt, is het verstandig om het werkelijke foutpercentage te vergelijken met de taal en het accent van elk team, aangezien slechts 25 van de meer dan 70 ondersteunde talen grondig gevalideerd zijn.