Meta presenta Muse Voice Transcribe: il primo modello di percezione audio in tempo reale

Meta Superintelligence Labs ha annunciato Muse Voice Transcribe, il primo modello di percezione audio in tempo reale della famiglia Muse Spark, progettato per trasformare la voce in testo con latenza minima e alta accuratezza. Il sistema unisce trascrizione streaming (ASR), diarizzazione fino a 20+ speaker e rilevamento automatico dell’inizio/fine del parlato (endpointing), supportando nativamente il code-switching tra più lingue e permettendo di “biasare” il modello con parole chiave o contesto per migliorare la precisione.

Come funziona la trascrizione streaming adattiva

Muse Voice Transcribe elabora l’audio in chunk da 80 ms (12,5 Hz), trasformando ogni segmento in un “soft token” e decidendo, passo dopo passo, se continuare ad ascoltare o emettere un token di testo. Quando il flusso audio si interrompe, il modello riceve un token speciale <|empty_audio|> e completa la trascrizione senza ulteriori ritardi. La caratteristica chiave è il “adaptive delay”: grazie a un addestramento con reinforcement learning che combina reward per errore di parola (WER) e reward per latenza, il modello regola dinamicamente il ritardo per ogni parola in base alla difficoltà, posizionandosi sul fronte di Pareto tra velocità e accuratezza nella trascrizione finale.

Diarizzazione e endpointing costruiti sullo stesso motore ASR

Sulla base dello streaming ASR, Meta ha aggiunto token speciali per due compiti fondamentali. Per la diarizzazione, il modello predice <|start_of_turn|> al cambio di interlocutore e assegna tag <|speaker_{A-Z}|> per distinguere i parlanti, segmentando anche porzioni dello stesso speaker mantenendo lo stesso tag. Per l’endpointing, introduce <|speech_onset|> e <|speech_endpoint|> per marcare inizio e fine di ogni intervento vocale, utile in scenari di comando vocale e assistenti. Entrambi i task sono addestrati insieme all’ASR, con reward aggiuntivi specifici per diarizzazione e endpointing.

Copertura linguistica, code-switching e contesto lungo

Il modello è addestrato su oltre 70 lingue, con 25 lingue validate e raccomandate per l’uso iniziale; il supporto per altre lingue è comunque disponibile. Muse Voice Transcribe gestisce in modo nativo il code-switching, anche all’interno della stessa frase, e può sfruttare il bias di contesto e parole chiave per aumentare l’accuratezza in scenari specifici. Inoltre, supporta input audio molto lunghi (oltre un’ora) e fino a 20+ speaker senza necessità di post-processing, rendendolo adatto a riunioni, interviste e contenuti podcast.

Dove è disponibile e come provarlo

Con un clic, la dittatura vocale in Meta AI e in Muse Code è ora alimentata da Muse Voice Transcribe, funzionando su qualsiasi applicazione e finestra dello schermo; basta tenere premuto il tasto ‘Fn’ per attivare la trascrizione in tempo reale. Il modello è disponibile da oggi tramite Meta Model API, Meta AI per Mac e Muse Code, aprendo la strada a integrazioni in app di produttività, assistenti vocali, strumenti di meeting e piattaforme di contenuti audio.

Perché conta per chi produce contenuti e lavora con la voce

Per redattori, creator e team che registrano interviste, meeting o dettano bozze, un motore che combina bassa latenza, diarizzazione multi-speaker e gestione di sessioni lunghe semplifica la produzione: si ottiene un testo pronto all’uso con i turni di voce già identificati, riducendo il tempo di revisione e post-produzione. La possibilità di biasare il modello con termini tecnici, nomi propri o contesto editoriale può migliorare ulteriormente l’accuratezza in ambiti verticali come cronaca, sport, tecnologia o enogastronomia, dove il lessico specifico è cruciale.

Muse Voice Transcribe segna un passo concreto verso assistenti e flussi di lavoro vocali realmente in tempo reale, con un equilibrio tra velocità e precisione che può cambiare il modo in cui si trascrivono e si strutturano i contenuti audio.