Mercury 3 a diffusione: 1.000 token/s e batte GPT-6 Luna

La velocità è il punto forte dichiarato. Inception, azienda californiana di ricerca sull'IA, ha rilasciato Mercury 3 e afferma che genera più di 1.000 token al secondo su GPU NVIDIA ampiamente disponibili. L'azienda sostiene che il modello batta due concorrenti ottimizzati per la velocità, GPT-6 Luna e Claude Haiku 5.5, in una serie di benchmark, funzionando da quattro a otto volte più velocemente.

La maggior parte dei grandi modelli linguistici scrive un token dopo l'altro, ciascuno previsto a partire dal precedente. I token sono i frammenti di testo che un modello legge e scrive. I modelli linguistici a diffusione funzionano in modo diverso: generano e affinano più token in parallelo. Per questo possono rispondere più in fretta, ed è anche il motivo per cui gli sviluppatori hanno a lungo dovuto scegliere tra un modello piccolo e rapido e uno più capace ma più lento. Inception sostiene che Mercury 3 superi questo compromesso, mantenendo la velocità pur gestendo compiti più complessi.

Il modello è il quarto di un'azienda che ha rilasciato la prima versione, Mercury 1, nel giugno 2025. Mercury 2 ha aggiunto il ragionamento, e Mercury 2.5 ha introdotto un ragionamento regolabile e portato la finestra di contesto a 260.000 token. Mercury 3 la porta a 1 milione di token, e Inception afferma che il modello è più di 40 volte più grande di Mercury 1. Stefano Ermon, co-fondatore di Inception, ha dichiarato che la domanda più frequente dei clienti riguardava la possibilità di scalare della diffusione. L'azienda afferma che l'addestramento del suo prossimo modello è già iniziato.

Chi ne trae vantaggio, e quando? Gli sviluppatori che costruiscono agenti, che concatenano più chiamate a modelli, dovrebbero notare il beneficio più immediato, poiché ogni chiamata restituisce una risposta più rapida. L'istruzione è un primo caso d'uso: l'azienda riferisce che RevisionDojo, società di tecnologia per l'istruzione, ha ridotto a circa un secondo i tempi di risposta per il feedback agli studenti, inclusi suggerimenti, definizioni e risposte corrette. Traduzione in tempo reale e tutoraggio interattivo sono altri obiettivi indicati dall'azienda. Mercury 3 è già accessibile tramite l'API di Inception, Baseten, OpenRouter e Vercel, e utilizza il formato API di OpenAI, quindi le applicazioni esistenti possono passare al nuovo modello senza riscritture estese.

I limiti contano. I risultati dei benchmark e le cifre sulla velocità provengono dalla stessa Inception, e gli esempi di clienti riguardano tester in accesso anticipato, non un'indagine ampia tra gli utenti. La velocità in un ambiente controllato non garantisce la stessa velocità su larga scala, né la qualità delle risposte in ogni compito. Conterà davvero se test indipendenti e l'uso quotidiano in produzione confermeranno i miglioramenti.