Mercury 3

Modello linguistico «a diffusione», che scrive l'intera risposta a più passaggi invece che parola per parola

Un modello AI che, secondo Inception, risponde molto più in fretta dei chatbot classici perché genera il testo a più riprese invece che una parola dopo l'altra. I numeri di velocità sono per ora solo dell'azienda.

Cos’è

Mercury 3 è un modello linguistico a diffusione: parte da una bozza approssimativa di tutta la risposta e la raffina a più riprese, invece di scrivere una parola dopo l'altra come i chatbot classici. Secondo Inception è fino a 8 volte più veloce dei concorrenti (oltre 1.000 token al secondo su una GPU Nvidia), legge fino a 1 milione di token di contesto e usa la stessa API di OpenAI, così chi ha già un programma basato su quei modelli può passare a Mercury 3 cambiando poche righe di codice. Tutti i numeri di velocità e benchmark vengono però dai test interni dell'azienda: non esistono ancora misure indipendenti.

Come funziona

Invece di generare il testo token per token, il modello parte da una versione approssimativa di tutta la risposta e la raffina in più passaggi successivi, lo stesso principio dei generatori di immagini come Midjourney applicato al testo.

Per chi è

Chi programma e vuole provare un modello più rapido in applicazioni dove ogni decimo di secondo conta, come un assistente vocale o un correttore in tempo reale.

Cosa ci si può fare

• Sostituire un altro modello compatibile con l'API OpenAI per guadagnare velocità di risposta
• Applicazioni vocali o interattive dove la latenza è la priorità
• Testare se un modello a diffusione tiene il passo di un chatbot classico sul proprio caso d'uso

Punti di forza

• Dichiarata una velocità molto più alta dei modelli concorrenti
• Legge un contesto molto lungo, fino a 1 milione di token
• Compatibile con l'API di OpenAI: poche righe di codice per provarlo

Limiti

• Tutti i benchmark di velocità e qualità sono dell'azienda stessa, senza conferma indipendente
• Non è un'app per chi non programma: si usa tramite API
• Il prezzo di lancio è scontato del 50% senza una data di fine indicata