Laya, l'IA gratis che decide in un attimo invece di scrivere

Una settimana fa TypeSafe AI ha lanciato Jev, un'IA che invece di scrivere testo restituisce decisioni immediate. Un ricercatore indiano ha già pubblicato Laya, un'alternativa gratuita e open source: l'ho installata e provata io stesso.

Perché conta

Segna l'arrivo di un tipo di IA pensato non per parlare ma per decidere in tempo reale, ed è già abbastanza interessante da spingere una community intera a costruirci sopra centinaia di progetti in una settimana: un segnale di dove sta andando una parte della tecnologia, prima che diventi mainstream.

In pratica

Chi sviluppa software, anche piccoli progetti personali o automazioni, può provare gratis e in locale, senza lista d'attesa, lo stesso tipo di IA che le aziende iniziano a pagare per smistare messaggi, moderare contenuti o prendere decisioni rapide dentro un'app.

Il 15 settembre TypeSafe AI ha presentato un tipo di intelligenza artificiale diverso dai soliti chatbot: si chiama Jev, e non scrive testo parola per parola come fa ChatGPT o Claude. Prende una situazione descritta in linguaggio naturale e restituisce subito una decisione strutturata: per esempio "urgente" o "non urgente", un punteggio da 1 a 10, oppure un sì o un no con una probabilità precisa. TypeSafe lo chiama un modello System One, dal nome del pensiero rapido e istintivo descritto dagli psicologi, contrapposto al ragionamento lento che serve per scrivere un testo lungo.

Il vantaggio è la velocità. Dove un chatbot impiega secondi a generare una risposta, Jev risponde in meno di mezzo secondo, perché non genera il testo pezzo dopo pezzo (i "token", le unità in cui un'AI legge e scrive) ma calcola tutte le probabilità in un solo passaggio. È pensato per compiti che oggi si affidano comunque a un'AI ma non hanno bisogno di conversazione: smistare i messaggi di supporto clienti, riconoscere se un contenuto va moderato, controllare in tempo reale le mosse di un videogioco.

Jev è a pagamento e in accesso anticipato su lista d'attesa, ma in una settimana la community open source gli ha già costruito attorno un intero ecosistema. Un catalogo indipendente ne conta oltre 800 progetti costruiti sopra o in alternativa a Jev. Il più popolare è Laya, di Nandakishor Mukkunnoth, ricercatore indiano e fondatore di ConvAI Innovations. In pochi giorni ha superato le 21.000 stelle su GitHub.

Laya fa lo stesso lavoro di Jev: decisioni tipizzate, punteggi, risposte sì o no con una probabilità. Ma è gratuito, open source con licenza Apache 2.0 — una licenza che permette di usarlo liberamente anche in un prodotto commerciale — e gira anche sul proprio computer. Si installa con un solo comando dato al terminale (pip install laya). Secondo i test pubblicati dal suo stesso autore risponde in circa 33 millisecondi su una scheda video comune, quasi otto volte più veloce di Jev. Funziona in oltre 100 lingue, italiano compreso, e sceglie da solo quale versione del modello usare in base alla lingua del testo.

L'ho installato e provato io stesso, su un computer normale senza scheda video dedicata, solo processore. Gli ho dato un messaggio di supporto clienti scritto in italiano: "la vostra app mi ha cancellato tutti i dati del progetto, rispondetemi subito". Gli ho chiesto di assegnargli una priorità. Ha risposto alta priorità, con l'81% di probabilità. Una volta caricato il modello giusto per la lingua italiana, la risposta è arrivata in meno di 100 millisecondi; la primissima richiesta in una lingua nuova impiega qualche secondo in più, perché scarica quel modello. Un secondo messaggio, di semplice ringraziamento, è stato classificato correttamente come priorità bassa.

Non è stato tutto perfetto. Con un finto messaggio di spam in inglese ("comprate subito, click here"), Laya lo ha classificato come priorità alta: il linguaggio urgente tipico dello spam lo ha confuso, anche se un messaggio del genere non andrebbe gestito come prioritario. Per una delle domande, inoltre, il programma stesso ha avvisato di aver trovato valori di calibrazione non validi in uno dei suoi modelli, usando un valore di riserva e segnalando di considerare quella risposta con più cautela. Un progetto nato da appena una settimana, insomma, che funziona ma ha ancora spigoli da smussare: prima di affidargli decisioni importanti senza controllo umano, vale la pena testarlo sui propri casi reali.