DeepSeek apre DeepInfer, il motore dietro i suoi modelli veloci

DeepSeek ha pubblicato come open source DeepInfer, il motore che fa girare i suoi modelli più rapidi nei propri servizi. Licenza Apache 2.0, ma serve sapere gestire server per usarlo.

Perché conta

Mostra che la corsa a rendere l'AI più economica non riguarda solo i modelli, ma anche il software che li fa funzionare: pubblicandolo, DeepSeek permette a chiunque abbia i chip giusti di tagliare i costi di gestione, mettendo pressione su tutti i concorrenti.

In pratica

È uno strumento per chi gestisce server e sa programmare, non per un uso diretto quotidiano: chi segue l'AI può però aspettarsi che la pressione sui prezzi dei servizi a pagamento continui.

DeepSeek, il laboratorio cinese di AI noto per i suoi modelli economici, ha pubblicato come open source DeepInfer, il software che fa girare i suoi modelli più veloci ed economici nei propri servizi di produzione: il motore che riceve le domande di chi usa l'assistente DeepSeek e genera le risposte alla velocità che serve a un servizio usato da milioni di persone. È disponibile su GitHub con licenza Apache 2.0, una licenza open source che permette a chiunque di usarlo, modificarlo e anche rivenderlo liberamente.

Oggi DeepInfer gestisce un solo modello, DeepSeek-V4.1-Flash, e funziona su due famiglie di chip: le GPU NVIDIA della serie SM100 e gli NPU (chip pensati apposta per i calcoli dell'intelligenza artificiale, più efficienti di una scheda grafica generica per questo compito) Huawei della serie Ascend 950. Include tecniche per velocizzare le risposte, come la decodifica speculativa: il programma "indovina" in anticipo più parole della risposta e controlla solo dopo se l'ipotesi è corretta, risparmiando tempo quando lo è.

La versione pubblicata è più semplice di quella che DeepSeek usa davvero nei propri servizi: manca, per esempio, la gestione della memoria condivisa tra più richieste e la distribuzione del carico tra più copie del programma in esecuzione insieme. Non è pensata per chi non programma: per installarla servono un computer con Linux, strumenti di compilazione del codice e, a seconda del chip, il software NVIDIA CUDA o il suo equivalente di Huawei, CANN.

DeepSeek dice di voler così abbassare i costi di calcolo dell'AI per tutti, non solo per sé: con il codice pubblico, chi ha i chip giusti e le competenze per installarlo può far girare gli stessi modelli alla stessa velocità, invece di dipendere da un servizio a pagamento. È un altro passo nella strategia di DeepSeek di rendere pubblico quasi tutto quello che costruisce, dai modelli ai programmi che li fanno funzionare, e aumenta la pressione sui prezzi dei concorrenti occidentali come OpenAI e Anthropic.

DeepSeek non pubblica, nel codice reso pubblico, numeri di prestazione verificabili da terzi: solo grafici, senza valori precisi nel testo. Le sue affermazioni sulla velocità restano quindi dichiarazioni dell'azienda, non misure indipendenti.