DeepInfer
Il motore open source che fa girare i modelli più rapidi di DeepSeek nei suoi servizi
DeepInfer è il software di inferenza (il calcolo che genera le risposte) che DeepSeek usa nei propri servizi per il modello DeepSeek-V4.1-Flash, reso pubblico con licenza Apache 2.0.
Cos’è
DeepInfer è il framework che riceve le domande degli utenti e genera le risposte dei modelli DeepSeek alla velocità richiesta da un servizio di massa. La versione open source, pubblicata su GitHub, offre l'inferenza offline (senza le parti che servono a gestire un servizio online con molti utenti insieme, come la condivisione di memoria tra richieste o il bilanciamento del carico tra più copie del programma). Si basa soprattutto su vLLM, un motore di inferenza open source molto usato, con l'aggiunta di tecniche proprie di DeepSeek come la decodifica speculativa e il campionamento deterministico.
Come funziona
Carica un modello DeepSeek su uno o più chip (GPU NVIDIA SM100 o NPU Huawei Ascend 950) e lo fa rispondere alle domande usando kernel di calcolo ottimizzati e tecniche che velocizzano la generazione del testo, come indovinare più parole in anticipo e verificarle dopo.
Per chi è
Chi sa gestire server Linux e vuole far girare i modelli DeepSeek sulla propria infrastruttura invece di usare un servizio a pagamento.
Cosa ci si può fare
- Far girare DeepSeek-V4.1-Flash su server propri invece che tramite un'API a pagamento
- Riprodurre il comportamento dell'API ufficiale di DeepSeek su un'installazione self-hosted
- Studiare le tecniche di ottimizzazione dell'inferenza che DeepSeek usa in produzione
Punti di forza
- Licenza open source permissiva (Apache 2.0)
- Supporta sia chip NVIDIA sia Huawei, un'alternativa rara tra i motori di inferenza
- Include tecniche di velocizzazione avanzate come la decodifica speculativa
Limiti
- Richiede competenze di amministrazione server, Linux e compilazione del codice
- Supporta oggi un solo modello (DeepSeek-V4.1-Flash)
- Manca delle funzioni per gestire un servizio online con molti utenti contemporaneamente
- Le prestazioni dichiarate da DeepSeek non sono verificabili con numeri precisi nel materiale pubblicato
