Un solo robots.txt per dire no a OpenAI, Google, Microsoft e Anthropic

OpenAI, Google, Microsoft e Anthropic dicono che rispetteranno un nuovo segnale condiviso nel robots.txt: chi gestisce un sito potrà dire «non usare i miei contenuti per addestrare un'AI» una volta sola, non azienda per azienda.

Perché conta

Quattro delle aziende di intelligenza artificiale più usate si accordano su un solo modo, per chi ha un sito o un blog, di dire se vuole o no che i suoi contenuti vengano usati per l'addestramento, senza dover conoscere e bloccare ogni singolo bot.

In pratica

Se gestisci un sito, per ora non cambia nulla nelle regole che hai già scritto nel robots.txt: la novità arriva nei prossimi mesi, e vale la pena controllare più avanti come applicare il nuovo segnale.

Chi gestisce un sito o un blog potrà presto dire «non voglio che i miei contenuti addestrino un'intelligenza artificiale» con una sola riga, invece di rincorrere ogni azienda una per una. OpenAI ha annunciato che comincerà a rispettare un nuovo segnale condiviso dentro il file robots.txt, il testo che ogni sito mette alla sua porta d'ingresso per dire ai programmi automatici cosa possono leggere, e secondo The Verge anche Google, Microsoft e Anthropic hanno detto di volerlo adottare.

Fino a oggi, bloccare l'addestramento voleva dire scrivere una regola diversa per ogni bot: GPTBot per OpenAI, e un'altra sigla per ogni altra azienda di AI. Il nuovo segnale si basa su una proposta di standard ancora in discussione all'IETF (l'organismo che scrive gli standard tecnici di internet), scritta da persone di Google e Mozilla: aggiunge al robots.txt una riga `Content-Usage`, che permette di scrivere la preferenza una volta sola e farla valere per più aziende insieme, invece che una per una.

Questo è il punto debole dell'idea: è volontario. Un bot che non vuole seguire la regola può semplicemente ignorarla, esattamente come succede già oggi con il robots.txt classico. Non è una tecnologia che impedisce la raccolta dei dati, è una convenzione che le aziende coinvolte accettano di rispettare.

OpenAI dice che il nuovo segnale arriverà nei prossimi mesi e che non sostituisce i controlli già esistenti: chi ha già bloccato GPTBot può lasciare le sue regole come sono. Il tema arriva in un momento di tensione crescente tra chi produce contenuti online e le aziende di intelligenza artificiale: pochi giorni fa SIGNAL ha raccontato che Reddit testerà il login obbligatorio per fermare lo scraping delle AI.

Resta da vedere quante altre aziende di AI si uniranno alle quattro che hanno già detto di sì, e se la proposta dell'IETF diventerà davvero uno standard condiviso da tutto il settore, non solo da una parte di esso.