Un solo comando per dire no all'AI che si allena sul tuo sito

Fino a ieri, se non volevi che i contenuti del tuo sito finissero ad addestrare un modello di intelligenza artificiale generativa, dovevi conoscere il nome del crawler di ogni azienda e scrivere una regola per ciascuno. Il 30 ottobre 2026 è arrivata una proposta per farlo con un solo gruppo di righe nel file robots.txt. E nello stesso giorno OpenAI, Google e Microsoft hanno detto che la rispetteranno.

Questa è la versione lunga del carosello di oggi: cosa dice la proposta, come si scrive la regola, da quando funzionerà e, soprattutto, cosa non fa.

Cos'è successo

Il 30 ottobre è stata pubblicata sull'IETF, l'organismo che scrive gli standard tecnici di Internet, la bozza draft-kelley-aipref-training-preference-signal-00, intitolata «Machine-Readable Training Preference Signal». L'autore è Kevin Kelley di Anthropic, e la discussione si svolge nel gruppo di lavoro AI Preferences (aipref) dell'IETF.

L'idea è semplice: invece di inventare nuove istruzioni, la bozza usa la struttura che robots.txt ha già (quella standardizzata nell'RFC 9309) e introduce un nome speciale da mettere nella riga User-Agent: il policy token __usage_ai-training. Non è il nome di un crawler vero, ma un'etichetta che significa «uso dei contenuti per l'addestramento AI».

Lo stesso giorno sono arrivati gli annunci di OpenAI, Google e Microsoft. Anthropic, secondo quanto riporta The Next Web, ha già iniziato a lavorarci.

Cosa conta come «addestramento»

La bozza riprende la definizione del gruppo aipref: addestramento AI significa usare un contenuto per modificare i parametri appresi di un modello di AI generativa. Restano fuori i modelli usati solo per compiti non generativi, come classificare, ordinare o assegnare punteggi.

Tradotto: la regola parla di chi usa i tuoi testi per costruire o migliorare un modello che genera contenuti. Non parla dell'indicizzazione nei motori di ricerca, e non parla nemmeno dell'uso delle tue pagine per costruire una risposta al volo (il cosiddetto grounding, ci torno sotto).

Il comando

Ecco la versione più breve: dice «no all'addestramento AI» per tutto il sito.

User-Agent: __usage_ai-training
Disallow: /

Il resto lo fanno le regole che robots.txt conosce già: Disallow indica i percorsi per cui esprimi una preferenza contraria all'addestramento, Allow quelli per cui la esprimi a favore, e vince la regola che corrisponde al percorso in modo più specifico. L'esempio della bozza dice no a tutto il sito tranne la cartella del materiale stampa:

# Regole che hai già per i crawler: restano come sono
User-Agent: *
Disallow: /admin/

# Nuovo gruppo: preferenza sull'addestramento AI
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

E se vuoi escludere solo una parte, ad esempio gli articoli del blog, basta indicare quella cartella:

User-Agent: __usage_ai-training
Disallow: /blog/

Guida pratica in 5 passi

Trova il tuo robots.txt. Sta sempre nella radice del dominio: apri https://tuosito.it/robots.txt nel browser. Se non esiste, puoi crearlo: è un semplice file di testo.
Non toccare le regole che hai già. Il nuovo gruppo si aggiunge in fondo. La bozza è pensata apposta per non cambiare il comportamento dei crawler di oggi: chi non conosce il token lo ignora come qualsiasi nome sconosciuto.
Aggiungi il gruppo User-Agent: __usage_ai-training con i Disallow (e gli eventuali Allow) che ti servono. Attenzione al nome: due trattini bassi all'inizio, poi usage_ai-training.
Decidi cosa lasciare libero. Se ci sono pagine che vuoi far circolare il più possibile (cartella stampa, schede prodotto, comunicati), usale come eccezioni con Allow.
Controlla il file pubblicato riaprendo l'indirizzo nel browser. Ricorda che il file vale per l'host su cui si trova: se il sito risponde anche su un sottodominio, quel sottodominio ha il suo robots.txt.

In attesa che il token venga davvero letto, le regole specifiche per azienda continuano a funzionare e restano valide anche dopo. Oggi, per esempio, OpenAI usa GPTBot per indicare che i contenuti non vanno usati per addestrare i suoi modelli generativi, e Google usa Google-Extended:

User-Agent: GPTBot
Disallow: /

User-Agent: Google-Extended
Disallow: /

Chi lo rispetterà, e da quando

OpenAI: punta a implementare il segnale «nei prossimi mesi» e promette un aggiornamento con i dettagli quando lo farà. I controlli che offre già via robots.txt continueranno a valere. (fonte)
Google: punta a supportarlo «nel 2027», insieme ad altri fornitori di AI; la sua documentazione sui crawler parla di inizio 2027. Se un sito usa il token per dire no all'addestramento e non scrive nulla su Google-Extended, Google intende trattarlo come se avesse bloccato Google-Extended. (fonte) · (documentazione)
Microsoft: rispetterà le nuove preferenze dal 1° febbraio 2027, man mano che passa a scansionare le pagine. Sostituiranno i vecchi tag NoArchive e NoCache, che dopo il 1° marzo 2027 non saranno più letti come preferenza per addestramento e grounding. Microsoft permette anche di decidere pagina per pagina, con un meta tag che prevale su robots.txt. (fonte)

<meta name="Bingbot" content="ai-training:disallow">

Quest'ultimo è specifico di Bing, non fa parte della bozza IETF.

I limiti, da sapere prima di cantare vittoria

È una preferenza, non un lucchetto

La bozza parla di preferenze: chi non la implementa continua a comportarsi come prima. OpenAI la definisce esplicitamente uno «sforzo volontario». E la stessa bozza prevede che gli accordi privati tra un sito e un'azienda di AI possano prevalere sulla preferenza espressa nel file.

Non blocca la scansione

Il token non è un'istruzione sul crawling: dice cosa vuoi che si faccia con i tuoi contenuti, non chi può scaricarli. Se vuoi impedire a un crawler di accedere al sito, servono ancora le regole per il suo nome specifico.

L'asterisco non vale

È il punto che sorprende di più. Un gruppo User-Agent: *, anche con Disallow: /, non conta come no all'addestramento: la bozza dice che i gruppi jolly non vanno interpretati come corrispondenti al token. E se nel file non c'è nessuna riga User-Agent: __usage_ai-training, per la bozza non hai espresso alcuna preferenza. Va scritto esplicitamente.

È solo una bozza

Per ora è un Internet-Draft individuale. La pagina ufficiale dell'IETF è chiara: non è approvato dall'IETF e non ha alcuno status formale nel processo di standardizzazione. Scade il 3 maggio 2027 e può essere modificata, sostituita o ritirata in qualsiasi momento.

L'avvertenza di Microsoft sul grounding

Microsoft tiene separati due usi: l'addestramento (modificare un modello) e il grounding (usare una pagina per costruire una risposta generata, ad esempio in Copilot). Il grounding si regola solo pagina per pagina, con le opzioni Allow, Disallow e DisallowExtended, che lo limita ai prodotti gestiti da Microsoft. E l'avvertenza è netta: scegliere Disallow o DisallowExtended per il grounding «ridurrà in modo significativo la visibilità dei tuoi contenuti nelle esperienze generate dall'AI», senza cambiare l'idoneità ai risultati di ricerca di Bing. Microsoft aggiunge che queste preferenze non creano accordi di licenza o pagamento, e che nessuna scelta garantisce inclusione, traffico o compensi.

Anche Google fa un discorso simile: i siti che consentono esplicitamente Google-Extended possono comparire nelle risposte delle app Gemini e ricevere clic tramite il grounding.

Il punto

Per chi ha un sito, soprattutto una piccola attività che produce contenuti propri, è una buona notizia: invece di inseguire i nomi dei crawler, puoi esprimere una scelta chiara con poche righe, in un file che controlli già. Ma conviene avere aspettative realistiche: è una preferenza volontaria, basata su una bozza, e le grandi aziende inizieranno a leggerla tra qualche mese o nel 2027.

Il mio consiglio: decidi cosa vuoi davvero (no all'addestramento ma sì alla visibilità nelle risposte AI? no a tutto?), aggiungi il gruppo __usage_ai-training adesso, che non costa nulla e non rompe niente, e tieni le regole per GPTBot e Google-Extended finché il nuovo segnale non sarà attivo.

Fonti

Ogni giorno racconto l'intelligenza artificiale utile per chi lavora, senza giri di parole. Seguimi su Instagram @fpisanti_, su X @Pisantifra e su TikTok @pisantifrancesco.