Il 30 ottobre Google e Microsoft hanno annunciato che leggeranno un segnale comune nel robots.txt per sapere se un sito accetta che i suoi contenuti vengano usati per addestrare l’AI. OpenAI e Anthropic, secondo la stampa di settore, vanno nella stessa direzione. Per chi gestisce il sito di un brand, di un museo o di un festival è la prima volta che basta una regola sola per tutti. Funzionerà però dal 2027, e la scelta vera è un’altra.
Cosa è successo
Su Search Central, il blog di Google per chi gestisce siti, John Mueller ha scritto che Google supporterà un controllo condiviso per l’addestramento AI nel robots.txt, basato sul lavoro del gruppo AI Preferences dell’IETF, l’ente che scrive gli standard di internet. Se un sito usa il nuovo segnale per dire no e non nomina esplicitamente Google-Extended (il controllo che Google offre dal 2023), Google lo tratterà come un no a Google-Extended. Le regole dedicate alle singole aziende restano valide. Sui tempi Google scrive che punta a supportarlo «in 2027», mentre Engadget parla di inizio 2027: le due versioni non coincidono e noi ci teniamo quella di Google.
Il segnale è descritto in un Internet-Draft pubblicato lo stesso giorno da Kevin Kelley di Anthropic. La sintassi è quella che chi fa siti conosce già: al posto del nome di un crawler, nella riga User-Agent si scrive __usage_ai-training, poi le solite regole Disallow e Allow. L’esempio del documento dice no all’addestramento su tutto il sito tranne la cartella del press kit. È una bozza individuale alla versione 00, che scade il 3 maggio 2027 se non viene aggiornata: non è ancora uno standard.
Ciao! Questo articolo è scritto grazie a Molly, l’IA di Enzima che ogni giorno seleziona gli ultimi trend, news e prodotti sul panorama pubblicitario e tecnologico. Seguici per saperne di più.
Microsoft è andata più avanti. Sul blog di Bing Krishna Madhavan spiega che dal 1° febbraio 2027 Bing rispetterà il segnale condiviso e ne aggiunge uno suo, pagina per pagina, sul grounding: l’uso dei contenuti per costruire le risposte di Copilot, Bing e Microsoft 365. Le opzioni sono tre. Allow, che è il default; DisallowExtended, che tiene la pagina nei prodotti Microsoft ma la esclude dai servizi venduti ad altre aziende; Disallow, che la toglie del tutto. Chi oggi usa i vecchi tag NoArchive e NoCache ha tempo fino al 1° marzo 2027 per passare ai nuovi, poi Bing smette di leggerli come preferenza.
Per OpenAI e Anthropic non abbiamo letto un testo ufficiale completo. Secondo Engadget OpenAI implementerà il segnale «in the coming months», mentre su Anthropic le fonti non concordano: Engadget scrive che ha già iniziato a supportarlo, How2Shout che ha iniziato a implementarlo e che ci vorrà tempo per coprire tutti i suoi servizi.
Cosa vale per l’Italia
Il robots.txt non ha confini, quindi le date valgono anche per i siti italiani. Google collega la proposta al Codice di condotta europeo per i fornitori di modelli di uso generale previsto dall’AI Act, che riconosce il robots.txt come strumento principale per esprimere queste preferenze. In Italia la notizia è già girata su diverse testate tech e SEO, tra cui TecnoAndroid.
Quello che non sappiamo: quando OpenAI lo attiverà davvero, se il segnale arriverà a diventare uno standard nella forma attuale e cosa succede ai contenuti già raccolti. Engadget scrive che vale solo per il futuro, il draft non lo dice in modo esplicito.
Cosa ne pensiamo
Una regola sola al posto di una lista di bot da tenere aggiornata è un passo avanti. Lo diciamo con un po’ di imbarazzo: il robots.txt di enzima.io oggi non dice niente sull’AI. Siamo in buona compagnia, ma la scelta conviene farla adesso.
Secondo noi però la domanda giusta non è «blocco o non blocco». Sono due domande diverse. Volete che i vostri testi e le vostre immagini servano ad addestrare i modelli? E volete che i chatbot vi citino quando qualcuno chiede quale mostra vedere nel weekend o quale agenzia contattare? Microsoft lo scrive chiaro: chi limita il grounding vedrà «reduced brand visibility in AI experiences», e nessuna delle due scelte garantisce traffico o compensi. Per un museo che racconta una mostra, per un festival che vende biglietti, per un ente che informa i cittadini, sparire dalle risposte dell’AI è un costo concreto.
Poi c’è il limite di fondo. Il robots.txt esprime una preferenza, non chiude la porta. Le aziende che hanno aderito promettono di rispettarla, gli altri possono ignorarla. Se avete contenuti che non devono uscire, come materiali riservati o archivi su licenza, la protezione vera passa da accessi e contratti.
Un dettaglio tecnico ha conseguenze pratiche: secondo How2Shout il draft non considera la regola generica «User-Agent: *» come una preferenza sull’addestramento. Chi pensa di aver già bloccato tutto, quindi, per l’AI potrebbe non aver detto niente.
Per chi produce tanti contenuti la scelta si fa per cartelle, non per sito intero. Nel Tour Mondiale Amerigo Vespucci la produzione era fatta di photo storytelling quotidiano e video in tempo reale dai porti: materiale che un ente vuole proteggere come patrimonio e, allo stesso tempo, vedere citato e raccontato. Il press kit dell’esempio nel draft non è lì per caso.
Cosa vi consigliamo di fare
- Aprite il vostro robots.txt (è all’indirizzo vostrosito.it/robots.txt) e guardate cosa dice oggi su GPTBot, Google-Extended, ClaudeBot. Se non c’è niente, la preferenza di default è sì.
- Decidete separatamente su addestramento e citazioni nelle risposte. Sono scelte con effetti diversi su visibilità e diritti.
- Ragionate per cartelle: archivio, area riservata, blog, press kit, pagine evento. Il segnale lavora per percorsi, sfruttatelo.
- Se usate NoArchive o NoCache per Bing, segnate il 1° marzo 2027 in calendario e passate ai nuovi tag prima.
- Coinvolgete chi segue legale e diritti, soprattutto se pubblicate foto e testi di autori esterni: il robots.txt non sostituisce le licenze.
Se volete capire cosa dice oggi il vostro sito alle AI e decidere cosa lasciare aperto e cosa no, è un lavoro che facciamo nell’area AI & Automation.
Parliamone: scrivici a hello@enzima.io.