'Blocca tutti i bot AI' ti sta costando visibilità

Una Disallow riga, due bot molto diversi

Quando la maggior parte dei siti ha aggiunto blocchi per i bot AI, stava pensando ai dati di addestramento, e questo era ragionevole. Ma i crawler si sono moltiplicati nel frattempo. OpenAI ora gestisce tre bot distinti. Anthropic ha seguito all'inizio del 2026. Un blocco generico Disallow: / per uno qualsiasi di questi nomi cattura sia il crawler di addestramento sia il crawler di ricerca/recupero, e bloccare solo uno di questi ti danneggia.

La documentazione di OpenAI è inequivocabile: "I siti che hanno scelto di non partecipare a OAI-SearchBot non verranno mostrati nelle risposte di ricerca di ChatGPT." La stessa logica si applica a Claude-SearchBot e Claude-User. Bloccali e ti escludi dalla citazione nelle risposte AI in tempo reale. Questo va ben oltre l'addestramento del modello futuro che intendevi fermare.

La riga di Google merita una nota a parte. Le Panoramiche AI di Google sono integrate nel suo crawler di ricerca principale; bloccare Google-Extended ti esclude dall'addestramento di Gemini, ma non fa nulla per rimuoverti dalle Panoramiche AI. La distinzione è importante.

GPTBot guida la lista dei blocchi - e continua a crescere

TechnologyChecker.io ha scansionato 29,9 milioni di domini attivi nel Q1 2026 e ha classificato i crawler AI per quota di DISALLOW regole. Il risultato: GPTBot si posiziona in cima, superando già il più vecchio CCBot. La maggior parte di questi blocchi sono stati scritti prima che la distinzione tra training/ricerca fosse ampiamente compresa - il che significa che una grande quota sta silenziosamente escludendo quei siti dalla citazione nei motori di ricerca AI.

Un'analisi di BuzzStream su 100 editori di notizie tra i primi negli Stati Uniti e nel Regno Unito (gennaio 2026) ha rilevato che il 79% blocca almeno un bot di training - tuttavia Google-Extended è stato il crawler di training meno bloccato, con il 46% complessivo, con gli editori statunitensi (58%) ben avanti rispetto a quelli britannici (29%). Gli editori vogliono chiaramente bloccare - sono solo poco precisi su come lo fanno.

416 miliardi di richieste bloccate in cinque mesi

Quando Cloudflare ha dichiarato il "Content Independence Day" il 1° luglio 2025 e ha iniziato a bloccare i crawler AI per impostazione predefinita sui nuovi domini, ci ha fornito il primo quadro su larga scala di quanto crawling AI stia avvenendo. Il CEO di Cloudflare, Matthew Prince, ha rivelato il totale al WIRED's Big Interview nel dicembre 2025: 416 miliardi di richieste di bot AI respinte in circa cinque mesi - circa 2,8 miliardi al giorno. Si tratta di un'operazione di estrazione su scala industriale che funziona 24 ore su 24.

Prince ha anche quantificato il vantaggio strutturale di Google in numeri chiari (gennaio 2026, depositato insieme alla consultazione del CMA del Regno Unito): "Google sfrutta il suo monopolio nella ricerca per vedere 3,2 volte più del web rispetto a OpenAI, 4,8 volte più di Microsoft e più di 6 volte più di quasi tutti gli altri." Tale asimmetria significa che bloccare i crawler di Google costa molta più visibilità che bloccare l'equivalente di qualsiasi altro fornitore.

Pay-per-crawl: si sta formando una via di mezzo

Invece di un blocco/consenso binario, gli editori stanno iniziando a far pagare per l'accesso. Il marketplace Pay Per Crawl di Cloudflare (annunciato nel 2026) consente agli editori di restituire una HTTP 402 Payment Required risposta con un header crawler-price; Cloudflare agisce come Merchant of Record. Oltre un miliardo di tali risposte vengono già inviate al giorno sulla rete di Cloudflare.

Stack Overflow ha reso concreta la divisione nel febbraio 2026: un accordo di licenza con Cloudflare addebita l'accesso per l'addestramento commerciale mantenendo al contempo il contenuto della community liberamente leggibile. I dati di addestramento hanno valore; il recupero delle ricerche aiuta la community. Far pagare per uno mentre si consente l'altro è ora una decisione di prodotto attiva - le aziende la stanno effettivamente implementando.

Non tutti i blocchi sono sbagliati

Questo post non sostiene l'accesso a tutto a porte aperte. Ci sono valide ragioni per tenere fuori i crawler di addestramento, e dovresti ponderarle:

• I dati di addestramento hanno un valore reale. Se il tuo contenuto è originale e autorevole, i crawler di addestramento ne stanno estraendo valore gratuitamente. L'accordo di Stack Overflow stabilisce un precedente per far pagare invece di regalare.
• I crawler di addestramento non forniscono attribuzione né traffico di riferimento. A differenza delle citazioni dei search bot, i passaggi di addestramento non lasciano alcuna traccia: il tuo contenuto migliora un modello senza alcun riconoscimento e senza alcun link di ritorno.
• Rischio di proprietà intellettuale e competitivo. Se il tuo contenuto è proprietario o sufficientemente specifico per il dominio da costituire un fossato, potresti non volerlo incorporato in un LLM pubblico che qualsiasi concorrente può interrogare.

L'argomento qui è ristretto: blocca deliberatamente i crawler di addestramento se scegli di farlo, ma fallo per nome, in modo che una regola generale non blocchi anche i bot di ricerca/recupero che generano citazioni e visibilità.

Un'altra avvertenza: l'applicazione di robots.txt è volontaria. Bytespider ha una storia documentata di ignorarla. Gli spoofers utilizzano regolarmente user-agent di Chrome per evitare il rilevamento. Una voce robots.txt segnala la tua preferenza e ti fornisce una base legale per una denuncia; non impedisce tecnicamente l'accesso. Il controllo reale richiede regole lato server, configurazione WAF e segnali di bot verificati (la gestione dei bot di Cloudflare può verificare i crawler legittimi tramite IP e impronta digitale TLS prima di consentire loro l'accesso o addebitarli). Considera robots.txt come il tuo primo livello, quindi supportalo con i controlli lato server sopra menzionati.

Blocca i bot di addestramento per nome

Un file robots.txt che distingue l'addestramento dalla ricerca si presenta così:

Il secondo passo è verificare se il tuo CDN o WAF ha già preso questa decisione per te. Cloudflare ha iniziato a bloccare i crawler AI per impostazione predefinita su tutti i nuovi domini dal 1° luglio 2025. Se hai configurato o migrato un dominio dopo tale data, i crawler AI potrebbero essere già bloccati a livello di rete, inclusi i bot di ricerca che potresti voler consentire. Controlla le impostazioni di Sicurezza → Bot di Cloudflare prima di presumere che il tuo robots.txt stia facendo il lavoro.

Il terzo passo è misurare la tua attuale visibilità AI in modo da sapere cosa hai da perdere o guadagnare. Questo è ciò che fa lo scanner di brand di Baseline.

Verifica la tua visibilità AI