Cloudflare fornisce nuovi strumenti ai suoi clienti per controllare come i bot dell'intelligenza artificiale accedono ai loro siti web. Dal luglio 2026, invece di un blocco totale, i proprietari di siti web possono scegliere tra tre categorie per il controllo dell'accesso.

Categorie di bot dell'intelligenza artificiale

Le categorie disponibili sono:

    • Ricerca – per l'indicizzazione da parte dei motori di ricerca.
    • Addestramento – per la raccolta di dati a scopo di addestramento dei modelli di AI.
    • Agente – per i bot che agiscono a nome degli utenti, ad esempio come ChatGPT.

I nuovi controlli per i bot dell'AI nella dashboard di Cloudflare permettono il controllo separato del traffico per Ricerca, Addestramento e Agenti bot. | Immagine: Cloudflare

Blocco predefinito e politiche di priorità

A partire dal 15 settembre 2026, i bot di addestramento e agenti saranno bloccati per default sulle pagine che contengono pubblicità, poiché la presenza di annunci indica che il sito mira prevalentemente a visitatori umani.

I bot di ricerca continueranno invece ad essere permetti. I crawler multiuso, come Googlebot, che addestrano e cercano contempo, saranno trattati in base alla regola più restritiva.

Gli strumenti di controllo sono disponibili anche agli utenti con piano gratuito.

Su Google e il traffico dei bot

Il CEO di Cloudflare, Matthew Prince, aveva precedentemente criticato Google per l'uso congiunto del crawler di ricerca e di AI.

Nel giugno 2026, Prince ha osservato che il traffico da parte dei bot aveva superato per la prima volta l'accesso da parte degli umani sul web, indicando che il risultato è arrivato prima rispetto alle sue aspettative, inizialmente previste inizialmente per fine 2027.

Sul lato enterprise

I clienti enterprise beneficiano di un ulteriore strumento: BotBase, un database integrato nella dashboard dove vengono elencati tutti i bot noti.

BotBase mostra la classificazione di ogni bot e la sua tipologia d'uso dei contenuti, specificando se li linka o li copia in toto.

Nuove regole per i bot verificati

Cloudflare sta cambiando anche le norme per i bot verificati. In precedenza, tutti i bot verificati venivano automaticamente consentiti. Da adesso, invece, l'etichetta "Verificato" non garantisce più l'accesso: i bot dovranno dimostrare di identificarsi in modo corretto e di non abusare degli accessi ricevuti.

Opzioni aggiuntive per i bot

Cloudflare sta spingendo gli operatori dei bot a dividere i crawler in base al loro scopo, offrendo strumenti che promuovono la trasparenza. Questa suddivisione aiuterà le aziende ad avere un controllo maggiore e più mirato sui tipi di accesso ai loro contenuti.

Offerte per gli utenti

Cloudflare invita inoltre i lettori a sottoscrivere THE DECODER, una newsletter settimanale sulle notizie sull’AI senza enfasi, un report trimestre sull’AI Radar, accesso all'archivio completo, e interazione nel commento.