Sito aperto alle persone, chiuso all'IA

Il guasto più costoso di settembre non sembra affatto un guasto. Il sito si apre, il design è al suo posto, il responsabile entra dal telefono e vede tutto. Intanto le posizioni scendono, Google Ads scrive "Destination not accessible" e nelle risposte IA il sito non c'è più. Nell'analisi uscita il 7 settembre 2026 la situazione è descritta alla lettera: a luglio 2026 un fornitore ha attivato su Cloudflare il blocco di tutti i bot, ci è finito dentro anche Googlebot e insieme all'organico è caduta la pubblicità. Qui sotto trovi chi va rimesso esplicitamente in lista bianca e perché il secondo canale di perdite, gli script al posto dei link, nei report non si vede proprio.

Da dove arriva l'ondata di 403

Il 1 luglio 2026 Cloudflare ha tolto l'interruttore unico "blocca i bot IA" e ha diviso i bot in tre categorie: Search, Agent, Training. Le opzioni sono disponibili per tutti, piano gratuito compreso. Suona come un miglioramento, e lo è, con una sola postilla che quasi nessuno ha letto fino in fondo.

La postilla è che una parte dei crawler viene considerata da Cloudflare a uso misto: sono contemporaneamente ricerca e addestramento. Nei misti rientrano Googlebot, Bingbot e Applebot. Qualunque configurazione che blocca l'addestramento, inclusa la vecchia opzione "Block AI bots", blocca anche loro. L'avviso è stato pubblicato il 5 agosto 2026, ma le impostazioni la gente le ha cliccate a giugno e luglio.

Il 4 agosto 2026 Search Engine Journal ha riportato un messaggio da r/SEO: con AI Training = Block insieme al Bot Fight Mode attivo, Googlebot e Bingbot ricevevano HTTP 403 nel tentativo di prendere la sitemap, e nella sezione AI Crawlers del pannello Cloudflare entrambi risultavano bloccati. In un thread della Cloudflare Community il proprietario di un sito scrive che già a inizio luglio 2026 le richieste verificate di Googlebot ricevevano 403 con la nota nei Security Events: "Blocked by 'Block AI training crawlers'".

E poi c'è una data importante. Dal 15 settembre 2026 cambiano i valori predefiniti di Cloudflare: per i nuovi domini i bot delle categorie Training e Agent vengono bloccati sulle pagine dove viene mostrata pubblicità, Search resta consentito. Cioè un dominio nuovo ora arriva con il blocco già attivo, e va gestito non dopo la lamentela, ma prima del lancio.

1. 1 luglio 2026Cloudflare divide i bot in Search, Agent, Training
2. 4 agosto 2026segnalazione di 403 per Googlebot e Bingbot sulla sitemap
3. 5 agosto 2026avviso: Googlebot, Bingbot, Applebot sono considerati misti
4. 31 agosto 2026report sulle superfici IA in tutte le Search Console
5. 15 settembre 2026nuovi valori predefiniti di blocco per i nuovi domini

Perché ha smesso di essere una storia rara

Un anno fa il blocco dei crawler era un tema per una decina di grandi editori. Adesso è lo sfondo. Secondo i dati di Cloudflare la quota di risposte 4xx su tutti i crawler della loro rete è stata del 35,79% a luglio 2026 contro il 14,04% di luglio 2025, una crescita di 21,75 punti. Le serie settimanali lo confermano: dall'11,70% al 16,77% nel 2025 e dal 34,85% al 37,10% nel 2026.

Il motivo è chiaro. Secondo le statistiche Cloudflare di giugno 2026 i crawler di addestramento hanno generato il 50,6% del traffico dei bot dei modelli, quelli di ricerca solo il 10,7%, e più della metà delle scansioni ha riguardato pagine non cambiate dalla visita precedente. A giugno 2026 il capo di Cloudflare Matthew Prince ha dichiarato che il traffico dei bot ha superato per la prima volta quello umano. Quando dai log si vede che metà del carico è il travaso di pagine immutate nel dataset di qualcuno, il pulsante "vieta" si preme da solo. Il punto è solo capire cosa ci finisce sotto insieme.

C'è un altro dettaglio che cambia le abitudini: la gestione dei bot si è spostata dal livello del robots.txt al livello dell'infrastruttura. Le categorie di Cloudflare, i Content Signals con il campo use (immediate, reference, full), l'identificazione crittografica Web Bot Auth. Shopify dal 7 maggio 2026 applica limiti più duri ai bot che non firmano le richieste tramite Web Bot Auth. Le modifiche al robots.txt non spariscono, semplicemente ora non sono l'unico posto dove il tuo sito dice "no" a un bot.

Chi tenere sempre in lista bianca

La lista è corta, e non parla di IA. Sono i bot senza i quali si rompono ricerca, pubblicità e feed di prodotto.

• Googlebot
• Google InspectionTool
• AdsBot-Google
• AdsBot-Google-Mobile
• Storebot-Google

Su AdsBot esiste una posizione ufficiale, e chiude la discussione. La guida di Google Ads su "Destination not accessible" indica esplicitamente come cause i codici 404 e 403 durante la scansione di AdsBot, il divieto di AdsBot nel robots.txt e le configurazioni server che bloccano l'accesso. La raccomandazione, sempre lì: aggiungere in lista bianca gli user agent AdsBot-Google e AdsBot-Google-Mobile e garantire l'accessibilità del sito da tutti i paesi. L'ultimo punto fa male soprattutto a chi chiude mezzo mondo con un geofiltro a livello di CDN: il bot arriva da dove non te lo aspetti.

Google InspectionTool è ciò che usa il controllo URL in Search Console. Storebot-Google gira sulle pagine prodotto. Se non li lasci passare, non ottieni un calo di posizioni ma una stranezza: nei report è tutto vuoto e dal supporto ti dicono "da noi è tutto a posto".

Perché la spunta verde in Search Console non dimostra nulla

Nella stessa analisi del 7 settembre 2026 c'è una frase che vale da sola la lettura: un controllo riuscito tramite URL Inspection conferma l'accesso del bot di ricerca, ma non dimostra l'accesso di AdsBot. Sono user agent diversi, e una regola nel CDN può far passare uno e tagliare l'altro.

Quindi l'ordine di verifica è questo: prima i log per user agent degli ultimi 30 giorni, poi gli eventi di sicurezza nel pannello del CDN, e solo dopo gli strumenti di Google. Nei log non vedi un'opinione, vedi i codici di risposta. Se Googlebot arriva e riceve 403, lì ci sarà 403, e nessuna spunta nell'interfaccia lo coprirà. Da me questo controllo lo faccio una volta al mese e dopo ogni intervento sull'infrastruttura, fatto da altri o da me [serve un numero: quante volte in un anno ho trovato una regola di troppo].

Cosa ha mostrato l'esperimento di 41 giorni

La seconda metà delle perdite è tecnica, ma di tutt'altro tipo. Vinicius Stanula, Associate Director SEO in LOCOMOTIVE, ha condotto un test di 41 giorni e lo ha descritto su Search Engine Land. Sul sito sono state create 11 sezioni raggiungibili con link in HTML puro e 10 sezioni con link inseriti tramite JavaScript. La sitemap restituiva 404, breadcrumb e pannelli di gerarchia erano stati rimossi, cioè al bot restavano solo i link.

Risultato: Googlebot è arrivato al 2% delle pagine accessibili tramite link JS. Mentre GPTBot, ClaudeBot, Bingbot, i crawler di Meta e Amazonbot hanno trovato praticamente zero pagine di quel tipo.

Il dato è coerente con una misurazione precedente di Vercel e MERJ di dicembre 2024: nessun grande crawler IA ha mostrato esecuzione di JavaScript. I crawler di ChatGPT scaricavano file JS nell'11,50% delle richieste, quelli di Claude nel 23,84%, ma non li eseguivano. Scaricare ed eseguire non sono la stessa cosa, ed è proprio su questa differenza che spariscono cataloghi, filtri, blocchi caricati al clic e feed infiniti.

Da qui la pratica è semplice. Apri la pagina, disattivi JavaScript nel browser, guardi cosa resta. Se resta una cornice vuota al posto di prodotti e testo, per i bot IA quella pagina non esiste. I link devono essere tag a con attributo href, non gestori di clic, e le pagine principali devono stare in una sitemap che restituisce 200.

Come accorgersi di essere sparito dalle risposte IA

Il guaio in più è che questa sparizione nei report abituali non si vede. Le posizioni classiche possono restare ferme, il traffico organico scorrere tranquillo, e intanto dalle risposte IA il sito è scomparso. Nel report mensile standard quella colonna semplicemente non c'è.

Qualcosa Google lo dà già. Il 3 giugno 2026 in Search Console sono partiti i report Search Generative AI performance, e il 31 agosto 2026 sono stati estesi a tutti i siti del mondo. Ci sono impressioni, pagine, paesi, dispositivi e date. I clic no. Lo stesso 31 agosto 2026 è stato attivato a livello globale l'interruttore che permette di escludere i contenuti dalla visualizzazione nelle superfici IA di Google, incluse AI Overviews, AI Mode e le funzioni generative in Discover. Nei report sono comparse anche le visualizzazioni per piattaforme terze, tra cui Instagram, YouTube e TikTok.

E un limite da conoscere in anticipo: i dati generativi vivono solo nell'interfaccia. Una verifica dell'11 agosto 2026 ha mostrato che né la Search Analytics API né l'esportazione in BigQuery restituiscono quei numeri. Quindi una dashboard automatica sulla visibilità IA per ora non si costruisce, tocca entrare a mano e fare screenshot settimana per settimana. Impressioni senza clic, nessuna esportazione, buchi nello storico: i dati ci sono, ma non ci si può appoggiare come su un normale report per query.

Perché è presto per dare la colpa all'algoritmo

Quando le posizioni scendono, la prima ipotesi è sempre la stessa: un update. Controlliamo il calendario. L'ultimo aggiornamento di ranking confermato è uno spam update: lanciato il 18 agosto 2026 verso le 12:30 ora della costa est degli Stati Uniti, concluso il 21 agosto 2026 alle 4:50, rollout di circa 2,5 giorni, globale e per tutte le lingue, terzo spam update del 2026. Tutto il resto che è calato a settembre è più probabile che sia tecnica: accesso dei bot, rendering, landing rotte.

Qui rientra anche un'altra storia di settembre. Google Data Manager cambia lo schema di raccolta dati sul sito, l'analisi dei rischi è uscita l'8 settembre 2026. Il senso è lo stesso: mentre tutti discutono della qualità dei testi, si rompe lo strato che nessuno guarda, perché ha sempre funzionato.

Cosa fare questa settimana

1. Aprire i log degli ultimi 30 giorni e trovare tutte le risposte 403 e 404 per user agent: Googlebot, AdsBot-Google, AdsBot-Google-Mobile, Google InspectionTool, Storebot-Google.
2. Nel pannello del CDN verificare che non sia attivo il blocco dei crawler di addestramento o una modalità anti bot che colpisce i crawler misti. Per i nuovi domini farlo prima del 15 settembre 2026, non dopo.
3. Disattivare JavaScript nel browser e passare per tre pagine tipo: home, categoria, prodotto o articolo. Ciò che non si vede senza script non esiste per i bot IA.
4. Assicurarsi che la sitemap restituisca 200 e che i link importanti siano tag a con href.
5. Entrare nei report sulle superfici IA in Search Console, registrare le impressioni attuali per sezione e mettersi un promemoria per rilevarle una volta a settimana. L'esportazione non c'è, lo storico da solo non si crea.

Bloccare i crawler di addestramento, tra l'altro, è una scelta normale. Non è normale scoprire chi hai bloccato da una mail sulla pubblicità sospesa. Se vuoi, guardo il tuo caso su log e impostazioni, scrivimi al supporto.