Cloudflare blokkeert Googlebot samen met AI-bots

Een gebruiker op Reddit meldde dat het inschakelen van Cloudflare’s AI-trainingsblokkering ook Googlebot en Bingbot buiten de deur houdt. Beide zoekmachinecrawlers kregen een HTTP 403-respons bij het ophalen van de sitemap. Zodra de blokkering werd uitgeschakeld, verdween het probleem direct.

Dat klinkt als een randgeval, maar het is het niet. Cloudflare heeft officieel aangekondigd dat dit gedrag vanaf 15 september 2026 de standaard wordt voor nieuwe domeinen.

Wat er technisch aan de hand is

Cloudflare categoriseert Googlebot en Bingbot intern als “mixed-purpose crawlers”: bots die zowel indexeren voor zoekresultaten als data verzamelen voor AI-training. Als je de optie “Block AI Training” of het oudere “Block AI bots” inschakelt, valt Googlebot in dezelfde emmer als de bots die je juist wilt weren.

Na 15 september 2026 worden mixed-purpose crawlers automatisch geblokkeerd door elke configuratie die AI-training blokkeert, ook de legacy-optie. Dat is een fundamentele keuze die Cloudflare maakt namens jou, tenzij je actief opt-out.

De Redditor bevestigde overigens dat het geen kwestie was van gespoofte Googlebot-user-agents. Het Cloudflare-dashboard toonde Googlebot en Bingbot expliciet als geblokkeerd. John Mueller reageerde op de thread en vroeg om een DM om verder te kijken, wat aangeeft dat Google het serieus neemt.

Wat dit voor jou betekent

Als je Cloudflare gebruikt en AI-bots blokkeert, loop je nu al het risico dat je crawl budget wordt aangetast of dat je sitemap onbereikbaar is voor Googlebot. Check dit gewoon even in je Search Console: zie je plotselinge indexeringsproblemen of crawlfouten die je niet kunt verklaren, dan is dit een logische eerste verdachte.

Ik zie dit soort configuratiefouten regelmatig misgaan bij klanten die beveiligingsinstellingen aanzetten zonder de doorwerking te checken. De instelling klinkt onschuldig, maar de impact op je indexering kan fors zijn, zeker op grotere sites waar crawl budget al krap is.

Wat je nu doet:

  • Open je Cloudflare-dashboard en check de AI Crawlers-sectie. Staan Googlebot of Bingbot daar als geblokkeerd?
  • Bekijk je Search Console op 403-fouten in de Coverage- of Crawl Stats-rapporten.
  • Besluit je AI-training te blijven blokkeren, zorg dan dat je vóór 15 september 2026 de nieuwe instellingen begrijpt en eventueel opt-out regelt.

Dit is ook een bredere les: botverkeer overtreft inmiddels menselijk webverkeer, en de platforms die dat verkeer managen, maken nu keuzes die direct raken aan je vindbaarheid. Cloudflare is van een transparante doorgeefluik veranderd in een actieve poortwachter, of je dat nu wil of niet.

Bron: Search Engine Journal