Wat er aan de hand is

Cloudflare heeft zijn aanpak voor het beheren van AI-crawlers grondig herzien. De nieuwe controls zijn nu live voor alle accounts, inclusief gratis gebruikers. Op 15 september gaan er ook standaardinstellingen veranderen die directe gevolgen kunnen hebben voor je organische vindbaarheid.

Wat er precies verandert

Cloudflare deelt crawlers voortaan op in drie categorieën op basis van gedrag:

  • Search: indexeert je site om later vragen te beantwoorden, gekoppeld aan referral-verkeer
  • Agent: real-time bots die namens een gebruiker handelen, zoals ChatGPT-User of browser agents van Gemini en Claude
  • Training: crawlers die content ophalen om AI-modellen op te trainen of te finetunen

Dat klinkt logisch, maar hier zit de addertje onder het gras. Cloudflare gaat multi-purpose crawlers beoordelen op hun zwaarste categorie. Een crawler die zowel Search als Training doet, krijgt de strengste regel opgelegd. Cloudflare noemt expliciet Googlebot, Applebot en Bingbot als voorbeelden van crawlers die beide doen.

Als jij eerder de optie “Block AI bots” hebt aangezet in je Cloudflare-dashboard, val je automatisch onder deze nieuwe regel. Resultaat: Googlebot geblokkeerd, crawlbaarheid weg.

Voor nieuwe klanten en nieuwe sites van bestaande klanten worden Training- en Agent-crawlers per 15 september standaard geblokkeerd op pagina’s met advertenties. Gratis gebruikers die hun instellingen niet aanpassen worden ook naar deze nieuwe defaults verplaatst.

Waarom dit pijnlijk kan uitpakken

Een robots.txt-blokkade voor Googlebot is vervelend, maar Google kan die negeren. Een Cloudflare-blokkade werkt op netwerkniveau en is niet te omzeilen. Als Googlebot je site niet meer in kan, stop je feitelijk met geïndexeerd worden. Dat zie je op korte termijn misschien niet, maar na verloop van tijd raakt het je rankings.

Ik zie dit soort dingen regelmatig misgaan bij klanten die ooit een instelling hebben aangezet en daarna nooit meer naar hebben gekeken. De “Block AI bots”-toggle leek onschuldig, maar wordt nu een stuk gevaarlijker. Dat botverkeer menselijk webverkeer inmiddels overtreft maakt het extra lastig om hier de juiste keuzes in te maken.

Wat je nu moet doen

Check dit gewoon even in je Cloudflare-dashboard vóór 15 september. Zoek naar je AI-crawler instellingen en kijk of je “Block AI bots” hebt aanstaan of dat Training geblokkeerd is. Besluit dan bewust of je Search-crawlers wil blijven toestaan, los van wat je met Training doet.

Cloudflare wil dat bot-operators hun crawlers gaan opsplitsen per gedrag, maar of Google en anderen dat op korte termijn doorvoeren is de vraag. Tot die tijd zit je met een compromis: blokkeer je AI-training, dan blokkeer je mogelijk ook je zoekzichtbaarheid.

Bron: Search Engine Journal