Cloudflare gooit de alles-of-niets-aanpak overboord
Cloudflare heeft zijn AI-botbeheer grondig verbouwd. Waar je tot nu toe alleen een globale schakelaar had om alle AI-crawlers te blokkeren, kun je voortaan kiezen per categorie: Search (indexatie door zoekmachines), Training (data voor AI-modellen) en Agent (bots die namens gebruikers handelen, zoals ChatGPT). Die opsplitsing klinkt technisch, maar heeft directe gevolgen voor hoe jouw site vindbaar blijft in zowel klassieke search als AI-gedreven omgevingen.
Wat er precies verandert
De drie categorieën zijn los van elkaar in te stellen. Vanaf 15 september 2026 geldt bovendien een automatische regel: op pagina’s met advertenties worden Training- en Agent-bots standaard geblokkeerd. De redenering van Cloudflare is helder, advertenties signaleren dat je menselijke bezoekers wilt. Search-crawlers blijven op zulke pagina’s gewoon doorgelaten.
Een belangrijk detail voor iedereen die Googlebot in het vizier houdt: multi-purpose crawlers die zowel indexeren als trainen, worden beoordeeld volgens de strengste van de twee toepasselijke regels. Dat is een punt waar ik klanten al vaak op zie struikelen. Ze denken dat Googlebot altijd veilig is, maar als jouw instellingen Training-bots blokkeren en Googlebot in die categorie valt, kun je jezelf crawl budget kosten.
Voor enterprise-klanten komt er ook BotBase, een doorzoekbare database van bekende bots met uitleg over hoe ze content gebruiken: alleen linken, of voluit reproduceren. Handig als je wilt weten wie er precies over je site heen loopt. Verder vervalt de automatische doorgang voor zogenaamd geverifieerde bots. Verificatie alleen is niet meer genoeg, bots moeten zich eerlijk identificeren en hun toegang niet misbruiken.
Wat dit voor jou betekent als SEO of marketeer
Dit raakt direct aan een bredere trend: botverkeer heeft menselijk webverkeer inmiddels overtroffen, en de vraag wie jouw content mag consumeren wordt steeds strategischer. Tegelijk zie je dat Google steeds minder verkeer doorstuurt naar het open web, wat de waarde van iedere menselijke bezoeker vergroot.
Mijn advies: check nu in je Cloudflare-dashboard welke instellingen er actief zijn, zeker als iemand in je organisatie ooit op die grote blokkeerknop heeft gedrukt. Je wilt niet dat je Search-crawler per ongeluk vastzit in een Training-blokkade. Heb je advertenties op je site, dan wordt de nieuwe standaardregel na 15 september automatisch van kracht. Controleer of dat strookt met je eigen strategie voor AI-zichtbaarheid.
Cloudflare duwt bot-operators hier ook richting transparantie. Dat is op termijn goed voor het ecosysteem, maar op de korte termijn moet jij gewoon weten wat er in jouw dashboard staat. Ga het even nakijken.
Bron: The Decoder