Cloudflare neemt het schrijven van je robots.txt over

Cloudflare heeft Bot Preference Sync aangekondigd: een feature die je robots.txt automatisch genereert op basis van je bot-instellingen in het dashboard. Wat je instelt onder Security Settings wordt vertaald naar robots.txt-regels, ingevoegd tussen twee comment-markers, met je bestaande bestand eronder intact. Beschikbaar vanaf de gratis tier, en voor nieuwe klanten standaard ingeschakeld.

Wat het precies doet

De sync werkt vanuit drie categorieën: Search, Agent en Training. Per categorie kies je blokkeren op alle pagina’s, alleen op pagina’s met advertenties, of toestaan. Cloudflare’s eigen bot-lijst bepaalt welke crawler in welke categorie valt. Je kunt geen individuele crawler uitsluiten van de sync. Wil je dat toch, dan moet je de sync uitzetten en je robots.txt handmatig bijhouden.

De redenering achter het product is helder: als je robots.txt iets anders zegt dan wat je edge enforcement doet, geef je kwaadwillende crawlers een argument om je instructies te negeren. Dat botverkeer inmiddels menselijk webverkeer overtreft maakt dit geen theoretisch probleem.

Mijn probleem met de aanpak

Ik begrijp de logica, maar de implementatie deugt niet voor iedereen. Mijn eigen crawler-policy is per bedrijf bepaald: ik sta GPTBot, Anthropic’s crawler en PerplexityBot toe, en blokkeer Bytespider en meta-externalagent. Allemaal trainen ze modellen, maar de vraag die ik stel is: wat krijg ik terug? De eerste drie sturen mijn pagina’s door naar mensen die assistenten vragen stellen. De andere twee nemen en geven niets terug.

Dat is een business decision per crawler, en Bot Preference Sync kan dat niet uitdrukken. Zet je Training op disallow, dan staat er in je robots.txt dat OpenAI niet mag trainen, terwijl je dat prima vindt. Zet je het op allow, dan staat er niets wat Meta en ByteDance onderscheidt van de rest, terwijl je edge gewoon 403 teruggeeft. Er is geen instelling die beschrijft wat ik feitelijk doe.

Cloudflare heeft ook vier voorwaarden gepubliceerd waaraan een crawler moet voldoen om niet als ‘opaque’ te worden beschouwd, en aan die opaciteit hangt blokkering voor elke site die Training op disallow heeft gezet. Geen enkel bedrijf wordt met naam genoemd. Interessant detail: Google voldoet al aan voorwaarde vier (Google-Extended heeft geen invloed op je gewone zoekresultaten), maar niet aan voorwaarde twee, want er bestaat geen manier om je site uit AI Overviews te houden zonder tegelijk je snippets in gewone zoekresultaten te raken. Microsoft heeft dat probleem al opgelost met NOARCHIVE voor Bing Chat.

Wat je nu moet doen

Open je robots.txt en vergelijk die met je feitelijke bot-policy. Dat is de kern van het probleem dat Bot Preference Sync probeert op te lossen, en het is een probleem dat je ook zonder Cloudflare kunt hebben. Gebruik je Cloudflare en ga je de sync aanzetten, lees dan eerst de vier voorwaarden die Cloudflare hanteert. Websites die eenmalig een toggle omzetten en nooit meer naar hun robots.txt kijken, lopen het grootste risico.

Standaardinstellingen accepteren zonder te weten wat ze doen is altijd een slecht idee, zeker als een vendor daarmee namens jouw site een publiek standpunt inneemt over AI-training.

Bron: Search Engine Journal