Cloudflare knipt AI-training los van zoekindexering

Cloudflare heeft op 15 september een nieuwe instelling uitgerold waarmee site-eigenaren AI-training kunnen weigeren zonder hun zoekposities op het spel te zetten. De instelling heet Disallow AI Training, is beschikbaar op alle plannen (ook gratis) en lost een probleem op dat al maanden speelde: wie AI-training blokkeerde, blokkeerde automatisch ook Googlebot.

Wat er precies veranderd is

De kern van de wijziging zit in hoe Cloudflare robots.txt aanpast. Zet je Disallow AI Training aan, dan voegt Bot Preference Sync twee regels toe: een voor Google-Extended en een voor Applebot-Extended. Dat zijn de tokens die Google en Apple uitsluitend gebruiken voor AI-training. Googlebot zelf, voor reguliere indexering, blijft gewoon doorgelaten.

Voor Amazon, Anthropic, Meta en OpenAI werkt het anders: die runnen al aparte crawlers voor training en search, en Cloudflare blokkeert hun trainingscrawlers sowieso al.

Google, Apple en Microsoft hebben zich bij Cloudflare vastgelegd aan vier voorwaarden om als “Accountable” te worden bestempeld: een opt-out via robots.txt, een opt-out voor AI-samenvattingen, URL-level inzicht in welke pagina’s zijn gebruikt voor training, en de garantie dat opt-out geen invloed heeft op rankings. Toch is niet alles al geregeld: Microsoft blijft achter. Bingbot leest de robots.txt-regel voor training pas vanaf begin 2027. Tot die tijd is een NOARCHIVE meta-tag de enige manier om Bing van je trainingdata te houden.

Interessante bijvangst in de data

SeenSure mat het effect bij 1.046 sites op 14 en 16 september. Van de 746 Cloudflare-sites weigerden er meer AI-trainingscrawlers na de wijziging: GPTBot-weigeringen stegen van 18,9% naar 22,0%, ClaudeBot van 19,9% naar 22,8%. Maar opvallender: weigeringen van AI-zoekcrawlers daalden juist hard. OAI-SearchBot (de crawler achter ChatGPT search) werd vóór de wijziging door 16,9% van de Cloudflare-sites geweigerd, daarna nog maar door 3,0%. ChatGPT search en Perplexity kunnen dus nu veel meer Cloudflare-sites bereiken dan een week geleden. Dit is relevant als je nadenkt over je zichtbaarheid in AI-antwoorden en hoe die zich verhoudt tot klikverkeer.

Wat je nu moet checken

Mijn advies: ga niet klakkeloos op Disallow AI Training klikken zonder na te denken over je businessmodel. Cloudflare zegt het zelf ook: voor sites zonder advertentie-inkomsten is de aanbevolen standaard Allow. Een merk dat wil dat AI-tools hem kennen en noemen, heeft er mogelijk baat bij in trainingsdata te zitten.

Voor publishers die leven van advertenties op hun eigen content is de keuze logischer. Maar realiseer je: een robots.txt-regel is een verzoek, geen afdwingbare blokkade. Cloudflare kan crawlers detecteren die het negeren, maar bij Google, Apple en Microsoft vertrouwt het bedrijf op gemaakte afspraken.

Praktisch voor jou:

  • Check je robots.txt na het aanzetten van de instelling op de aanwezigheid van Google-Extended en Applebot-Extended
  • Controleer in je server logs of Googlebot nog gewoon 200-statuscodes terugkrijgt
  • Voeg voor Bing tijdelijk een NOARCHIVE meta-tag toe als je Bing-training wil blokkeren
  • Leg je huidige AI-zichtbaarheidscijfers vast vóór je de instelling wijzigt, zodat je het effect kunt meten

De instelling voor AI-samenvattingen (zoals AI Overviews) is nog niet beschikbaar bij Cloudflare. Dat staat op de planning voor volgend jaar. Training en verschijnen in AI-antwoorden zijn dus nog steeds twee aparte knoppen, en voorlopig heb je er maar één.

Bron: Semrush Blog