Wat er veranderd is

Cloudflare heeft een nieuwe instelling uitgerold: Disallow AI Training. Die doet precies wat de naam belooft, namelijk AI-trainingscrawlers blokkeren via je robots.txt, zonder dat Googlebot, Applebot of Bingbot daarbij het slachtoffer worden. Sites die eerder de Block- of Block on pages with ads-optie hadden ingeschakeld, worden automatisch gemigreerd naar deze nieuwe instelling.

Vóór 15 september was het een alles-of-niets-verhaal. Koos je voor de Block-optie, dan blokkeerde je in de praktijk ook de grote zoekmachinecrawlers, want die gebruiken hun bots voor zowel search als AI-training. Dat was voor veel site-eigenaren een onaangename verrassing.

Hoe het nu werkt

Cloudflare werkt met een eigen keurmerk: “Accountable”. Crawlers van partijen die aan vier eisen voldoen, krijgen dat label en mogen je site blijven bezoeken voor search onder Disallow AI Training. Die eisen draaien om opt-outmogelijkheden via robots.txt, transparantie over welke URL’s gebruikt zijn voor training, en de garantie dat je opt-out geen effect heeft op je gewone zoekresultaten.

Google, Apple en Microsoft voldoen volgens Cloudflare aan die eisen. Bij Google werkt het via een Disallow-regel voor Google-Extended in je robots.txt, de token die je content uitsluit van Gemini-training zonder je rankings te raken. Apple doet hetzelfde met Applebot-Extended. Bing loopt achter: Microsoft moet nog ondersteuning toevoegen voor robots.txt-gebaseerde training opt-outs, dat staat gepland voor begin 2027.

Wil je mixed-use crawlers volledig van je site weren, inclusief voor search? Dan moet je expliciet kiezen voor Block. Dat is nu dus de nucleaire optie.

Een kanttekening voor Bing: Disallow AI Training stuurt Bingbot voorlopig geen no-training-signaal via robots.txt. De huidige manier om je content uit Microsoft’s AI-training te houden is de NOARCHIVE meta tag. Let op: die tag zorgt er ook voor dat je links niet in Copilot-antwoorden verschijnen, iets om goed over na te denken als je AI-zichtbaarheid bij Bing op de radar hebt.

Wat dit betekent voor jou

Ik zie dit soort dingen vaak misgaan bij klanten die denken dat ze “AI gewoon hebben geblokkeerd” terwijl ze in werkelijkheid hun crawlbaarheid voor Google hebben gesloopt. Check dit gewoon even in je Cloudflare-dashboard als je ooit een AI-blokkade hebt ingesteld.

Wat ook op je radar moet staan: Disallow AI Training bepaalt niet of je in AI Overviews verschijnt. Dat regel je apart in Search Console. Twee heel verschillende schakelaars, maar ze worden voortdurend door elkaar gehaald.

Cloudflare kondigt ook aan dat Google binnenkort URL-level transparantietools uitrolt voor Google-Extended, zodat je kunt zien welke pagina’s beschikbaar zijn gesteld voor training. Handig als je wilt weten waar je content precies terecht is gekomen.

Mijn conclusie: de nieuwe scheiding tussen “geen AI-training” en “geen crawl voor search” is een verbetering die al veel te lang op zich heeft laten wachten. Maar vertrouw niet blind op automatische migraties. Ga even langs in je dashboard en controleer wat er voor jouw domein nu daadwerkelijk actief is.

Bron: Search Engine Journal