Google’s eigen uitleg over robots.txt: scherper dan je denkt

Gary Illyes en Chery Prommawin hebben in hun videoserie ‘Non-Canonical Cabinet’ een aflevering gewijd aan robots.txt. De boodschap is simpel maar wordt door veel site-eigenaren nog steeds verkeerd begrepen: wat leesbaar is voor een mens, werkt nog niet per se als geldige directive voor een crawler.

Wat Google precies zegt

Het robots.txt-bestand moet voldoen aan RFC 9309. Google’s parser leest het bestand regel voor regel en kent vier geldige commando’s: user-agent, allow, disallow en sitemap. Schrijf je iets anders, dan gooit de parser die regel stilletjes weg. Geen foutmelding, gewoon genegeerd. Je pagina wordt dan gewoon gecrawld.

Drie punten springen er voor mij uit:

Emoji en niet-Engelse tekens in URL-paden. Gebruik percent-encoding als je internationale tekens of emoji in je URL-paden hebt staan. Encoding-inconsistenties kunnen ervoor zorgen dat een regel simpelweg niet matcht, ook al ziet hij er goed uit.

User-agent tokens voor AI-crawlers. Een user-agent token mag alleen letters en koppeltekens bevatten. Een emoji of Cyrillisch teken als user-agent naam werkt dus niet. Wil je een specifieke AI-crawler blokkeren, gebruik dan de officiële user-agent token van die crawler. Dit is iets waar ik klanten regelmatig op moet wijzen: ze denken een AI-crawler te blokkeren, maar de token klopt niet en er gebeurt niets.

Crawlen blokkeren is niet hetzelfde als trainingsdata weigeren. Dit is een punt dat veel mensen door elkaar halen. Als je een AI-crawler blokkeert via robots.txt, voorkom je dat hij je pagina’s bezoekt. Maar content die al eerder is opgehaald, valt daar niet onder. Dat zijn twee verschillende gesprekken.

Robots.txt is geen beveiligingsmechanisme. Het is een verzoek aan welwillende crawlers. Kwaadwillende bots, scrapers of niet-conforme user-agents lappen het gewoon aan hun laars.

Wat je nu moet doen

Check je robots.txt op een paar dingen. Eerst: heb je regels voor AI-crawlers ingevoerd met de juiste, officiële user-agent token? Zo niet, dan doe je niks. Vervolgens: heb je URL-paden met speciale tekens of emoji? Test die dan met Google’s eigen robots.txt-tester in Search Console, want wat jij ziet is niet wat de parser ziet.

En die opmerking over RFC 9309 is geen formaliteit. Als je ooit een robots.txt hebt gekopieerd van een oud stapelplan of een blogpost uit 2018, is de kans reëel dat er ongedocumenteerde directives in staan die Google gewoon negeert. Controleer dit gewoon even in Search Console, dan zie je het zelf.

Bron: Search Engine Roundtable