Robots.txt doet minder dan je denkt

Gary Illyes van Google heeft in een nieuwe Search Central-video een veelgehoord misverstand rechtgezet: robots.txt, zoals gedefinieerd in RFC 9309, regelt welke URLs een crawler mag ophalen. Wat er daarna met die content gebeurt, valt buiten de scope van het protocol. Dat is ongemakkelijk nieuws als je dacht dat je met een Disallow-regel ook AI-training buiten de deur houdt.

Wat er precies veranderd is, en wat niet

Niets aan de techniek is veranderd. Wat Illyes doet, is de grens scherp trekken tussen wat robots.txt kán en wat mensen er kennelijk van verwachten. Wil je één specifieke AI-crawler weren? Dan moet je diens user-agent token expliciet targeten in je robots.txt. Wil je crawlen toestaan maar training blokkeren? Daarvoor bestaat nu geen gestandaardiseerde methode.

Voor Googles eigen producten is er wel een mechanisme: Google-Extended. Dat token heeft geen eigen user agent maar werkt als een controlelaag. Zet je Google-Extended op Disallow, dan sluit je je content uit van training voor Gemini-modellen en grounding in Gemini Apps. Het heeft geen invloed op je rankings en je blijft gewoon vindbaar in Google Search.

Illyes is co-auteur van een IETF Internet-Draft die robots.txt zou uitbreiden met een Content-Usage-veld, inclusief een train-ai=n-optie. Maar dat is een concept, geen standaard. De werkgroep mikt op augustus 2026 voor verdere review. Tot die tijd is er geen universele manier om AI-training te weigeren terwijl je crawling toestaat.

Bijkomend praktisch punt: Cherry Prommawin van Google raadt aan om niet-Engelse paden in je robots.txt te percent-encoden. Google zelf verwerkt raw UTF-8 en encoded versies hetzelfde, maar andere crawlers kunnen in de fout gaan bij emoji of niet-Latijnse tekens. Veiligst is de encoded vorm.

Wat dit betekent voor jouw site

Ik zie dit regelmatig misgaan bij klanten: ze denken dat een paar Disallow-regels ze beschermen tegen AI-training, terwijl ze in werkelijkheid alleen crawling blokkeren, en soms per ongeluk ook de reguliere Googlebot.

Wat je nu concreet moet doen:

  • Wil je Google-Extended blokkeren? Voeg User-agent: Google-Extended met Disallow: / toe aan je robots.txt. Check via Google’s eigen crawlerlijst of je het goed hebt.
  • Wil je andere AI-crawlers weren? Zoek hun specifieke user-agent token op en target die expliciet. Eén generieke regel werkt niet.
  • Gebruik je niet-Engelse URL-paden? Percent-encode die paden in je robots.txt. Controleer dit even in je huidige bestand, het is een klein klusje met potentieel groot effect op hoe andere crawlers je site interpreteren.
  • Houd de IETF-draft in de gaten. Als Content-Usage ooit een officiële standaard wordt, verandert het speelveld. Maar rek er nu nog niet op.

De bredere context is ook relevant: botverkeer overtreft inmiddels menselijk webverkeer, wat de vraag wie je content mag ophalen en gebruiken alleen maar urgenter maakt. Robots.txt is daarvoor een bot onvolledig instrument gebleken.

Bron: Search Engine Journal