Een robots.txt voor AI-crawlers, min of meer

Een llms.txt-bestand is een voorgestelde standaard waarmee je AI-crawlers een gecureerde lijst van je belangrijkste content geeft. Geen eindeloos gegraaf door je navigatie, cookiebanner en verouderde blogposts, maar een directe wegwijzer naar de pagina’s die er echt toe doen. Het idee is simpel: net zoals robots.txt en sitemaps zoekmachines helpen efficiënter te crawlen, geeft llms.txt platforms als ChatGPT en AI Overviews een vliegende start.

Het bestand zit in Markdown, wordt opgeslagen als llms.txt in je root en volgt een vaste structuur: een H1 met je sitenaam, een optionele beschrijving als blockquote, en H2-secties met gelinkte pagina’s plus korte omschrijvingen. Technisch gezien niets ingewikkelds.

Wat het probleem is dat het probeert op te lossen

AI-crawlers lopen tegen twee concrete problemen aan. Eén: moderne sites zijn JavaScript-zwaar, en die crawlers lezen vaak alleen de kale HTML. Twee: ze weten niet wat op jouw site belangrijk is. Als een crawler zijn budget verkwanselt aan je megamenu en filterpagina’s, kom je nooit voor in een AI-antwoord. llms.txt probeert dat crawl budget-probleem te omzeilen door crawlers rechtstreeks naar je kernpagina’s te sturen.

Dat is de theorie. De praktijk is genuanceerder, want Google bevestigt al dat llms.txt-bestanden geen invloed hebben op je rankings, en John Mueller liet op Bluesky weten dat geen enkel groot AI-platform, inclusief ChatGPT, Google AI Overviews en Claude, bevestigd heeft het bestand daadwerkelijk te lezen. Nog scherper: Mueller stelde eerder dat llms.txt LLMs niet helpt om jouw site te kiezen boven die van een concurrent.

En er is een Ahrefs-analyse die laat zien dat 97% van alle llms.txt-bestanden nooit gelezen wordt. Niet bepaald een overtuigende use case.

Adoptie groeit, maar blijf nuchter

In juli 2025 hadden 951 domeinen een llms.txt gepubliceerd. Dat waren er in september 2026 al 16.670, zo’n 17,5 keer meer in veertien maanden. Merken als Hugging Face, Vercel, Zapier en Cal.com doen mee. Ook Anthropic heeft er een op zijn eigen site staan, wat suggereert dat ze de standaard serieus nemen, al zegt dat niets over of hun crawler er ook iets mee doet.

Een interessant signaal is dat Google Lighthouse llms.txt inmiddels checkt in site-audits. Dat wijst op serieuze aandacht voor het formaat, ook al is het nog geen rankingfactor.

Wat je nu moet doen

Mijn advies: maak het bestand aan als low-effort experiment. De investering is minimaal, en als adoptie doorgroeit ben je vroeg. Maar verwacht er voorlopig niets van in termen van AI-zichtbaarheid of verkeer. Er is geen enkel bewijs dat het nu al iets oplevert.

Check eerst je Search Console op hoe AI-crawlers je site bezoeken. Kijk welke pagina’s je echt wil promoten. Schrijf een strak llms.txt met je productpagina’s, documentatie en je beste content, en publiceer het op jouwdomein.nl/llms.txt. Meer is het niet. Maar doe het niet omdat je denkt dat het morgen je AI Overviews-zichtbaarheid gaat redden. Dat doet het niet.

Bron: Semrush Blog