llms.txt werkt niet, en de data bewijst het
SE Ranking analyseerde bijna 300.000 domeinen om te testen of een llms.txt-bestand invloed heeft op AI-zichtbaarheid en citaties. De conclusie is kort: nee. Sterker nog, het weghalen van llms.txt als variabele uit het XGBoost-model verbeterde de nauwkeurigheid van de voorspellingen. Het bestand voegde ruis toe, geen waarde.
Dat is een stevige uitkomst, want de hype rond llms.txt is al een tijdje aan de gang. En ik zie bij klanten ook regelmatig de vraag opkomen of ze zo’n bestand moeten aanmaken. Mijn antwoord tot nu toe was al sceptisch, maar dit onderzoek maakt het makkelijker om nee te zeggen.
Wat is llms.txt precies
Even voor de volledigheid: llms.txt is een voorgesteld standaardbestand in je site-root, bedoeld als een soort AI-sitemap. Het idee is dat je AI-crawlers vertelt welke pagina’s waardevol zijn, welke gebieden beperkt zijn en onder welke voorwaarden je content gebruikt mag worden. Klinkt logisch, bouwt voort op bekende concepten zoals robots.txt en XML-sitemaps.
Maar zowel Google als OpenAI geven aan er niks mee te doen. Google zegt dat AI Overviews gewoon op traditionele SEO-signalen draaien. OpenAI adviseert om OAI-SearchBot toe te staan in je robots.txt, maar bevestigt niet dat llms.txt invloed heeft op hoe ChatGPT citeert. GPTBot haalt het bestand soms op, maar dat gebeurt zelden en heeft geen aantoonbaar effect. Mueller zei eerder ook al dat llms.txt LLMs niet helpt jouw site boven die van een concurrent te kiezen.
Adoptie is laag en willekeurig verdeeld
Van de bijna 300.000 onderzochte domeinen had slechts 10,13% een llms.txt-bestand. Nog interessanter: adoptie is vrijwel gelijk verdeeld over kleine en grote sites. Sites met 100.000+ bezoekers gebruiken het zelfs iets minder vaak (8,27%) dan middelgrote sites (10,54%). Er is dus geen patroon waarbij koplopers in de markt het omarmen als strategisch voordeel. Het ziet er meer uit als een verspreid experiment zonder richting.
Wat je nu beter kunt doen
Als je echt wilt dat AI-systemen je content goed kunnen vinden en verwerken, zijn er nuttigere dingen om te checken. Controleer of AI-crawlers überhaupt bij je content kunnen. Check je robots.txt op onbedoelde blokkades. Test je belangrijkste URL’s op crawlbaarheid. Pak technische problemen aan die pages onvindbaar maken, want dat is iets wat llms.txt sowieso niet kan oplossen.
Een llms.txt aanmaken kost weinig tijd, dus als je het als experiment wilt proberen is dat prima. Maar verwacht er niks van. Zet je energie liever in crawlbaarheid, linkbuilding en contentkwaliteit. Dat zijn de factoren die er wél toe doen, ook voor AI-citaties.
Bron: SE Ranking