Het probleem is geen gaming, het is architectuur
John Mueller heeft in de podcast Search Off the Record uitgelegd waarom llms.txt geen rol speelt bij discovery door LLM-systemen. Niet omdat sites het bestand misbruiken, maar omdat het principe zelf niet werkt. Een LLM die moet kiezen welke site het beste antwoord geeft op een query, kan dat niet afleiden uit een bestand dat de site zelf heeft geschreven.
Wat Mueller precies zei
Zijn formulering is direct: “It’s basically you’re telling these systems, like, I have the best website ever. And here are all of the pages that everyone must go to. And you must buy all of my products or whatever you put in there. So in LLM system, it basically, by design, can’t trust what is here as a way of differentiating between different websites.”
Dat “by design” is het interessante punt. Mueller legt niet precies uit wat hij bedoelt, maar er zijn twee lezingen. De eerste is architecturaal: LLM-systemen zijn simpelweg niet gebouwd om zelfgerapporteerde bestanden te gebruiken bij het kiezen van bronnen. De tweede lezing is een signaalprobleem: zodra iedereen hetzelfde signaal levert, verliest het elke waarde. Dat is precies wat er met meta keywords is gebeurd. Beide lezingen leiden tot dezelfde conclusie voor discovery.
Voor wie nog twijfelde: 97% van alle llms.txt-bestanden wordt trouwens toch al nooit gelezen, blijkt uit eerder onderzoek onder 137.000 sites.
Waar llms.txt volgens Mueller wél iets kan doen
Mueller gooit het bestand niet volledig weg. Hij ziet één scenario: als een geautomatiseerd systeem, een AI-agent, al op jouw site is en een taak moet uitvoeren. Zijn voorbeeld is een agent die een foto wil kopen. Die agent kan llms.txt dan gebruiken als navigatiegids voor de handelingen op die specifieke site. Discovery en navigatie zijn twee verschillende lagen, en llms.txt speelt alleen een rol in de tweede.
Voor discovery verwijst Mueller gewoon terug naar HTML-pagina’s en interne links. Niets nieuws, niets magisch.
Wat dit voor jou betekent
Ik zie dit soort bestanden regelmatig opduiken in to-do lijsten van klanten, als onderdeel van een AI-optimalisatiestrategie. Mijn advies: deprioriteer het volledig als discovery-maatregel. De redenering van Mueller is niet dat het misschien ooit beter wordt als platforms erin investeren, het fundamentele probleem is dat een LLM geen externe reden heeft om jouw zelfbeschrijving te vertrouwen boven die van een concurrent.
Investeer die tijd liever in de signalen die wél werken: goede HTML-structuur, sterke interne linking, en content die aanwijsbaar autoriteit uitstraalt. Dat zijn de lagen waar LLM-systemen wél op terugvallen voor discovery.
Mueller erkent dat standaarden voor agentic systemen nog niet zijn uitgekristalliseerd. Hij noemt WebMCP als een van de formaten die nog in discussie zijn. Zijn schatting: zes maanden tot een jaar voordat er iets beters landt, mogelijk langer. Tot die tijd geldt het gewone advies.
Bron: Search Engine Journal