Markdown voor AI-crawlers: klinkt slim, werkt niet
Er gaat al een tijdje een idee rond in SEO-kringen: serveer markdown-versies van je pagina’s aan AI-bots. Minder HTML-rommel, kleinere bestanden, makkelijker te verwerken voor LLMs. Zou dat meer citaties en betere zichtbaarheid in AI-zoekresultaten opleveren? John Mueller besloot het gewoon te testen, en de uitkomst is ontnuchterend.
Wat Mueller ontdekte
Op Reddit vroeg iemand of andere site-eigenaren al echte AI-bots hadden zien vragen om markdown. Mueller deelde zijn bevinding direct: op zijn testsites zijn de enige crawlers die claimen markdown te accepteren SEO-tools. Geen Googlebot, geen ChatGPT-crawler, geen Claudebot. Alleen tooling.
Hij voegde er praktisch advies aan toe: als je nieuwsgierig bent of dit bij jouw site anders ligt, stel dan eerst je server in om de Accept-header te loggen. Check de data voordat je tijd steekt in het genereren van markdown-bestanden.
Dat is precies het soort hands-on advies waar ik blij van word. Check dit gewoon even in je eigen logs, dan zie je het zelf.
Waarom AI-bots geen markdown nodig hebben
Alle grote LLM-bedrijven hebben HTML-parsing al decennia geleden opgelost. Ze willen ook precies zien wat de gebruiker ziet, niet een speciale afgeleide versie die jij als SEO hebt klaargezet. Dat is precies waarom het keyword meta tag ooit stierf: zodra SEOs controle krijgen over een apart signaal voor machines, begint de manipulatie, en verliezen de systemen er het vertrouwen in.
Markdown-bestanden voor AI-crawlers lopen hetzelfde risico. Er zit geen voordeel in voor de LLMs zelf.
Dit patroon zag je eerder ook al bij llms.txt-bestanden: Mueller bevestigde al dat ze LLMs niet helpen jouw site te kiezen boven die van een concurrent. Zelfde verhaal, andere bestandsextensie.
Cloudflare gelooft overigens heilig in markdown als “lingua franca voor AI-agents” en biedt automatische HTML-naar-markdown-conversie aan. Maar als de vraag vanuit echte AI-crawlers er gewoon niet is, wat verkoop je dan precies?
Wat moet je nu doen
Kort gezegd: niets, tenzij je het zelf wil meten. Stap één is je server correct laten loggen welke Accept-headers bots meesturen. Stap twee is kijken of er überhaupt AI-bots zijn die markdown opvragen. Op basis van Muellers ervaring verwacht ik dat je vooral SEO-toolverkeer ziet.
Investeer die tijd liever in content die inhoudelijk sterk genoeg is om geciteerd te worden, want dagelijkse AI Overviews-gebruikers klikken 3,5 keer vaker door naar bronnen die de moeite waard zijn. Dat is waar de winst zit, niet in bestandsformaten.
Bron: Search Engine Journal