AI-crawlers wachten niet op een uitnodiging

John Mueller en Martin Splitt bespraken in de Search Off the Record-podcast van 1 oktober of sitemaps nog relevant zijn. Mueller liet iets opvallends vallen: hij heeft in zijn eigen serverlogs gezien dat AI-crawlers zijn sitemap.xml én zijn RSS-feed hebben geopend. Geen submission, geen toestemming gevraagd, gewoon doen.

Geen Search Console voor AI-trainingscrawlers

Het fundamentele verschil met Google en Bing is dat AI-trainingscrawlers meestal geen equivalent van een Search Console hebben. Je kunt je sitemap nergens indienen. Mueller zegt daarover: als je wilt dat die crawlers je content vinden, heb je twee opties. Ofwel je gebruikt de generieke bestandsnaam sitemap.xml, ofwel je zet in op een RSS-feed. RSS heeft als extra voordeel dat die doorgaans vanuit de HTML-head van een pagina wordt gelinkt, waardoor crawlers hem makkelijker vinden.

Een sitemap met een afwijkende naam die je niet in robots.txt vermeld hebt, blijft voor die crawlers onzichtbaar. Handig als je juist wilt afschermen, maar het werkt ook de andere kant op.

llms.txt is nog geen sitemap

Mueller is ook gevraagd of llms.txt een XML-sitemap kan vervangen. Zijn antwoord was duidelijk: nee. Hij vergelijkt het met een HTML-sitemap: leesbaar, maar zonder de gestructureerde opmaak die Google’s systemen nodig hebben. “De hoop is groter dan de realiteit”, zei hij letterlijk. Zijn eigen test eerder dit jaar wees al uit dat llms.txt in de praktijk nauwelijks wordt gelezen door AI-systemen. Bovendien bevestigde Mueller eerder al dat llms.txt LLMs niet helpt jouw site te verkiezen boven die van een concurrent. Probeer het gerust, maar bouw er niets op.

‘Couldn’t fetch’ in Search Console? Kijk naar kwaliteit

Een ander punt dat Mueller aanstipte: als Search Console “Couldn’t fetch” meldt voor een sitemap die gewoon geldig en publiek is, hoeft dat technisch niets fouts te betekenen. Het kan komen door serverbelasting op het moment dat Google probeert te fetchen. Maar vaker is de oorzaak crawl demand, en die hangt rechtstreeks samen met de gepercipieerde kwaliteit van je site. Mueller zei het zo: “het is niet puur technisch”. Met andere woorden, als Google weinig reden ziet om jouw site intensief te crawlen, laat het systeem je sitemap soms gewoon links liggen.

Wat je nu even moet nakijken

Check dit gewoon even in je eigen serverlogs, dan zie je zelf of AI-crawlers al langskomen. Verder:

  • Heet je sitemap gewoon sitemap.xml? Dan ben je goed. Een cryptische naam helpt niemand, tenzij je bewust wilt afschermen.
  • Heb je een RSS-feed? Zorg dat die vanuit je HTML-head wordt aangeboden.
  • Staat je sitemap in robots.txt? De Sitemap-directive is user-agent-onafhankelijk, dus alle crawlers die dat protocol respecteren zien hem.
  • ‘Couldn’t fetch’ in Search Console? Kijk eerst naar contentqualiteit, niet naar techniek.

Ik zie dit type fout regelmatig bij klanten: technisch perfecte sitemaps op sites waar Google gewoon geen haast mee maakt. Dat is geen technisch probleem om op te lossen, dat is een contentstrategie-probleem.

Bron: Search Engine Journal