Google past crawl budget-documentatie aan met twee concrete toevoegingen

Google heeft zijn officiële documentatie over crawl budget bijgewerkt. De twee opvallendste toevoegingen: een aanbeveling om de 304 Not Modified-statuscode te gebruiken, en een verduidelijking dat alle Google-crawlers dezelfde crawl capacity delen.

Wat er precies is veranderd

De documentatie is bedoeld voor enterprise-sites met meer dan een miljoen pagina’s en middelgrote sites met meer dan 10.000 snel veranderende pagina’s. Dat neemt niet weg dat de informatie voor iedereen relevant is die serieus bezig is met technische SEO.

De eerste toevoeging gaat over gedeeld crawl budget. Google schrijft nu expliciet dat verschillende crawlers, denk aan Googlebot en Googlebot-Image, allemaal uit hetzelfde budget putten. Als Googlebot-Image je site intensief aan het crawlen is, houdt dat direct minder ruimte over voor Googlebot. Logisch in theorie, maar ik zie dit zelden meegenomen worden in technische audits. Dat is een gemiste kans.

De tweede toevoeging is de aanbeveling voor de 304-statuscode. Google’s documentatie zegt nu letterlijk: als een pagina niet is veranderd sinds de laatste crawl, stuur dan een 304 terug. Googlebot hergebruikt dan de gecachede versie, wat serverbandbreedte en resources spaart. De bot kan die vrijgekomen capaciteit vervolgens besteden aan pagina’s die wél zijn bijgewerkt of nog niet gecrawld zijn.

Even voor de duidelijkheid: een 304 is technisch gezien een 3xx-code, maar er is geen redirect aan de hand. Het is puur een signaal dat zegt: er is niets nieuws hier, gebruik wat je al hebt.

Wat dit betekent voor jouw site

Voor de meeste kleine sites zonder crawl budget-problemen hoef je hier niet wakker van te liggen. Maar heb je een grote site, een webshop met duizenden producten, of een platform dat regelmatig inhoud toevoegt en aanpast, dan is dit het checken waard.

Mijn eerste stap zou zijn: kijk in Search Console of je crawl stats. Zie je dat Googlebot moeite heeft om je belangrijkste pagina’s bij te houden, dan is HTTP caching met 304-ondersteuning een concrete hefboom. Check ook of je huidige serverinstellingen of CDN überhaupt correct omgaan met If-Modified-Since en ETag-headers, want zonder die headers werkt de 304-flow niet.

Het gedeelde crawl budget van verschillende bots is een punt dat ik eigenlijk altijd meeneem bij grotere audits, maar nu Google het zwart op wit in de documentatie zet, heb je ook een referentie om dit intern te verkopen aan je devteam.

Kortom: geen paniek, maar wel even in je achterhoofd houden als je aan SEO optimalisatie werkt voor grotere sites.

Bron: Search Engine Journal