Crawl budget is voor de meeste sites geen probleem. Maar zodra je voorbij de honderdduizend URL’s komt — webshops met filters, marktplaatsen, grote uitgevers — wordt het bepalend welke pagina’s Google überhaupt nog bezoekt en bijwerkt.
Wat is crawl budget eigenlijk?
Crawl budget is de combinatie van twee dingen: hoeveel Google wil crawlen (crawl demand) en hoeveel je server aankan (crawl rate). Verspil je dat budget aan onbelangrijke URL’s, dan blijven je waardevolle pagina’s langer onveranderd in de index.
De grootste lekken
- Facet- en filter-URL’s die eindeloze combinaties genereren.
- Interne zoekresultaatpagina’s die geen unieke waarde toevoegen.
- Sessie-ID’s en tracking-parameters in URL’s.
- Soft 404’s en redirect-ketens die crawls verspillen.
Zo stuur je Googlebot
- Blokkeer waardeloze paden in robots.txt — denk aan filtercombinaties en interne zoekresultaten.
- Houd je sitemap schoon: alleen indexeerbare, canonieke URL’s met een correcte
lastmod. - Ruim redirect-ketens op zodat elke crawl direct bij de eindbestemming uitkomt.
- Versterk interne links naar je belangrijkste pagina’s, zodat ze vaker worden bezocht.
- Verbeter je serverrespons: een snellere server verhoogt de crawl rate die Google durft te gebruiken.
Meet het effect
Gebruik het crawlstatistieken-rapport in Search Console en je serverlogs. Daarin zie je precies welke URL-patronen het meeste budget opslokken. Logfile-analyse is hier onmisbaar: het laat het werkelijke gedrag van Googlebot zien, niet wat je hoopt dat er gebeurt.
Crawl budget optimaliseren gaat niet over Google sneller laten crawlen, maar over Google slimmer laten crawlen — weg van ruis, richting de pagina’s die omzet en autoriteit opleveren.