Google heeft zijn officiële “Optimize your crawl budget”-pagina bijgewerkt. De meeste wijzigingen zijn redactioneel, maar er staat nu expliciet in dat elke site begint met dezelfde, conservatieve crawl capacity limit. Dat is nieuw, en het is de moeite waard om even bij stil te staan.
Wat er precies is veranderd
Google zegt zelf dat de update bedoeld is om de documentatie “duidelijker te maken en technische termen consistent te gebruiken”. Denk aan terminologie als crawl capacity limit, die nu door het hele document hetzelfde wordt toegepast. Geen fundamentele koerswijziging, eerlijk gezegd, maar wel een aantal nieuwe zinnen die iets concreter maken wat Google al deed maar nooit zo helder had opgeschreven.
De meest opvallende toevoeging: “Every site starts with the same default, conservative crawl capacity limit. If there is demand to crawl more and the site remains healthy, Google’s systems will automatically adjust this limit over time.”
Daarnaast staat er nu expliciet dat de crawl demand per site varieert op basis van grootte, update-frequentie, paginakwaliteit en relevantie ten opzichte van andere sites. En dit vind ik interessant: de crawl capacity limit wordt gedeeld over alle Googlebot-crawlers. Hoge vraag van één crawler vreet dus ruimte van de andere. Dat verklaart situaties die ik bij klanten zie waarbij de ene crawler prima doorkomt en de andere achterblijft.
Twee praktische tips die Google heeft toegevoegd of verduidelijkt: optimaliseer je serverresponstijden en ondersteun 304 (Not Modified) HTTP-statuscodes. Die laatste is goud als je veel pagina’s hebt die zelden veranderen. Als Googlebot een 304 terugkrijgt, slaat hij de herdownload over en bewaart hij de gecachte versie. Minder serverbelasting, efficiënter crawlgedrag.
Wat dit voor jou betekent
Als je een nieuwe site of een grote migratie hebt gedaan, weet je nu officieel: je begint onderaan de ladder. Conservatief. Google gaat pas meer crawlen als jouw site bewijst dat het de moeite waard is. Dat is eigenlijk logisch, maar het helpt om dit nu zwart op wit te hebben, zeker als je een klant moet uitleggen waarom nieuwe pagina’s niet direct geïndexeerd worden.
Voor bestaande sites met een gezond crawlpatroon verandert er niets acuuts. Maar check dit gewoon even in je Search Console, dan zie je zelf hoe Googlebot zich op jouw domein gedraagt. Kijk bij “Crawl stats” of je crawlfrequentie stabiel is of schommelt. Schommelt hij flink, dan is dat een signaal dat er iets hapert, de serverresponstijden, dubbele content, te veel niet-relevante URLs in de index.
Mijn advies: als je er nog niet mee bezig bent, implementeer dan 304-ondersteuning op pagina’s die weinig wijzigen. Goedkope winst. En houd je crawlable URL-ruimte zo schoon mogelijk. Google begint conservatief, en je wilt dat het budget dat er is, naar de juiste pagina’s gaat.
Bron: Search Engine Roundtable