Recrawl-verzoek voor robots.txt mislukt bij meerdere beheerders
De functie waarmee je Google kunt vragen je robots.txt opnieuw te crawlen, hapert. Meerdere site-eigenaren zien een foutmelding in Search Console, en Google’s eigen John Mueller bevestigt dat hij het probleem ook tegenkomt op een deel van zijn sites.
Wat er precies aan de hand is
SEO-specialist Jay Cooper sloeg als eerste alarm op Bluesky. Hij vroeg of er een bekend probleem was met de “request a recrawl”-functie in het robots.txt-rapport van Google Search Console, omdat die bij hem op meerdere properties steeds een fout gaf. De foutmelding luidt: “Re-crawl request failed. Unknown error. Please wait a moment and try again.”
John Mueller reageerde aanvankelijk dat het bij zijn site gewoon werkte, maar kwam later terug met: “…ah, ik zie de fout wel op een aantal van mijn andere sites. Ik ga er even naar kijken.” Niet alle sites hebben last van het probleem, bij sommige werkt de tool nog gewoon.
Wat betekent dit voor jou
Check dit gewoon even in je Search Console, dan zie je het zelf. Ga naar het robots.txt-rapport en probeer een hercrawl aan te vragen. Krijg je die foutmelding, dan zit je in hetzelfde schuitje als een hoop anderen en is het geen probleem aan jouw kant.
Nu de eerlijke nuance: voor de meeste sites is dit geen ramp. Google crawlt je robots.txt sowieso regelmatig op eigen initiatief, je bent niet afhankelijk van die knop. Ik zie dit soort tool-bugs geregeld bij klanten als aanleiding voor onnodige paniek. Het enige moment waarop dit echt pijn doet, is als je nét een wijziging in je robots.txt hebt doorgevoerd die dringend moet worden opgepikt, bijvoorbeeld omdat je per ongeluk iets had geblokkeerd wat nu weer open staat. Dan wil je dat Google dat snel weet.
Mijn advies: meld het via de officiële kanalen als je er last van hebt, en houd de robots.txt-situatie in de gaten via je crawl-data in Search Console. Mueller heeft aangegeven dat hij er naar kijkt, dus verwacht een fix. Tot die tijd: geen handmatige workarounds nodig, gewoon even afwachten.
Bron: Search Engine Roundtable