Search Console meldt 51.000 geïndexeerde URLs die geblokkeerd zijn via robots.txt

Een WooCommerce-eigenaar zag plotseling ruim 51.000 URLs in Search Console met de status “Indexed, though blocked by robots.txt”. Bijna allemaal URL-parameters van het type ?add-to-cart=. John Mueller van Google reageerde en legde uit wat er aan de hand is en wat je er wel en niet mee moet doen.

Wat er technisch aan de hand is

Dit is precies het punt waar ik veel mensen op zie struikelen. robots.txt blokkeert het crawlen, niet het indexeren. Google kan een URL kennen en in zijn systemen opnemen zonder hem ooit te hebben gecrawld. Dat gebeurt simpelweg doordat Googlebot ergens op de site een interne link naar die URL tegenkomt, de URL in zijn systemen zet, maar hem daarna niet bezoekt vanwege de robots.txt-blokkade. Resultaat: de URL staat als “indexed” geregistreerd, ook al heeft Google de pagina nooit gezien.

De kans is groot dat die add-to-cart-links gewoon ergens in de interne linkstructuur van de site staan. Check dit even in Screaming Frog: crawl de site en zoek waar die parameterized URLs vandaan komen. Verwijder die interne links, of gooi er een rel="nofollow" op als verwijderen niet kan.

Wat Mueller zegt, en waar ik een kanttekening bij zet

Mueller stelt dat je add-to-cart-URLs niet geïndexeerd hoeft te hebben, en dat het blokkeren via robots.txt prima is. Hij voegt toe dat ze door de robots.txt-blokkade waarschijnlijk niet in de zoekresultaten verschijnen. Dat laatste klopt technisch gezien niet helemaal: robots.txt voorkomt niet dat een URL in de SERP verschijnt, alleen dat Googlebot hem crawlt. Ik vind het opmerkelijk dat Mueller dit zo verwoordt, maar het praktische advies klopt gewoon.

Een noindex-tag toevoegen aan de parameterized URLs is bovendien geen realistische oplossing hier. WooCommerce rendert de add-to-cart-variant en de gewone productpagina via hetzelfde template, dus je kunt ze niet zomaar los van elkaar voorzien van verschillende meta-tags.

Wat je nu moet doen als je dit ziet in je eigen Search Console

Eerst: niet meteen in paniek raken. Dit is precies het type melding waar meer impressions in GSC maar minder verkeer goed bij past: Search Console toont technische signalen die er alarmerend uitzien maar weinig impact hebben op je rankings.

Praktisch:

  • Crawl je site met Screaming Frog en filter op de betreffende URL-parameters. Zoek de bronpagina’s die naar die URLs linken.
  • Verwijder die interne links als dat kan, of voeg rel="nofollow" toe als extra hint aan Google.
  • Robots.txt-blokkade houden is prima voor deze URLs. Noindex is hier geen werkbare oplossing tenzij je template dat aankan.
  • Canonical tags helpen mee, maar zijn niet de volledige fix zolang de interne links er nog liggen.

Het grote punt hier: niet elke Search Console-waarschuwing is een probleem dat je moet oplossen. Dit is er zo een. Begrijp wel waarom het er zo uitziet, want dan weet je ook wanneer het wél een issue is.

Bron: Search Engine Journal