Google’s John Mueller legt in de podcast Search Off the Record uit hoe een ‘are you a bot’-pagina je content uit de index kan drukken. Niet omdat je site kapot is, maar omdat Google de verkeerde pagina te zien krijgt en die gewoon indexeert.
Wat er precies misgaat
Als je beveiligingslaag (denk aan een CDN, hosting of bot-protection service) een bezoeker verdacht vindt, toont die een interstitial: het bekende ‘are you a bot’-scherm. Normaal ziet een gewone bezoeker dat nooit. Maar soms krijgt Googlebot dit scherm te zien, en Google registreert het als een geldige pagina-respons.
Het probleem: dit scherm ziet er op tientallen sites vrijwel hetzelfde uit. Google detecteert duplicaten en kiest één URL als canonical. Die canonical is dan misschien helemaal niet de jouwe. Jouw pagina wordt gemarkeerd als duplicaat, je content verdwijnt uit de index, en een andere site wordt als de ‘echte versie’ beschouwd.
Mueller wijst erop dat dit extra lastig te ontdekken is omdat de request technisch gewoon slaagt. Er is geen 404, geen 500, geen duidelijk foutpatroon. Google bereikt je server en krijgt een geldige response, alleen is die response je echte content niet.
Waarom je dit zelf niet ziet
Dit is precies het irritante: jij laadt de pagina in je browser en alles ziet er prima uit. Het bot-scherm triggert alleen voor verdachte requests. Googlebot valt blijkbaar soms in die categorie.
Check dit gewoon even in je Search Console, dan zie je het zelf. Ga naar het Page Indexing-rapport en filter op ‘Duplicate without user-selected canonical’ of ‘Canonicalized by Google’. Gebruik daarna de URL Inspection tool om te zien welke URL Google als canonical heeft gekozen. Als dat een URL van een andere site is, heb je een probleem.
Wat je nu moet doen
Mijn advies: als je plots ziet dat pagina’s als duplicaat worden aangemerkt zonder dat je daar een duidelijke reden voor hebt, kijk dan niet alleen naar je eigen content. Check via Search Console welke URL Google als canonical ziet.
Is er inderdaad een bot-scherm in het spel, neem dan contact op met je CDN-leverancier, hostingpartij of de beheerder van je security-laag. Vraag ze om Googlebot expliciet te whitelisten of de configuratie aan te passen zodat de interstitial niet wordt teruggestuurd.
Na de fix: dien een Validate Fix-verzoek in via Search Console. Google kan de correctie ook oppikken bij de volgende crawl, maar zelf aanvragen is sneller.
Dit is trouwens een mooi voorbeeld van hoe technische SEO-problemen verborgen kunnen blijven achter een verder gezonde site. Geen alarmbellen, geen zichtbare fouten, alleen stille indexverlies. Precies het soort ding dat je mist als je je technische SEO-optimalisatie alleen op het oog doet.
Bron: Search Engine Journal