Wat er gebeurde

Afgelopen weekend doken gedeelde Claude-chats op in Google-zoekresultaten. Medische informatie, bedrijfsdocumenten en persoonsgegevens van kinderen waren vindbaar via de site:-operator. Dat klinkt als een fout van Anthropic, maar de technische oorzaak is een klassieker waar ik veel SEO’ers ook bij klanten zie struikelen.

De kern: twee regels die elkaar opheffen

SEJ-redacteur Matt G. Southern dook op 27 juli in de crawl-regels van claude.ai. Wat hij vond: het /share/*-pad staat geblokkeerd in robots.txt, én de pagina’s sturen een x-robots-tag: none-header terug, wat Google behandelt als noindex plus nofollow.

Het probleem zit hem precies in die combinatie. Een noindex-directive werkt alleen als Googlebot de pagina ook daadwerkelijk kan ophalen en lezen. Als je datzelfde pad blokkeert via robots.txt, ziet Google de URL wel (via externe links of vermeldingen), maar kan het de noindex-instructie niet lezen. Resultaat: de pagina kan gewoon geïndexeerd worden.

Dit is geen nieuwe kennis. John Mueller herhaalt het al jaren, Martin Splitt raadt expliciet af om beide regels tegelijk op een pagina te zetten, en Google heeft vorige week nog een keer benadrukt dat robots.txt blokkeren en noindex twee compleet verschillende dingen zijn. Toch gaat het hier mis bij een van de meest gebruikte AI-tools ter wereld.

Anthropic reageerde door te zeggen dat share-links alleen in Google belanden als gebruikers ze op publiek toegankelijke plekken posten. Dat klopt, maar het adresseert de conflicterende regels zelf niet.

Wat dit voor jou betekent

Als Claude-gebruiker: ga naar Settings > Privacy > Shared Chats en haal alles weg wat je niet publiek wil hebben. Let op: een chat unsharen en een Artifact unpublishen zijn twee aparte acties. En het verwijderen van een gedeelde link haalt de URL niet automatisch uit Google.

Als SEO-specialist is dit een goede aanleiding om bij klanten te checken of ze niet dezelfde fout maken. Ik zie dit regelmatig in audits: een staging-omgeving of campagnepagina die geblokkeerd staat in robots.txt, terwijl de eigenaar denkt dat die pagina dus ook niet indexeerbaar is. Check het gewoon even in je Search Console, dan zie je het zelf.

De vuistregel blijft simpel: wil je dat een pagina niet geïndexeerd wordt, zorg dan dat Googlebot de pagina kan bereiken én dat de noindex daar ook daadwerkelijk op staat. Robots.txt is voor crawl budget en toegang, noindex is voor indexering. Dat zijn verschillende knoppen.

Dat drie grote AI-bedrijven (Anthropic, OpenAI en Google met Bard) inmiddels allemaal publieke share-URL’s in Google hebben zien belanden, zegt genoeg: behandel een publieke share-link als een publieke webpagina, vanaf het moment dat hij bestaat.

Bron: Search Engine Journal