Duane Forrester lanceerde CitationIQ.com en ging zijn serverlogs nalopen. Wat hij verwachtte: bescheiden maar eerlijke aantallen. Wat hij vond: van 33 AI-assistentverzoeken waren er maar 6 echt. De rest was nep. En Googlebot? Van 799 verzoeken kwamen er slechts 107 van een geverifieerd Google-adres.

Hoe werkt die spoofing precies

Elke bot kondigt zichzelf aan via een user-agent string in de request header. ChatGPT-User, Claude-User, Googlebot, noem maar op. Jouw server schrijft die naam op en je analytics telt braaf mee. Maar die naam is puur zelfgerapporteerd. Iedereen kan daar neerzetten wat hij wil, het kost letterlijk nul moeite.

De echte verificatie is simpel: grote operators publiceren de IP-ranges die hun bots daadwerkelijk gebruiken. ChatGPT via openai.com/chatgpt-user.json, Claude via claude.com/crawling/bots.json, Googlebot via developers.google.com. Een verzoek is alleen legitiem als de naam én het IP-adres kloppen. Forrester schreef een kort Python-scriptje van zo’n 15 regels om dit te controleren, puur met standaard library.

De gespoofde verzoeken verraadden zichzelf meteen door waar ze naartoe gingen. Echte AI-assistentfetches landen op gewone pagina’s. De neppe varianten, nog steeds met ChatGPT-naam, gingen op zoek naar .env.production, secrets.yaml en config.json. Dat zijn credential scanners die een vertrouwde naam gebruiken om filters te omzeilen.

Crawlers spelen twee verschillende spellen

Forrester maakt een onderscheid dat ik bij veel klanten zie verdwijnen in één grote bot-emmer. Er zijn demand fetches: live verzoeken die een AI-assistent doet tijdens een echte gebruikerssessie (namen eindigend op -User). En er zijn crawlers die indexeren of trainen in de achtergrond, zoals GPTBot en ClaudeBot. Dat zijn andere bots met andere doelen.

Opmerkelijk in zijn geverifieerde crawldata over twee weken: de meest actieve geverifieerde crawler op zijn domein was niet Google, maar Anthropic’s ClaudeBot met 166 bevestigde crawls. Daarna pas Googlebot op 107 en GPTBot op 46.

Dit raakt aan iets dat ik relevant vind in combinatie met het gegeven dat botverkeer inmiddels menselijk webverkeer overtreft: je logs liegen al structureel over de schaal van dat botverkeer, laat staan over de herkomst.

Wat moet je nu doen

Check je eigen logs, dat is de kern. Niet over een week, maar deze week. Kijk niet naar de user-agent string alleen, kijk naar het IP-adres en verifieer het tegen de gepubliceerde ranges van de operators. Dat is het enige eerlijke getal.

De Googlebot-bevinding is niet nieuw, Googlebot is al twee decennia het meest gespoofte crawler-label op het web. Maar het is goed om te zien hoe snel dit ook nieuwe domeinen raakt, in dit geval een splinternieuwe site zonder enige promotie. De spoofing wacht niet op traffic.

Een praktische stap: controleer ook of je robots.txt en server configs vertrouwen op user-agent matching voor toegangsbeheer. Als je bepaalde bots blokkeer of doorlaat op basis van de naam alleen, blokkeer je de eerlijke bots en laat je de scammers door.

De getallen van Forrester zijn van één kleine site over twee weken, dat zegt hij zelf ook. Maar de methode is solide en de aanpak is direct te repliceren op jouw eigen logs. Doe dat.

Bron: Search Engine Journal