Mensen worden een afrondingsfout op het internet
Cloudflares CFO Thomas Seifert vertelde analisten tijdens de Q2 earnings call dat niet-menselijk verkeer over vijf jaar wel duizend keer groter kan zijn dan menselijk verkeer. Zijn woorden: “humans will be a rounding error on the internet, not because human traffic goes down, but that’s just how fast we’re seeing non-human traffic grow.” Seifert voegde er zelf aan toe dat hij de groei tot nu toe structureel heeft onderschat, wat zijn projectie juist zwaarder maakt, niet lichter. Cloudflare verwachtte eerder dat machineverkeer het menselijke verkeer in 2027 zou passeren. Dat gebeurde al in mei 2026.
Dit sluit aan op iets wat we al zagen aankomen: botverkeer overtreft voor het eerst menselijk webverkeer. Maar de vraag is wat dat verkeer precies is.
Mijn grootste AI-crawler was een credential scanner
Slobodan Manic, consultant bij No Hacks, dook in zijn eigen Cloudflare-logs voor nohacks.co. Zijn grootste bezoeker in 24 uur: CCBot, de crawler van non-profit archief Common Crawl, goed voor 1.510 requests. Op papier niet opvallend. Totdat hij de gevraagde paden exporteerde.
De meest aangevraagde URLs waren geen artikelen of blogposts, maar dingen als:
/.ssh/known_hosts(42 requests)/phpinfo.php(31 requests)/.env.production(29 requests)/firebase-service-account.json(26 requests)/.aws/config/id_rsa,/id_ecdsa,/private-key
In totaal ruim 1.000 requests naar honderd van dit soort paden, 6,7 MB overgedragen, nul referrals. Naar zijn daadwerkelijke content: vrijwel niets. Dit is geen crawler die content leest. Dit is een geautomatiseerde sweep door een lijst met bekende locaties van credentials en configuratiebestanden, terwijl het het label “Common Crawl” draagt.
Nog interessanter: in die lijst stonden ook /.mcp.json en /.continue/config.json, configuratiebestanden voor AI-agenten die vaak API-sleutels bevatten. De standaard credential-scanlijst is bijgewerkt voor het agentic web. Dat is snel gegaan.
Wat dit betekent voor jouw site
Ik zie twee problemen die hier door elkaar lopen en die je uit elkaar moet houden.
Eén. De botverkeer-statistieken zijn grotendeels ruis. Cloudflare telt dit soort credential scans gewoon mee als AI-crawlerverkeer, netjes naast ChatGPT-User en Googlebot. Als je op basis van die getallen beslissingen neemt over je SEO-strategie, tel je mee hoeveel keer iemand naar je SSH-sleutels heeft gevraagd.
Twee. Dit verkeer is onzichtbaar in je security-log, want het triggert geen regels. Het staat alleen in de AI crawler-view. Check dit gewoon even in je Cloudflare dashboard, dan zie je het zelf.
Manic maakt ook terecht de kanttekening dat Cloudflare hier een belang heeft: ze meten het probleem, framen het probleem, en verkopen de oplossing. Dat maakt hun producten niet per se slecht, maar het maakt de cijfers op de earnings call niet neutraal.
Mijn advies: neem het botverkeer serieus als signaal, maar kijk altijd naar wat er daadwerkelijk wordt opgevraagd. En blokkeer standaard alles wat je SSH-directory aanvraagt.
Bron: Search Engine Journal