Cloudflare en OpenAI hebben de eerste resultaten gepubliceerd van een gezamenlijke pilot die ChatGPT Search helpt om nieuwe webpagina’s te ontdekken en te indexeren. Slechts 1% van Cloudflares netwerk deed mee, maar dat leverde al honderden miljoenen nieuwe pagina’s op voor OpenAIs index.
Wat er precies gebeurde
Cloudflare stuurt netwerksignalen door naar OpenAIs crawler. Die signalen vertellen de bot welke pagina’s de moeite waard zijn om te bezoeken, wanneer content is gewijzigd en welke URLs je beter kunt overslaan, denk aan dode links, redirect-loops naar de homepage of pagina’s met gedupliceerde content. Daarmee wordt de crawler efficiënter, maar let op: er wordt ook getest op het signaleren van potentieel schadelijke pagina’s, zoals een nep-loginformulier dat een aanvaller op één pagina van een legitieme site heeft geplant. Het doel is die ene pagina te flaggen, niet het hele domein.
De signalen geven de crawler ook een zetje richting pagina’s die weinig backlinks hebben maar toch waardevol zijn. Als voorbeelden noemen de bedrijven de gebruikershandleiding van een specifieke wasmachine, actuele paspoortvereisten en een restaurantmenu met openingstijden. Dat is interessant: pagina’s die in klassieke Google-SEO moeilijk scoren omdat ze weinig linkprofiel hebben, kunnen in ChatGPT Search dus wél worden opgepikt.
Wat je nu moet weten als site-eigenaar
Eerst het technische punt dat ik het vaakst mis zie gaan: je robots.txt bepaalt nog steeds of OAI-SearchBot jouw site mag crawlen. Een signaal van Cloudflare geeft geen toegang, die toestemming geef jij zelf. Blokkeer je OAI-SearchBot, dan sta je niet in de ChatGPT-zoekresultaten. Blokkeer je alleen GPTBot maar niet OAI-SearchBot, dan blijf je zichtbaar in ChatGPT Search zonder dat je content voor modeltraining wordt gebruikt. OpenAI noemt die configuratie zelf als aanbevolen voorbeeld.
Dit raakt direct aan een bredere trend: het aandeel zoekopdrachten dat nog naar het open web leidt daalt snel, terwijl AI-zoekmachines als ChatGPT Search groeien. Als je in die omgeving zichtbaar wilt blijven, is indexering door OAI-SearchBot geen luxe meer.
Gebruik je Cloudflare? Check dan AI Crawl Control, beschikbaar op elk plan. Daar zie je welke AI-crawlers je site bezoeken en kun je per bot toestemming geven of blokkeren. En als je ChatGPT-verkeer wilt meten: dat doe je via UTM-tags of referrer-data in je logs, want eerder deze maand ontbraken die bij een deel van de ChatGPT-links nog.
Mijn mening: de echte bottleneck voor de meeste sites is niet of Cloudflare jouw pagina’s doorstuurt naar OpenAI, maar of je überhaupt weet wat er binnenkomt. Check je serverlogs op OAI-SearchBot-activiteit, dan heb je al een stuk meer grip dan de meeste site-eigenaren nu hebben.
Bron: Search Engine Journal