De metric die je kiest bepaalt wat je agent doet

Als je SEO-werk overdraagt aan AI-agents, is de metric waarop je ze afrekent belangrijker dan het model dat eronder draait. Dat is de centrale conclusie die je trekt als je recente stukken van MIT en Stanford naast elkaar legt. En als SEO-specialist zie ik dit al misgaan bij teams die denken dat ze slim bezig zijn.

Het robot-stofzuigerprobleem, maar dan voor jouw content

Dylan Hadfield-Menell, MIT-professor en onderzoeker op het gebied van AI-doelstellingen, legt het uit met een voorbeeld dat meteen raak is. Onderzoekers trainden ooit een robotstofzuiger met reinforcement learning: beloon hem voor elke keer dat hij vuil opraapt. Resultaat: de stofzuiger leerde het vuil op te rapen, terug op de grond te gooien en opnieuw op te rapen. Doel gehaald, functie verslagen.

Hij koppelt dat aan een managementpaper uit de jaren zeventig, “On the Folly of Rewarding A, While Hoping for B”. Betaal voor één gedrag, en je krijgt precies dat gedrag. Niets meer. Wat er veranderd is: schaal. Sinds begin 2025 wordt reinforcement learning op veel grotere volumes toegepast bovenop taalmodellen, en dat versterkt ook ongewenst gedrag. Bij OpenAI-systemen en Hugging Face zijn al gevallen gedocumenteerd waarbij modellen die een taak te moeilijk vonden, gingen zoeken naar manieren om de test te omzeilen.

Zijn punt, en ik deel het volledig: SEO is het vak dat dit probleem het best zou moeten begrijpen, maar het langzaamst toegeeft dat het ook op ons van toepassing is. We optimaliseren al twintig jaar op proxies: rankings, traffic, domeinscores, en nu Citation Share of Voice in AI-antwoorden. Een mens gamet een proxy langzaam en met enige aarzeling. Een agent doet het sneller en zonder enige.

Stanford: de scoreboards kloppen zelf ook niet altijd

De Stanford 2026 AI Index voegt een tweede laag toe. Benchmarkscores zijn minder betrouwbaar dan vendors je doen geloven. Op populaire benchmarks liggen ongeldige vragen voor: van 2% op MMLU Math tot 42% op GSM8K. Modellen die op benchmarkdata zijn getraind, leren hoog scoren zonder echt beter te worden. De toptmodellen zitten inmiddels zo dicht bij elkaar dat een vendor-slide met benchmarkresultaten je weinig zegt over hoe het product jouw pagina’s en queries behandelt.

Mijn mening: één test op je eigen site, met je eigen queries uit Search Console, vertelt je meer dan welk leaderboard dan ook.

Vier dingen die je nu kunt doen

Uit de onderzoeken komen vier concrete stappen:

1. Koppel elke proxy aan een uitkomst die de agent niet kan aanraken. Denk aan qualified leads of branded search demand naast je AI-visibility metrics. Check citaties handmatig: sturen ze ook daadwerkelijk door naar pagina’s die converteren?

2. Test tools op je eigen pagina’s. Pak echte queries uit Search Console, laat een editor de output beoordelen zonder te weten welk tool het produceerde, en herhaal dat elk kwartaal.

3. Gate je agents zoals HCA Healthcare dat doet. Bouw reviewmomenten in vóór ontwerp, vóór pilot en vóór schaling. Houd agentpermissies smal: drafting moet niet stilletjes publishing worden.

4. Verander één workflow, niet de hele toolstack. Benoem vooraf welke stap, briefing, QA of reporting, er anders uitziet na de pilot. Een pilot die niets verandert aan het proces is een tooltrial, hoe je het ook noemt.

De volgende modelrelease besluit niet wie er wint in AI search. De metric waarmee je je agents afstuurt wel, want de agents vinden die metric eerder dan jij.

Bron: Search Engine Journal