AI-agents kloppen straks op twee manieren aan bij jouw website

Sundar Pichai, CEO van Google, heeft in een interview met het Sources-podcast uitgelegd hoe hij verwacht dat AI-agents websitecontent gaan bereiken. Twee routes: browsen zoals een mens dat doet, en via protocollen die speciaal voor agents zijn gebouwd. Beide gaan groeien, zegt hij, maar protocollen schalen uiteindelijk veel beter, al kosten ze meer tijd om volwassen te worden.

Wat Pichai precies zei

Volgens Pichai is browser-gebaseerd browsen “a very elegant way to work” omdat het lijkt op wat een gebruiker zelf zou doen, inclusief controlemomenten waarbij de gebruiker in the loop blijft. Tegelijkertijd noemde hij betere protocollen “a far more scalable approach” die overal en direct werkt, maar die hij pas later verwacht te zien doorbreken.

Als concreet voorbeeld noemde hij het Universal Commerce Protocol (UCP), een open standaard voor agentic commerce die Google samen met een groep bedrijven heeft gebouwd. Via UCP kunnen merchants directe aankopen mogelijk maken vanuit AI Mode en Gemini. Google heeft ook een eigen browsende agent: Google-Agent, de user agent die Google gebruikt wanneer gehoste agents het web afgaan op verzoek van een gebruiker.

Eén technisch detail dat je niet moet missen: Google classificeert Google-Agent als een user triggered fetcher. Dat betekent dat deze agent robots.txt-instructies doorgaans niet volgt. Wil je deze agent blokkeren of juist toelaten, dan werkt robots.txt daar niet voor. Google publiceert wel de IP-adressen van deze fetchers, dus je kunt ze op serverniveau herkennen.

Wat dit voor jou betekent

Ik zie dit onderwerp bij veel klanten nog volledig onder de radar vliegen, en dat is een gemiste kans. Botverkeer overtreft inmiddels al menselijk webverkeer, en dat gaat alleen maar toenemen als agents standaard websites gaan browsen én via protocollen gaan inkopen.

Dit zijn de dingen die ik nu zou checken:

  • Kijk in je serverlogging of je Google-Agent al ziet langskomen. Search Console laat dit niet zien, maar je raw logs wel.
  • Denk na over UCP als je een webshop of boekingssite runt. Google heeft al lodging en food op de roadmap staan. Als jij in die sectoren zit, is het verstandig de UCP-wachtlijst in de gaten te houden.
  • Vergeet robots.txt niet te herzien in de context van agents. De klassieke aanname dat een disallow-regel alles tegenhoudt, klopt hier gewoon niet.

Pichai gaf ook toe dat hij geen concreet antwoord had op hoe Google’s advertentiemodel werkt als een agent het browsen overneemt. Dat is een opvallende ontwijking voor iemand die een miljardenbedrijf op advertentie-inkomsten runt. De trend van afnemend doorklikverkeer naar het open web maakt die vraag alleen maar urgenter.

Kort gezegd: de infrastructuur voor AI-agents die jouw site bezoeken en er acties op uitvoeren is er al. De protocollen komen eraan. Nu is het moment om te snappen hoe dat technisch werkt, niet pas als het mainstream is.

Bron: Search Engine Journal