LLMs weten het wel, maar kunnen er niet bij

Google publiceerde een onderzoekspaper met een opvallende bevinding: frontier LLMs zoals Gemini en GPT-5 hebben 95 tot 98% van de getoetste feiten gecodeerd tijdens training. Toch lukt het ze niet om 26 tot 34% van die feiten direct op te halen als antwoord op een query. Het probleem zit dus niet in wat het model weet, maar in hoe het dat weet terugvindt.

Het gaat om de volgorde van subject en object

Hier wordt het interessant. LLMs leren feiten in een bepaalde volgorde: het subject (de entiteit die als eerste verschijnt in de bronttekst) en daarna het object. Neem dit voorbeeld uit het onderzoek: “Oasis played their first gig at the Boardwalk club.” Oasis is het subject, the Boardwalk club het object.

Als een gebruiker nu vraagt “In welke club speelde Oasis hun eerste optreden?”, is dat een directe vraag. Maar vraag je “Welke band speelde hun eerste optreden in the Boardwalk club?”, dan is de volgorde omgedraaid. En precies daar gaat het mis: de LLM heeft meer moeite met die recall, omdat het feit in de omgekeerde volgorde wordt bevraagd.

Wat het onderzoek nog curioser maakt: als datzelfde feit wordt aangeboden als meerkeuzeoptie, herkent de LLM het wél. Het zit er dus in, maar de directe toegang hapert.

Herschrijven van de vraag maakte overigens weinig verschil. Het draait specifiek om die subject/object-inversie, niet om andere formuleringen.

Long-tail feiten zijn extra kwetsbaar

Rare, minder bekende feiten worden ook slechter opgehaald. Het verschil in encoding tussen populaire en zeldzame feiten is klein, maar bij recall wordt die kloof groter. Ook hier is het probleem niet dat het model het niet heeft geleerd.

Meer “denktijd” geven aan een LLM helpt trouwens wel: modellen konden hiermee 40 tot 65% van de eerder niet-ophaalbare feiten alsnog ophalen. Maar dat is rekenkundig duur en je weet van tevoren niet wanneer je het moet inzetten.

Wat betekent dit voor jouw content?

Het onderzoek zegt dit niet expliciet, maar de logische implicatie voor SEO-teksten is de moeite waard om te overdenken. Als LLMs feiten leren in de volgorde waarin ze in tekst voorkomen, loont het mogelijk om subject/object-paren te schrijven in de volgorde die overeenkomt met hoe gebruikers er normaal naar zoeken.

Ik zie dit regelmatig misgaan in contentproductie: feiten worden beschreven vanuit de interne logica van het bedrijf, niet vanuit de zoekvraag van de gebruiker. Dat is al slecht voor klassieke SEO, maar het lijkt nu ook relevant voor hoe goed jouw content terugkomt in AI-antwoorden.

Dit is geen bewezen optimalisatiestrategie, dat maakt het onderzoek zelf ook duidelijk. Maar het is een hypothese die ik serieus zou nemen bij het schrijven van informatieve content die je graag geciteerd wil zien in AI Overviews of andere LLM-outputs. Schrijf feiten in de volgorde van de meest waarschijnlijke zoekvraag, niet in de volgorde die jou het handigst uitkomt.

Bron: Search Engine Journal