Van ranking naar aanbevolen: maak je site klaar om te floreren in het tijdperk van AI-agents

Je volgende klant vindt je mogelijk niet via een zoekmachine. In plaats daarvan vraagt deze een AI-assistent: 'Hoe doe ik X?', 'Welke optie is het beste voor iemand zoals ik?', 'Regel het maar voor me' en een agent zoekt het antwoord, weegt de opties af en handelt namens die klant. Het moment waarop een klant besluit of deze voor je kiest, speelt steeds vaker af binnen de reactie van een model, nog voordat een mens je homepage te zien krijgt.

Dit agentische publiek is er al: volgens onze telling komt nu minder dan de helft van alle HTML-paginaverzoeken van een mens. Niet al die machines zijn agents die namens een persoon handelen, maar dat aandeel groeit snel. Antwoordsystemen, winkelassistenten en onderzoekstools zullen bepalen welke bedrijven worden gevonden en aanbevolen. Vindbaarheid betekende vroeger de positie op een resultatenpagina. Het betekent nu dat je gevonden, gelezen en vol vertrouwen aanbevolen wordt door de agents die je klanten begeleiden.

De oude meetmethoden, zoals muisklikken en paginaweergaven, geven niet langer een volledig beeld. We hebben met website-eigenaren gesproken die naar toegangslogboeken vol AI-bots zaten te staren, zonder enig idee te hebben of die bots hun site daadwerkelijk konden gebruiken of dat ze hun producten en diensten aan hun gebruikers konden aanbevelen. We hoorden twee hoofdvragen:

• Kunnen agents mijn website eigenlijk wel gebruiken?
• Word ik aanbevolen?

Om website-eigenaren te helpen deze vragen te beantwoorden, hebben we ons vorige werk aan Agent Readiness aan het Cloudflare-dashboard en onze nieuwe Answer Engine Optimization (AEO)-tool toegevoegd. Deze tools beschouwen agents als een belangrijke gebruikersgroep voor je website en laten je zien hoe een agent je site zal ervaren en hoe vaak je wordt aanbevolen.

De mogelijkheden zijn groot en de drempel is laag, omdat de meeste websites nog niet voor deze gebruiker zijn ontworpen. Net zoals de vroege SEO-trends sites beloonden die voor zoekmachines waren ontworpen, zullen sites die voor agents zijn gebouwd nu beloond worden. De sites die gemakkelijk te vinden, te lezen en te vertrouwen zijn, zullen door agents worden aanbevolen.

Diagnostiek: is je site klaar voor agents?

Diagnostiek is de technische controle binnen Agent Readiness. Het scant je site zoals een agent dat zou doen: het bepaalt of het toegang heeft en of het je content kan vinden, haalt een schone, machineleesbare kopie op en vindt de interfaces die het kan aanroepen. 

Terwijl een bezoeker simpelweg je homepage laadt, maakt een agent gebruik van je robots.txt-bestand, je sitemap, je response headers, een Markdown-versie van je content en gepubliceerde metadata voor authenticatie en tools.

Diagnostiek voert deze controles uit op basis van een hostnaam en voegt de resultaten samen in één overzicht van de agent-readiness, van 'Niet gereed' tot volledig agent-native. Elke controle wordt beoordeeld met 'gelukt', 'mislukt' of 'neutraal', met een toelichting waarom dit van belang is, en bewijsmateriaal dat het exacte verzoek en de reactie weergeeft die we hebben gezien.

De controles zijn gegroepeerd op inspanning, zodat je weet waar je moet beginnen:

• Snelle winsten: de essentiële basisprincipes die de meeste websites missen, waaronder een door crawlers leesbaar robots.txt-bestand, een XML-sitemap, regels voor AI-crawlers en een schone Markdown-versie voor agents
• Technische basis: de volgende laag, inclusief contentsignalen die aangeven hoe je content mag worden gebruikt, een API-catalogus, link headers en instructies voor het inloggen van agents
• Geavanceerde integratie: de agent-native functies, waaronder OAuth-ontdekking, MCP (Model Context Protocol) en A2A-agentkaarten (Agent2Agent), een vaardighedenindex, Web Bot Auth en WebMCP
• Handel: de opkomende standaarden voor agentbetalingen, waaronder x402 (een uitbreiding van de klassieke HTTP 402 Payment Required-statuscode), ACP (Agent Commerce Protocol), Universal Commerce Protocol (UCP) en AP2 (Agent Payments Protocol). Dit is voorlopig alleen ter informatie en telt niet mee voor je score.

Elke voorgestelde verbetering gaat gepaard met een volgende stap. Als er een Cloudflare-functie is die kan helpen, is er een link 'Instellen in Cloudflare' die direct naar die instelling leidt, zoals het inschakelen van Markdown voor agents of het beheer van robots.txt. Voor al het andere is er een knop 'Copy Agent Prompt' die suggesties doet voor wat je codeeragent moet bouwen. Voer de wijziging door, scan opnieuw en zie hoe het vinkje groen wordt.

AEO: Word je aanbevolen door AI-assistenten?

Diagnostiek laat zien of agents je site kunnen lezen. Het tabblad AEO laat zien wat er vervolgens gebeurt: als een klant een AI-assistent een vraag stelt in jouw categorie, beveelt deze jou dan aan of een concurrent? Je kunt dit niet opzoeken zoals een zoekresultaat. Er is geen telling van vertoningen en geen rapport van gemiste klikken, dus als een concurrent in plaats van jou wordt genoemd, is de verkoop verloren en krijg je daar geen melding van.

We leiden je branche (bijv. gezondheid en fitness) en categorie (bijv. sportkleding) af van je site, en we testen de toonaangevende assistenten (vandaag Claude van Anthropic en GPT van OpenAI) met waarschijnlijke prompts om te zien hoe ze reageren. We hebben deze prompts zo opgesteld dat ze de ontdekkingstocht in de praktijk nabootsen. Ze vragen om aanbevelingen, productvergelijkingen en algemeen advies binnen jouw categorie. Door te observeren hoe modellen deze realistische vragen beantwoorden, krijg je statistieken zoals:

• Citatiepercentage: het percentage antwoorden in jouw categorie dat jouw site als bron vermeldt
• Bekendheid: in hoeverre een geciteerd antwoord van jou daadwerkelijk van jou afkomstig is en hoe snel het geregistreerd wordt
• Vermeldingsfrequentie: hoe vaak assistenten je merk in hun antwoord noemen, bijvoorbeeld hoe vaak 'Cloudflare' in het antwoord voorkomt, ongeacht of cloudflare.com als bron wordt vermeld. Lees dit in combinatie met het aantal citaties, want het onderscheidt naamsbekendheid van daadwerkelijke vermelding: als assistenten je veel vaker noemen dan citeren, betekent dit dat ze je wel in de gaten houden, maar dat je nog geen citatie hebt gekregen. Dit is een specifiek, aanpakbaar hiaat.
• Marktaandeel: jouw aandeel in citaties ten opzichte van dat van je concurrenten, zodat je kunt zien wie de zoekresultaten wint die jij verliest

Om te beoordelen hoe een AI-model je marktpositie inschat, stellen we een benchmark op voor elke branche en categorie voordat we een specifieke website beoordelen. We raadplegen AI-assistenten met waarschijnlijke suggesties in die categorie (zonder je merk te specificeren) en registreren welke sites worden genoemd, waar ze verschijnen en hoe prominent ze worden weergegeven.

In plaats van de modellen telkens opnieuw op te vragen wanneer een site-eigenaar een scan uitvoert, voeren we dit panel één keer per categorie uit en hergebruiken we de baseline voor alle accounts in dat domein. Het vooraf berekenen van deze dataset biedt drie belangrijke voordelen:

• Geen latentie: Resultaten worden direct geladen vanuit een momentopname in plaats van te wachten op live modelquery's.
• Lagere rekenkosten: Door zoekopdrachten op categorieniveau te aggregeren, worden overbodige AI-aanroepen over duizenden scans vermeden.
• Branchegeschiktheidsscore: Door het panelcorpus opnieuw te gebruiken, kunnen we in kaart brengen welke merken consistent samen verschijnen. Dit stelt ons in staat een branchegeschiktheidsscore af te leiden die meet of een AI-assistent je site samen met je daadwerkelijke concurrenten bekijkt.

AI-assistenten beantwoorden zelden twee keer dezelfde vraag op exact dezelfde manier. Om deze variantie te verklaren, gebruiken we Cloudflare AI Gateway om elke assistent meerdere keren te benaderen via verschillende modellen. Vervolgens lezen we de reacties die een klant te zien krijgt (de antwoordtekst samen met de bronnen die elke assistent noemt) en halen we daar verschillende signalen uit. 

We beoordelen niet alleen of je site is genoemd, maar ook of je als bron bent geciteerd, hoe vroeg je citaten in het antwoord voorkomen en hoeveel van de inhoud van het uiteindelijke antwoord aan jou wordt toegeschreven. Waar een gedegen beoordeling vereist is, neemt Workers AI het zware werk uit handen. Het systeem draait op onze eigen infrastructuur om elk antwoord te lezen en te beoordelen hoe je citaten en vermeldingen eruitzien. We maken ook gebruik van exacte tekstanalyse in plaats van een model dat zijn eigen output beoordeelt. Dit bundelt tientallen losse reacties tot bruikbare meetgegevens. Door de query- en evaluatiepipeline voor meerdere modellen te abstraheren, biedt de tool statistieken zonder dat je je eigen evaluatiekader hoeft te bouwen.

Naast de antwoorden toont een AI Operator Activity-rapport het daadwerkelijke crawl- en verwijzingsverkeer op je site, per operator (OpenAI, Google, enzovoort): wie je content leest, wie bezoekers terugstuurt en welke fouten ze onderweg tegenkomen (403 geblokkeerd, 404 dode link). Het patroon waar je actie op moet ondernemen, is de operator die duizenden van je pagina's crawlt maar niemand doorverwijst, en die jouw werk gebruikt zonder klanten terug te sturen.

Omdat deze cijfers specifiek zijn voor je website, kun je experimenteren, de scan opnieuw uitvoeren en de impact meten op de exacte vragen die je omzet opleveren.

Ontmoet je andere doelgroep

Tot nu toe was het beoordelen van agents een kwestie van gissen: je logs doorzoeken om te achterhalen wie er op bezoek was geweest, of een chatbot een vraag stellen en kijken of die je noemde. Maar met Agent Readiness en AEO krijg je de gegevens die je nodig hebt om actie te ondernemen. En omdat de verzoeken daadwerkelijk via Cloudflare lopen, meten deze tools waar mogelijk in plaats van te schatten, en zullen ze in de loop der tijd verbeteren. 

Wij helpen je inzicht te krijgen in wie je website bezoekt en bepalen hoe je op je eigen voorwaarden met die bezoekers in contact kunt treden. Dat is wat we altijd al hebben gedaan. Agents vormen slechts de nieuwste doelgroep. De bedrijven die het voor agents gemakkelijk maken om ze te vinden, te begrijpen en te vertrouwen, zijn de bedrijven die worden aanbevolen. Agent Readiness is waar je ontdekt of je tot die groep behoort en wat je moet doen als je dat nog niet bent.

Ben je benieuwd of AI-agents klanten naar jouw bedrijf doorsturen? Ga naar het tabblad 'Overzicht' in je dashboard om je site Agent Ready te maken en vraag om vroege toegang tot AEO Visibility.

Je bouwt voort op het open, agent-compatibele web? Open het tabblad Agent Readiness in je Cloudflare-dashboard en vertel ons wat je aan het bouwen bent op ons Cloudflare Developer Discord-kanaal.