Lesbar, auffindbar, aufrufbar und zahlungstauglich: Aufbau eines offenen agentenfähigen Internets

Unsere Erhebungen zeigen, dass bei viel Traffic von gutartigen Bots ​Seiten erneut abgerufen werden, die sich nicht geändert haben. Das gilt für Milliarden von Anfragen und bedeutet einen enormen maschinellem Aufwand, der keinerlei Nutzen hat. Es handelt sich dabei um das Symptom eines Webs, das für Menschen geschaffen wurde, nun aber von etwas anderem genutzt wird.

Agenten sind inzwischen Realität – nicht als neue Art von Software, sondern als neuer Typ von Webseitenbesucher.

Das Web, das rund um diese neuen Besucher umgestaltet wird, bezeichnet man als agentenfähiges Internet. Aus unserer Sicht besteht seine Zukunft in Lesbarkeit, Auffindbarkeit, Aufrufbarkeit und Bezahltauglichkeit. Dafür werden aber spezielle Werkzeuge und Protokolle benötigt.

Die Entwicklerplattform von Cloudflare bietet einen Ort, an dem Agenten betrieben werden können, und die ersten Tools für ihre Entwicklung. Was bislang fehlt, sind Werkzeuge, mit deren Hilfe Agenten und Domaininhaber kooperieren können, anstatt in Konflikt miteinander zu geraten – und zwar nicht nur innerhalb derselben Plattform, sondern auch im offenen Internet.

Bisher hat sich jeder Browser im Web mit einem Header namens User-Agent identifiziert. Der Name ergab nur dann Sinn, wenn Sie sich bewusst machten, dass der Browser in Ihrem Auftrag handelte. Doch jetzt ist ein User Agent ein echter Agent des Benutzers, also ein Programm, das im Auftrag eines Menschen im Web etwas abruft. Seine ausgereifteste Form sind aktuell Programmieragenten. Diese lesen und schreiben Quellcode, rufen die benötigten Referenzdokumente ab und sehen nie, wie die von ihnen gelesenen Seiten eigentlich aussehen.

Ein Agent rendert Ihr CSS nicht, sieht Ihr Hero Image nicht und klickt nicht auf Ihre Anzeigen. Doch am anderen Ende befindet sich trotzdem ein zahlender Mensch. Jede Anfrage hat einen Zweck und kostet jetzt jemanden Geld. Wenn Sie sie blockieren, sperren Sie gleichzeitig auch Ihre Kunden aus. Das heißt: Wenn Sie sie wie Scraping-Bots behandeln, verlieren Sie diese Kunden.

Jeder Agent wird tätig, weil jemand – also eine Person oder ein Unternehmen – für diese Tätigkeit bezahlt. In der Regel gibt man nicht einfach aus Spaß Geld für Token aus. Diese Version des Webs, bei der jede Anfrage ein Ergebnis hat und auf einer Abrechnung erscheint, wird keinerlei Ähnlichkeit mehr mit dem heutigen Internet haben.

Letzteres wurde ebenso wenig für die aktuellen Gegebenheiten geschaffen wie die vorhandenen Analysewerkzeuge und die meisten Geschäftsmodelle. Wie Agenten Dinge lesen, entdecken, abrufen und bezahlen, wird darüber entscheiden, ob das Internet weiterhin offen ist oder sich abschottet. In einer Version der Zukunft stehen für die Entdeckung, Identitätskontrolle und Zahlung nur einige wenige Anbieter zur Verfügung. In einer anderen bleibt das Internet für alle frei zugänglich: Auf allgemein implementierbaren Standards beruhende Grundelemente werden auf einer neutralen Infrastruktur mit öffentlichem Quellcode betrieben.

Cloudflare glaubt an das offene Internet und wir sind in der Position, eine Zukunft mitzugestalten, in der es sich weiter entfalten kann.

Wir setzen auf offene Standards wie x402, MCP, Web Bot Auth und PACT, die von jedem implementiert werden können. Domaininhaber entscheiden selbst, welche Identitätsanbieter, Zahlungsabwickler und Agenten-Dienste sie nutzen wollen. Cloudflare ist nur eine Option, mit der man sich nicht an einen vollständigen Stack kettet. Wir nutzen die gleiche Infrastruktur wie unsere Kunden (Stichwort „Customer Zero“), ohne bevorzugten Pfad oder Früzugangs-API, die nur uns offensteht. Wir wollen die Aufgabe, die wir fünfzehn Jahre lang für das auf den Menschen ausgerichtete Internet erfüllt haben, nun auch für das agentenfähige Web übernehmen.

Die zugrundeliegende Technik ist nicht das, was die menschlichen Benutzer im agentenorientierten Internet wahrnehmen werden. Sie verwenden ein neues Medium und werden es – wie seinerzeit das Web – danach beurteilen, ob es für sie eine Verbesserung bringt. Entscheidend wird sein, ob sich eine Tischreservierung im Restaurant in einem Arbeitsschritt erledigen lässt oder ob es dafür mehrere braucht. Ob sie wissen, mit wem sie es zu tun haben. Ob Ihnen das Bezahlen als sicher erscheint.

Unser Ziel: Ein lesbares, auffindbares, aufrufbares und zahlungstaugliches Internet für Agenten

Ausgangspunkt ist die Identität. Mit Web Bot Auth kann sich ein Bot kryptografisch bei jeder besuchten Website identifizieren, sodass deren Betreiber selbst entscheiden kann, wer Zutritt erhält und wer nicht. Damit haben Ratespiele und gefälschte User Agents ein Ende. Viele Websites ist die hinter einer Anfrage stehende Person durch das Login, ihr Verhalten innerhalb der App oder die Kaufhistorie bereits bekannt. Eine Website kann in diesem Fall  Private Access Control Token (PACT) ausgeben. Dieses Konzept wurde von Mozilla, Google, Microsoft und Shopify vorgestellt. Damit können Websites anonym für einen Nutzer „bürgen“. Der betreffende Agent kann den dort ausgestellten Token also an anderer Stelle als Nachweis der Vertrauenswürdigkeit präsentieren. Damit werden die Reibungsverluste für legitime Agenten reduziert.

Das macht es einem Agenten leichter, seine Aufgabe zu erfüllen. Mit ​Markdown for Agents benötigen Agenten weniger Token und eine geringere Bandbreite zum Lesen von Websites. WebMCP bietet ihnen eine native Möglichkeit für Interaktionen im Auftrag des Benutzers. Standards wie x402 erlauben es ihnen, Händler direkt zu bezahlen.

Die Lesbarkeit wird auf unkomplizierte Weise gewährleistet. Können KI-Agenten Inhalte in einer Weise lesen, die ihrer Funktionsweise und ihren Stärken entgegenkommt? Je weniger Bandbreite und Token ein Agent verbraucht, desto besser. Gerenderte HTML-Tags, die nie von einem Menschen angesehen werden, verschwenden nicht nur Rechenressourcen, sondern nehmen auch unnötig Platz im Kontextfenster ein. Der Agent muss dann dafür bezahlen, dass sie ignoriert werden. ​Markdown for Agents löst dieses Problem serverseitig.

Was die Client-Seite betrifft, haben wir einen neuen Browser entwickelt, der Agenten als vollwertige Akteure betrachtet: ​Kitesurf ist so schlank, dass er auf Workers läuft, bei jeder Anfrage gestartet und anschließend direkt wieder beendet werden kann. Er stellt die von Agenten benötigten Inhalte und Funktionen ohne die Features bereit, die auf den Menschen ausgerichtet sind, für Agenten aber nur unnötigen Ballast darstellen.

Auffindbarkeit ist die Grundvoraussetzung einer wirtschaftlichen Nutzung des für Agenten optimierten Internets. Bevor ein Agent eine Ressource lesen, ein Tool aufrufen oder für eine Transaktion bezahlen kann, muss er von der Existenz der Ressource überhaupt erst einmal wissen. Ein wichtiger Aspekt dabei ist die Suche. Um das Gesuchte zu finden, brauchen Agenten speziell für sie geschaffene Schnittstellen – kein Feld, in das ein langsam tippender Mensch Stichwörter eingibt. Dafür ist jetzt das Tool ​AI Search verfügbar, mit dem jede öffentliche Website von Agenten durchsucht werden kann.

Die Auffindbarkeit ist der zweite wichtige Aspekt. Urheber von Inhalten und API-Betreiber müssen wissen, wie gut sichtbar sie für Agenten sind. ​Agent Engine Optimization (AEO) misst die Sichtbarkeit von Marken für die verschiedenen wichtigen Modelle und Agenten. Wenn Sie für die von Ihren Kunden verwendeten Agenten keine messbare Sichtbarkeit haben, ist das im Grunde so, als wären Sie im Internet gar nicht präsent. 

Die Aufrufbarkeit ist der Punkt, an dem die eigentlich Agenten-Tätigkeit beginnt und sie beispielsweise einen Tisch reservieren, ein Abonnement verlängern oder einen Bericht abrufen. Im herkömmlichen Web muss sich der Mensch zur Erledigung dieser Aufgaben durch unterschiedliche Benutzeroberflächen klicken. Wenn ein Agent dort z. B. einen Punkt auf eine To-Do-Liste setzen will, muss er erst den HTML-Code parsen, dann erraten, welches die Schaltfläche für „Hinzufügen“ ist, und schließlich einen Klick simulieren und hoffen, dass sich das DOM (Document Object Model) seit seinem letzten Besuch nicht geändert hat.

Mit WebMCP kann eine Website die auf ihr ausführbaren Aktionen den Agenten direkt über den Browser zugänglich zu machen:

document.modelContext.registerTool({
  name: "add-todo",
  description: "Add a new item to the user's active todo list",
  inputSchema: {
    type: "object",
    properties: {
      text: { type: "string", description: "The todo item text" }
    },
    required: ["text"]
  },
  async execute({ text }) {
    await addTodoItemToCollection(text);
    return { content: [{ type: "text", text: `Added: "${text}"` }] };
  }
});

Der „Vertrag“ zwischen Tools wird damit explizit gemacht. HTML-Parsing und Rätselraten bei Formularfeldern fallen weg. Da die Tools innerhalb der Seite ausgeführt werden, nutzen sie die bestehende Sitzung und den Status des Benutzers weiter. ​Code Mode geht noch einen Schritt weiter. Weil Agenten in Programmcode denken, können sie Tools schneller aufrufen und zielgenauer nutzen, indem sie Quellcode schreiben. Sie lesen keine Inhalte von Websites aus, sondern rufen Endpunkte auf. Somit verrät ein eindeutiges Signal dem Urheber, welche seiner Inhalte tatsächlich verwendet werden. 

Unserer Ansicht nach wird der Trend im agentenfähigen Internet zur Bezahlbarkeit gehen. Für jede geschäftliche Transaktion benötigt man letztendlich eine Zahlungsmöglichkeit. Anzeigenbasierte Monetarisierungsmodelle greifen immer seltener und Lizenzmodelle auf Grundlage der Benutzerzahl funktionieren nicht, wenn es sich bei dem Benutzer um ein Computerprogramm handelt. Den Anbietern der von uns allen genutzten Inhalte bricht die Einnahmequelle weg, wenn niemand mehr ihre Websites ansieht und die bei ihnen geschalteten Werbeanzeigen von den Browsern nicht mehr ausgespielt werden. 

Eine Website für Kochrezepte, die mit Werbeanzeigen nie profitabel war, kann einen Bruchteil eines Cents pro Abruf berechnen und im agentenfähigen Internet Gewinn abwerfen. Eine Lokalzeitung kann Artikel zum Zeitpunkt des Lesens ohne Lizenzvertrag oder Login lizenzieren. Auf der Gegenseite befindet sich ein Agent mit einem von seinem Schöpfer im Vorfeld festgelegten Budget. 

Bei jeder Zahlungsinteraktion wird ein Nachweis erzeugt. Der Urheber der betreffenden Inhalte kann damit belegen, welcher Agent welche Seite abgerufen hat. Der Agent wiederum kann nachweisen, dass er für das Genutzte bezahlt hat. Mit ​Wallets können Agenten ganz einfach für Inhalte und API bezahlen und ​Monetization Gateway ermöglicht Domaininhabern die Einrichtung von Agenten-Zahlungen mit wenigen Klicks.

Es liegt in der Natur unserer Tätigkeit, dass sich Cloudflare bei all diesen Abläufen mittendrin befindet. Wir sind schon jetzt zwischen Milliarden von Menschen und den von ihnen besuchten Websites angesiedelt, schützen sie, beschleunigen sie und sorgen dafür, dass sie online bleiben. Durch Agenten verändert sich zwar der Traffic, doch nicht unsere eigentliche Rolle: Wir fungieren als neutrale und leistungsstarke Zwischeninstanz, bei der sich Urheber, Händler, Agentenentwickler und Endbenutzer sicher sein können, dass wir auf ihrer Seite sind und ihnen keine Konkurrenz machen. 

Wir möchten Domaininhabern die Werkzeuge an die Hand geben, mit denen sie selbst bestimmen können, welche KI-Agenten sie unterstützen und zulassen und welche sie ​blockieren. Als Anbieter eines Entwicklertools strebt man wahrscheinlich ​Agentenfähigkeit an, damit die eigene Lösung bestenfalls von KI-Agenten entdeckt, empfohlen und gekauft werden kann. Ein Verlag möchte unter Umständen KI-Agenten blockieren, die ohne Gegenleistung Inhalte auslesen und Ressourcen beanspruchen, und solche zulassen, die seine Inhalte lizenzieren oder ihn dafür vergüten. Ein gemeinnütziger Datenanbieter will möglicherweise Bots oder Personen blockieren, die bestimmte Durchsatzgrenzen überschreiten, ihnen aber die Möglichkeit zu einer Entsperrung gegen Bezahlung bieten, um der übermäßigen Ressourcennutzung Rechnung zu tragen.

Bots sind tot, es leben die Bots

Inzwischen lassen sich ​Bots und Menschen nicht mehr ohne Weiteres voneinander unterscheiden. Man kann nicht mehr pauschal behaupten, dass Bots schlecht und Menschen gut sind, oder dass Bots Ressourcen verschwenden, die eigentlich von Menschen genutzt werden sollten. Eine solche Denkweise ist im heutigen Agenten-Zeitalter überholt.

Wir betrachten Agenten als eine neue Art von Akteur. Ihr Handeln kann erwünscht sein, etwa wenn sie Inhalte auf ressourcenschonende Weise lesen, auf die von Domaininhabern vorgesehene Weise mit Websites interagieren und für das von ihnen Genutzte zahlen. Wenn sie aber zum Beispiel Millionen von Seiten ohne Entschädigung auslesen, versuchen, Sperrungen zu umgehen, oder ​robots.txt-Dateien ignorieren, sind sie unerwünscht. Wir glauben, dass diese unerwünschten Aktivitäten in vielen Fällen abnehmen und sich sogar in wünschenswerte Tätigkeiten verwandeln werden, wenn Menschen und Bots erst mit den richtigen Werkzeugen ausgestattet sind.

Schließen der Umsatzlücke

Cloudflare hat jahrelang Bots aufgespürt und Domaininhabern dadurch ermöglicht, selbst darüber zu entscheiden, ob diese Programme auf ihre Inhalte zugreifen dürfen. Was bislang nicht abgedeckt wurde, ist der zweite Aspekt: die Art und Weise, in der Agenten nach ihrer Freigabe mit diesen Websites interagieren. Dafür ist diese Serie von Agenten-Tools gedacht: das Web lesbar, auffindbar, aufrufbar und bezahltauglich zu machen. Diese vier Grundbausteine beruhen alle auf offenen Standards, sodass sich die Infrastruktur nicht im Besitz eines einzelnen Unternehmen befindet. 

Ein offenes, agentenfähiges Internet braucht Vielfalt auf beiden Seiten: nicht nur bei Verlagen und Urhebern von Inhalten, sondern auch bei den Agenten. Wenn auf Nachfrageseite eine Vereinheitlichung stattfindet, spielt es keine Rolle, wie offen die Angebotsseite ausgestaltet ist. Das Internet ist dann trotzdem abgeschottet.

Wir arbeiten an einer offenen Alternative. Schließen Sie sich uns an: Machen Sie Ihre Website ​mit unserem neuen Dashboard agentenfähig und registrieren Sie sich, um Neuigkeiten zu unserem Answer Engine Optimization (AEO)-Produkt zu erfahren. Wenn Sie eine Website oder einen Agenten betreiben, können Sie in unserem ​KI Playground mit allen neuen Technologien des Internets experimentieren.