Das Internet hat ein zweites Publikum

Während des größten Teils seiner Geschichte hatte das Internet nur ein einziges zahlendes Publikum: Menschen. Wir haben die Artikel gelesen, uns wurde die Werbung angezeigt und wir haben die Abonnements abgeschlossen. Bots wurden zwar auch immer in großem Stil eingesetzt, aber in automatisierter Weise. Sie haben sich keine Reklame angesehen, nichts bezahlt und auch nichts gelesen – zumindest nicht so, wie man dies gemeinhin versteht.

Doch das ändert sich gerade schnell. Ende 2024 hat Cloudflare im Durchschnitt 63 Millionen HTTP-Anfragen pro Sekunde verarbeitet. Inzwischen hat sich diese Zahl fast verdoppelt: auf 115 Millionen. Zu Spitzenzeiten werden sogar mehr als 150 Millionen erreicht. Im vergangenen Jahr haben sich die täglichen Anfragen von KI-Agenten in unserem Netzwerk um mehr als 1.700 % erhöht. 2026 war zum ersten Mal mehr als die Hälfte des Internet-Traffics nichtmenschlichen Ursprungs.

Es ist aber nicht so, dass das von Menschen frequentierte Web geschrumpft ist und dadurch Platz geschaffen wurde. Vielmehr ist parallel ein zweites Publikum von Agenten herangewachsen. Diese Softwareprogramme handeln im Auftrag des Menschen und siedeln sich damit irgendwo zwischen uns und herkömmlichen Bots an. Sie reagieren nicht auf Werbung, aber in der Regel steckt hinter ihnen ein Mensch, der eine Aufgabe zu erledigen hat. Wenn Unternehmen lernen, den Agenten das Gesuchte bereitzustellen und Wert aus ihnen zu schöpfen, sind Agenten eine Ergänzung. Doch den Firmen, die das nicht tun, wird durch Agenten etwas entzogen.

Der Bedarf unserer Kunden hat sich nicht geändert: Sie wollen gefunden werden, gute Geschichten erzählen, großartige Erlebnisse bieten und damit Geld verdienen. Was sich aber geändert hat: Bei mehr als der Hälfte Ihrer Besucher handelt es sich inzwischen um Software. Unsere Aufgabe ist es, Ihnen zu helfen, beiden Zielgruppen das zu bieten, was sie suchen.

Mehr Traffic, weniger Einnahmen

Dreißig Jahre lang funktionierte das Web nach einem bestimmten Prinzip: Man erlaubte es Suchmaschinen, seine Website mit Crawlern durchsuchen zu lassen, und im Gegenzug leiteten diese Besucher zu dem Internetauftritt, wo man daraus Kunden machen konnte. Gefunden werden und bezahlt werden war ein und dasselbe.

Doch durch die KI wurde dieses empfindliche Gleichgewicht zerstört. Auf einmal lesen Antwort-Engines die Seiten aus und liefern dem eigentlichen Leser eine Zusammenfassung. Das kostet Websites Bandbreite, ohne dass ein einziger Mensch dadurch zu einer Website geführt wird, auf der Werbung ausgespielt wird oder Zahlungen erfolgen. Während die Maschinen die Website weiter besuchen, bleibt das zahlende Publikum weg. Einige der Segmente, in denen die Crawler am aktivsten sind – etwa Einzelhandel, Computersoftware, IT und Services sowie Finanzdienstleistungen – haben innerhalb von nicht einmal einem Jahr ein Rückgang des menschlichen Traffics um bis zu 40 % verzeichnet.

In der Folge verringern sich die Einnahmen pro Anfrage, während die Kosten steigen. Jede automatisierte Anfrage kostet nach wie vor Bandbreite, Rechenleistung und Ursprungsserverkapazität. Zugleich führt ein wachsender Anteil dieser Anfragen nicht zur Weiterleitung eines Menschen auf die Website, sodass auch die Werbung nicht ausgespielt und kein Abonnement abgeschlossen wird. Unser erster Impuls war, den gesamten automatisierten Traffic zu blockieren. Letztes Jahr haben wir empfohlen, KI-Trainingsdaten sammelnde Crawler auf neuen Domains zu sperren, damit Website-Betreiber die Nutzung ihrer Inhalte für den Aufbau von Modellen wenigstens verweigern konnten. Im Frühjahr 2025 waren 22 Prozent der von uns verzeichneten Crawler-Anfragen für das KI-Training bestimmt (gemäß dem angegebenen Zweck der Crawler). Im Juni 2026 waren es dann 52 %. Das Problem ist, dass ein pauschales „Nein“ als Antwort auf die gerade entstehende Internetwirtschaft nicht differenziert genug ist.

Denn wer auf die Bedürfnisse der Agenten eingeht, dem können sich Geschäftschancen eröffnen. Wer sich hier gut positioniert, ist Vorreiter eines neuen Geschäftsmodells. Doch wenn man es falsch anstellt, erwartet einen das gleiche Schicksal wie Generationen von Websites, die bei Änderungen des Suchmaschinenalgorithmus auf der falschen Seite gestanden haben.

Ein Teil dieses Traffics ist ein Kunde

Ein Agent, der einen Tisch reserviert, Angebote von Versicherungen vergleicht oder einen Datensatz für einen Forscher kauft, ist sehr wohl ein Kunde – nur kein menschlicher.

Für den am schnellsten wachsenden Teil des automatisierten Traffics sind nicht mehr Crawler verantwortlich, sondern Agenten: Software, die im Auftrag eines Menschen Seiten abruft – oft, weil der Mensch einen Chatbot etwas gefragt hat. Dieser Agenten-Traffic folgt Mustern, die man von Menschen kennt: etwa einem Wochenrhythmus oder einem Einbruch über die Sommerferien. Wenn Sie einen Agenten abweisen, dann weisen Sie damit möglicherweise auch den Menschen ab, der ihn geschickt hat.

Agenten legen auch ein anderes Verhalten an den Tag als Trainings-Crawler. Ein Trainings-Crawler liest Ihre Seiten aus, um auf dieser Datengrundlage ein Modell aufzubauen. Demgegenüber kehrt ein Agent jedes Mal zurück, wenn jemand nach den entsprechenden Inhalten fragt. Entsprechend steigt dieser Traffic mit der Zahl der von Menschen gestellten Fragen – und nicht mit der Menge dessen, was Sie veröffentlichen.

Mit Nutzern, die man nicht sehen, nicht voneinander unterscheiden, für die man keine Bedingungen festlegen und denen man nichts in Rechnung stellen kann, lässt sich kein Geld verdienen. Bis vor Kurzem war für den Großteil des nicht-menschlichen Web-Traffics keines dieser vier Dinge möglich.

So sehen Sie, wer Ihre Website wirklich aufruft

„KI-Bot“ hat als Bezeichnung heute keine Aussagekraft mehr. Worauf es ankommt, ist, was ein Bot tut. Die Cloudflare-Lösungen AI Crawl Control, Business Insights und BotBase zeigen Website-Betreibern, wer crawlt, was erfasst wird, was zurückkommt und welche Ihrer URL am populärsten sind.

Der Name eines Bots ist nur dann von Wert, wenn man ihm auch vertrauen kann. Mit Web Bot Auth signieren Betreiber wie OpenAI, Google und AWS die Anfragen ihrer Agenten kryptografisch, sodass eine Website einen echten Agenten von einem Fake-Bot unterscheiden kann, ohne von IP-Adressen oder User-Agent-Strings Rückschlüsse ziehen zu müssen. Wir registrieren jede Woche mehr als 500 Milliarden verifizierte Bot-Anfragen.

Legen Sie die Bedingungen fest

Im Juli haben wir unsere pauschale „KI-Bots blockieren“-Schaltfläche durch separate Steuerelemente für Suchen, Agenten und Training ersetzt. Diese sind nun für jede Tarifoption verfügbar, einschließlich Free. An den Daten lässt sich ablesen, warum es notwendig war, diese Unterscheidung vorzunehmen: Weniger als 1 % der Websites auf Cloudflare lassen Such-Crawler blockieren, während 17 % Bots den Zugang verwehren, die für das Training von Modellen eingesetzt werden. Website-Betreiber haben nie versucht, sich zu verstecken. Doch mit wachsendem Agenten-Traffic und den neuen Arten der Informationsverwertung durch Agenten hatten sie plötzlich weder Einblick mehr darin, wie ihre Inhalte genutzt werden – noch eine Wahlmöglichkeit diesbezüglich. Gefunden zu werden, garantiert heute nicht mehr, dass man auch Geld verdient. Und sie wollen gefunden werden, ohne dass man sie ausbeutet.

Besonders schwierig ist das bei Crawlern, die für verschiedene Dinge gleichzeitig eingesetzt werden. Wenn ein Bot sowohl der Suche als auch dem Training dient, bedeutet die Ablehnung des einen auch die Ablehnung des anderen. Am 15. September haben wir deshalb Disallow AI Training eingeführt. Diese Funktion sorgt dafür, dass Sie weiter für die Suche indexiert werden. Gleichzeitig wird der Betreiber des Bots mithilfe Crawler-spezifischer Mechanismen angewiesen, Ihre Daten nicht für das Training zu verwenden. Apple, Google und Microsoft haben sich verpflichtet, dies zu respektieren. Cloudflare Radar verfolgt das Crawler-Verhalten auch öffentlich.

Neue Domains bekommen jetzt Konfigurationsempfehlungen  angezeigt, die sich an der Art orientieren, in der die Website Geld verdient, und nicht daran, von welcher Art von Software sie gerade aufgerufen wird. Sie können für werbefinanzierte Websites Trainings-Crawler ganz einfach untersagen und Agenten auf Seiten blockieren, die Werbung enthalten. Schließlich zahlt sich eine Anzeige nur aus, wenn sie auch von einem Menschen gesehen wird. Diese Einstellungen lassen sich jederzeit ändern.

Lassen Sie sich bezahlen

Im August 2026 haben wir das Agenten-orientierte Internet, das wir gerade aufbauen, als lesbar, auffindbar, aufrufbar und zahlungstauglich beschrieben. Das letzte Wort – zahlungstauglich – bestimmt, ob sich das offene Web selbst finanzieren kann. Das Internet braucht einen Weg, ‚ja, wenn Sie zahlen‘ zu sagen, statt eines einfachen ‚ja‘ oder ‚nein’.

Der Lizenzmarkt offenbart sowohl die enorme Nachfrage als auch die vorhandenen Lücken. Seit 2023 wurden mehr als 50 Publisher-KI-Deals unterzeichnet. Fast alle sind maßgeschneidert und wurden bilateral zwischen großen Verlagen und bedeutenden KI-Unternehmen getroffen. Sie belegen, dass Inhalte sehr wohl einen Wert haben. Doch einen Großteil des Webs und die meisten Käufer erreichen sie nicht.

Nicht jedes Produkt sollte auf die gleiche Weise verkauft werden. Qualitätsinhalte und -datensätze benötigen ein vertrauenswürdiges Netzwerk, in dem Käufer identifiziert werden und melden, wie das Angebot genutzt wurde. API und MCP-Tools funktionieren nicht so: Die einzelne Anfrage selbst stellt  die Nutzung dar.

Deshalb entwickeln wir Lösungen für beide Anwendungsfälle.

Pay Per Use erreicht die Websites, bei denen dies mit Direktlizenzen nicht möglich ist. Die meisten Publisher werden nie einen maßgeschneiderten Deal mit jedem KI-Unternehmen abschließen können, und kein KI-Unternehmen kann mit Millionen von Websites verhandeln. Pay Per Use schafft eine Brücke. Die Lösung stellt dabei nicht den Crawl in Rechnung. Vielmehr wird bezahlt, wenn Inhalte tatsächlich genutzt werden. Jeder Käufer ist ein verifizierter Crawler – das ist es, was die Vertrauenswürdigkeit des Netzwerks ausmacht. Jeder einzelne von ihnen definiert, was als Nutzung gilt und was er zahlen wird.

Publisher sehen das Angebot und entscheiden sich, ob sie darauf eingehen oder nicht. Sie können sich jederzeit abmelden, wenn sie nicht mehr mit der Regelung zufrieden sind. Der Käufer meldet jede Nutzung, Cloudflare prüft diese Meldungen, legt dem Käufer dann eine Rechnung vor und bezahlt den Publisher. Die Berichterstattung ist dabei genauso wichtig wie die Zahlung. Publisher sehen, was genutzt wurde, wann und was sie verdient haben, und – wenn der Käufer entsprechende Angaben macht – auch Informationen darüber, welche Fragen dazu geführt haben, dass ihr Angebot gefunden wurde. Bei Lizenzdeals lässt sich dies selten in Erfahrung bringen. So entsteht eine Feedback-Schleife: Publisher finden heraus, wonach die Leute wirklich fragen, und können daraufhin entscheiden, was sie abdecken, was sie aktualisieren und was sie den Agenten leicht zugänglich machen wollen.

Es gibt keine einheitliche Definition von Nutzung. Eine Suchmaschine, die auf eine Quelle verweist, ein Recherche-Agent, der einen Absatz zitiert, und ein Shopping-Agent, der einen Kauf abschließt, schaffen verschiedene Arten von Wert. Jedem schwebt dabei sicherlich sein ganz eigenes Geschäftsmodell vor. Käufer können sich über mehrere Geschäftsmodelle mit denselben Grundlagen beteiligen, ohne die Notwendigkeit neuer Integrationen für Publisher. Nehmen wir zum Beispiel ein Fachmagazin für Schiffsingenieure mit einigen tausend Abonnenten und wenig Aussicht auf einen KI-Lizenz-Deal. Dieses wird von jedem teilnehmenden KI-Unternehmen bezahlt, das auf seine Arbeit zurückgreift.

Monetization Gateway erfasst Wert, mit dem man bisher nicht handeln konnte. Konten, API-Schlüssel und Abonnements funktionieren für Kunden, die Sie bereits kennen – nicht für einen Agenten, dem es um eine einzelne Abfrage von einem Dienst geht, den er noch nie genutzt hat. Mit unserer geschlossenen Beta-Version können teilnahmeberechtigte US-Cloudflare-Kunden alles, was unser Netzwerk passiert, mit einem Preis versehen. Das geht mit der Rules-Sprache, die sie bereits kennen. Greift eine Regel, übermitteln wir den Statuscode „HTTP 402 Payment Required“ mit dem offenen x402-Protokoll und der Agent bezahlt den Verkäufer direkt.

Das funktioniert über die reine Rückgewinnung verlorener Einnahmen hinaus. Agenten sind eigenständige Kunden: Sie bezahlen für die Daten, API und Tools, die sie nutzen – unabhängig davon, ob es sich bei dem Gekauften um die Anfrage oder um einen Schritt im Rahmen einer übergeordneten Aufgabe handelt.

Monetization Gateway kann jede einzelne Anfrage, Abfrage oder jeden einzelnen Token zu einem pauschalen  oder gedeckelten Tarif in Rechnung stellen. Eine werbefinanzierte Sportstatistik-Website kann damit jedes Mal, wenn ein Agent die Frage „Wer führt die Liga bei den Torvorlagen an?“ stellt, einen Bruchteil eines Cents berechnen. Bei der Ankündigung von Monetization Gateway haben sich Tausende von Verkäufern auf die Warteliste setzen lassen. Ihr häufigster Wunsch war, nicht Menschen zahlen zu lassen, sondern Agenten. Wir sind auch unser erster eigener Kunde. Die Cloudflare-Lösung AI Gateway nutzt Monetization Gateway, um Agenten für Inferenz bezahlen zu lassen. So finden wir heraus, wo die Probleme liegen, bevor unsere Kunden damit konfrontiert sind.

Aus Käufersicht sind beide Produkte nützlicher als eine Blockierseite: Der Zugang wird verlässlich gewährleistet und es können Millionen von Websites erreicht werden, anstatt die Abdeckung durch individuelle Lizenz-Deals oder API-Schlüssel zu gewährleisten. Jede bezahlte Anfrage hinterlässt eine Quittung, die zeigt, was gekauft und dass es bezahlt wurde.

Sowohl Pay Per Use als auch Monetization Gateway stellen eine Wette dar. Sie wurden mit Kunden anhand von gemeinsamen Grundbausteinen – Identität, Messung, Preisgestaltung, Abrechnung und Analyse – aufgebaut und arbeiten zusammen, sodass ein Publisher über ein übergreifendes Dashboard die Nutzung von Daten für das Modelltraining untersagen, die Suche erlauben, mit KI-Antworten Einnahmen erzielen und Agenten jeden Artikel einzeln in Rechnung stellen kann. Beide Produkte starten als Beta-Version, weil die Frage der Preisgestaltung und Auffindbarkeit noch nicht gelöst ist, und werden somit anhand echter Kunden und echter Transaktionen weiterentwickelt.

Die einzelne Anfrage wird günstiger

Eine Bezahlfunktion ist die Antwort auf sinkende Einnahmen. Steigende Kosten sind ein anderes Problem und ein Großteil davon geht schlicht auf Verschwendung zurück. Die meisten Crawler laden nach wie vor immer wieder Seiten herunter, die für Menschen gebaut wurden, um ein paar Absätze Text zu extrahieren. Allzu oft werden Websites von Bots erneut durchsucht, obwohl sich dort seit ihrem letzten Besuch nichts geändert hat. Das ist eine Verschwendung von Bandbreite für die Website und von Rechenleistung für den Crawler – und das, bevor auch nur eine einzige Antwort verfasst wird. Wir arbeiten mit unseren Kunden und den Crawling-Betreibern an Tools, die helfen werden, dieses Problem zu lösen. Aktuell können Sie den Bandbreitenverbrauch für jeden Betreiber in unserem Dashboard einsehen.

Im Juli haben wir ein gemeinsames Forschungsprojekt mit OpenAI angekündigt. Im Rahmen dieses einzigartigen Pilotprojekts soll untersucht werden, wie Erkenntnisse aus dem globalen Cloudflare-Netzwerk KI-Suchmaschinen dabei helfen können, relevante Inhalte im offenen Web auf effizientere und effektivere Weise zu finden und zu indexieren. Die ersten Ergebnisse wollen wir in den kommenden Wochen vorstellen.

Für unsere Kunden bringen wir Tools und Ein-Klick-Lösungen heraus, mit denen ihre Websites für diese neue Art von Traffic optimiert werden können. Mit Markdown for Agents können Agenten eine Seite ohne das zusätzliche, für das menschliche Auge bestimmte Design lesen. WebMCP ermöglicht es einer Website, Aktionen direkt bereitzustellen, anstatt Agenten erst mühsam raten zu lassen, welche Schaltfläche sie betätigen müssen.

Warum auf Cloudflare aufbauen

Das Cloudflare-Netzwerk ist gut 20 % des Webs und fast 80 % der führenden KI-Unternehmen vorgeschaltet, was uns Einblick in beide Seiten dieses Markts erlaubt. Wir erschaffen die Grundlagen für Überblicks-, Identitäts-, Steuerungs- und Abrechnungsfunktionen und lassen den Markt über den Wert der Dinge entscheiden.

Die bisherige Art, Geschäfte zu machen, gehört der Vergangenheit an. Die neue ist aber noch im Werden. Deshalb können wir gemeinsam gestalten, was als Nächstes kommt.

In einer Version der Zukunft haben einige wenige Unternehmen die Kontrolle darüber, wie Agenten Dinge finden, wer sie sind und wie sie bezahlen. An ihnen käme dann niemand vorbei. Doch in einer anderen Version der Zukunft werden für diese Elemente offene Standards angewandt, die jeder implementieren kann. Jede Website, gleich jeder Größe, könnte dann ihre Bedingungen selbst festlegen und sich danach bezahlen lassen. Wir bevorzugen die zweite Variante.

Deshalb beruhen diese Grundlagen auf offenen Standards wie x402 und Web Bot Auth, sodass jeder darauf aufbauen kann. Domain-Inhaber entscheiden selbst über ihre Identitätsanbieter, Zahlungsabwickler und Agenten-Partner. Cloudflare ist nur eine Option, nicht der gesamte Stack.

Seit Jahrzehnten wurde das Internet von seinen menschlichen Besuchern finanziert. Jetzt kann auch die Software, die es im Auftrag von Menschen durchsucht, für ihren Teil bezahlen.