インターネットには第2のオーディエンスがいる

インターネットの歴史の大半において、その運営費を賄っていたのは「人間」という単一のユーザー層でした。私たち人間は、記事を読み、広告を見て、サブスクリプションを購入してきました。ボットは常に存在していましたが、ほとんどは大規模な自動化された処理であり、広告を閲覧したり、何かに支払ったり、意味のある形でコンテンツを読んだりすることはありませんでした。

これは急速に変化しています。2024年末、Cloudflareは平均して1秒間に6,300万件のHTTPリクエストを処理していました。現在は1億1,500万件とほぼ2倍になり、ピーク時は1億5,000万件を超えています。過去1年間で、当社ののネットワーク上のAIエージェントからの1日あたりのリクエストは1,700%以上増加しました。今年は初めて、インターネットトラフィックの半数以上が人間以外のものとなったのです。

人間のWebが縮小してスペースを空けたわけではありません。第2のオーディエンスがそれと並行して登場しました。それはエージェント、つまり人間の代わりに行動するソフトウェアです。それらは人間と従来のボットの間のどこかに位置しています。広告には反応しませんが、多くの場合、その背後には何らかのタスクを抱えた人間がいます。エージェントを使いこなして価値を引き出すことを学んだ企業にとって、エージェントは付加価値をもたらします。そうでない企業にとっては、一方的に搾取する存在です。

顧客の必要は変わっていません。発見されること、素晴らしいストーリーを伝えること、素晴らしい体験を作ること、そして販売することです。変わったのは、サイトの訪問者の半数以上が今やソフトウェアであるということです。当社の仕事は、両方のオーディエンスにサービスを提供できるよう支援することです。

トラフィックは増加、収益は減少

30年間、Webはひとつの取り決めのもとで機能していました。検索エンジンにサイトをクロールさせ、検索エンジンが訪問者を送り、その訪問者をビジネスに変えるというものでした。見つけられることと収益を得ることは同義でした。

AIはこの繊細なバランスを崩しました。現在、回答エンジンがページを読み取り、読者に要約を提供します。これによりWebサイトは帯域幅を消費しますが、広告や決済が行われるサイトに人間が誘導されることはありません。マシンはそれでも訪れ続け、Webにお金を払っていたオーディエンスがそれらのサイトに到達しなくなりました。小売、コンピューターソフトウェア、IT・サービス、金融サービスなど、最もクロールされているカテゴリーの一部では、1年も経たないうちに人間のトラフィックが最大40%減少しています。

結果として、リクエストあたりの収益が下がる一方でコストは上昇しています。自動化されたリクエストは依然として帯域幅、コンピューティング、オリジン容量のコストを発生させており、それらのリクエストの増加する割合は、リファラルも、広告インプレッションも、サブスクリプションも持ちません。当初、当社はすべての自動トラフィックをブロックすべきだと考えました。昨年、当社はサイトオーナーが少なくともモデル構築のためのコンテンツ利用を拒否できるよう、新しいドメインでAI学習用クローラーをブロックすることを推奨しました。2025年春、当社が目にしたクローラーリクエストの22%がAI学習を目的としていました（クローラーが申告した目的に基づく）。2026年6月には、それが52%になりました。問題は、現在構築されつつあるインターネット経済において、一律の「拒否」という対応は、きめ細やかさに欠けるアプローチであるということです。

エージェントに対応するチャンスはそこにあります。うまくいけば、新しいビジネスモデルの最前線に立つことができます。しかし失敗すれば、検索エンジンのアルゴリズム変更の悪影響を受けた歴代のWebサイトと同じ結果になるでしょう。

そのトラフィックの一部は顧客である

テーブルを予約したり、保険の見積もりを比較したり、研究者のためにデータセットを購入したりするエージェントは、顧客です。ただし、人間の顧客ではありません。

自動化されたトラフィックの中で最も急速に成長している部分は、もはやクローラーではありません。エージェント、すなわち人間の代わりにページを取得するソフトウェアです。多くの場合、人間がチャットボットに何かを尋ねたためです。このエージェント型トラフィックは人間のルーティンに従い、週次のリズムと夏休みの落ち込みがあります。エージェントを断ることは、それを送った人間を断ることになるかもしれません。

エージェントは学習用クローラーとも異なる行動をとります。学習用クローラーはモデルを構築するためにページを収集します。エージェントは誰かがそのコンテンツについて質問するたびに戻ってきます。そのため、このトラフィックは公開する量ではなく、人々が質問する数とともに成長します。

見えず、区別できず、条件を設定できず、課金もできないオーディエンスとはビジネスになりません。最近まで、Webの非人間トラフィックの大部分に対して、これら4つのことはどれも不可能でした。

本当に誰が訪れているかを把握する

「AIボット」はもはや具体的な意味を持ちません。重要なのは、ボットが何をするかです。CloudflareのAI Crawl Control、Business Insights、BotBaseは、サイトオーナーに誰がクロールしているか、何を持ち去っているか、何が戻ってくるか、そしてどのURLが最も求められているかを示します。

ボットの名前は信頼できる場合にのみ価値があります。Web Bot Authにより、OpenAI、Google、AWSなどのオペレーターはエージェントのリクエストを暗号的に署名するため、サイトはIPアドレスやユーザーエージェント文字列から推測することなく、本物のエージェントと詐称者を区別できます。当社は毎週5,000億件以上の認証済みボットリクエストを確認しています。

条件を設定する

7月に、当社はひとつの「AIボットをブロック」スイッチを、検索、エージェント、学習の個別コントロールに置き換えました。これはFreeを含むすべてのプランで利用可能です。データは、なぜその区別が必要だったかを示していました。Cloudflare上のサイトの1%未満が検索クローラーをブロックしている一方で、17%が学習をブロックしています。サイトオーナーは隠れようとしていたわけではありません。しかし、エージェント型トラフィックの台頭と、エージェントが情報を使用する新しい方法により、彼らはコンテンツの使用方法について突然透明性も、選択肢もなくなりました。見つけられることが収益保証にならなくなり、彼らは搾取されることなく見つけられることを望んでいます。

混合使用クローラーの場合、これは特に困難です。1つのボットが検索と学習の両方を行う場合、一方を拒否することはもう一方を拒否することを意味します。9月15日、当社はDisallow AI Trainingをリリースしました。これにより、クローラー固有のメカニズムを使用してオペレーターがデータを学習に使用しないよう指示しながら、検索のためのインデックスを維持します。Apple、Google、Microsoftはこれを遵守することを約束しました。Cloudflare Radarもクローラーの動作を公的に追跡しています。

新しいドメインには、どのソフトウェアが訪問しているかではなく、サイトがどのように収益を上げているかに基づいた推奨設定が表示されるようになりました。広告支援型サイトの場合、広告を掲載するページで学習を簡単に禁止し、エージェントをブロックできます。なぜなら広告は人間が見たときにのみ収益を生むからです。これらの設定はいつでも変更できます。

収益を得る

2026年8月、当社は構築しているエージェント型インターネットを、読み取り可能、発見可能、呼び出し可能、支払い可能と説明しました。最後の言葉「支払い可能」は、オープンWebが自らを維持できるかどうかを決定するものです。Webには、二者択一の「はい」や「いいえ」の代わりに、「はい、支払えば」と言う方法が必要です。

ライセンス契約市場は、需要の大きさとギャップの両方を示しています。2023年以降、50件以上のパブリッシャーとAI間の契約が締結されています。そのほぼすべてが個別かつ二者間で、大手パブリッシャーと大手AI企業の間のものです。それらはコンテンツに価値があることを証明しています。しかし、Webの大部分には届かず、ほとんどの購入者にも届きません。

すべてのアセットが同じ方法で販売されるべきではありません。高価値なコンテンツとデータセットは、購入者が特定され、作品がどのように使用されたかを報告する信頼できるネットワークが必要です。APIやMCPツールのようなサービスはそのようには機能しません：すべてのリクエストが利用です。

そのため、当社は両方に対応して構築しています。

Pay Per Useは、直接ライセンスが届かないサイトに到達します。ほとんどのパブリッシャーは各AI企業との個別契約を得ることはないでしょう。そして、どのAI企業も数百万のサイトと交渉することはできません。Pay Per Useは橋渡し役です。クロールには課金しません。コンテンツが実際に使用されたときに支払います。すべての購入者は認証済みクローラーであり、それがこれを信頼できるネットワークにする理由です。各購入者は何が利用とみなされるかと支払い額を定義します。

パブリッシャーはオファーを見て、参加するかどうかを選択し、自分に合わなくなったときにいつでもオプトアウトできます。購入者はすべての利用を報告し、Cloudflareがそれらの報告を確認してから購入者に請求し、パブリッシャーに支払います。報告は支払いと同じくらい重要です。パブリッシャーは何が使用されたか、いつ、いくら稼いだかを確認でき、購入者が報告する場合には、どの質問が自分の作業を引き出したかについての情報も得られます。ライセンス契約がそれを示すことはほとんどありません。フィードバックループが生まれます。パブリッシャーは人々が実際に何を求めているかを学び、そこから何をカバーするか、何を更新するか、何をエージェントに簡単に利用できるようにするかを決定できます。

利用という概念は単一の定義に限定されません。ソースを引用する検索エンジン、パッセージを引用するリサーチエージェント、購入を完了するショッピングエージェントは異なる種類の価値を生み出し、それぞれが独自のビジネスモデルを必要とします。購入者はパブリッシャーへの新しい統合なしに、同じ基盤を使用して複数のビジネスモデルを通じて参加できます。数千人のサブスクライバーを持ち、AIライセンス契約の見込みがほとんどない海洋エンジニア向けの専門誌を考えてみてください。それは作業を活用するすべての参加AIによって支払われます。

Monetization Gatewayは、これまで移転する手段がなかった価値を捕捉します。アカウント、APIキー、サブスクリプションは既知の顧客には機能しますが、一度も使用したことのないサービスから1回の検索を求めるエージェントには機能しません。クローズドベータでは、適格な米国のCloudflare顧客が、すでに知っているルール言語を使用して、当社を通過するあらゆるものに価格を設定できます。ルールが一致すると、オープンなx402プロトコルを使用してHTTP 402 Payment Requiredを返し、エージェントは売り手に直接支払います。

これは失われた収益の回収以上のことを意味します。エージェントはそれ自体が顧客です。リクエストが購入全体であるか、より大きなタスクの一ステップであるかに関わらず、使用するデータ、API、ツールに対して支払います。

Monetization Gatewayは、リクエスト単位、クエリ単位、またはトークン単位で固定価格またはキャップ付き価格で課金します。広告で構築されたスポーツ統計サイトは、エージェントが「リーグのアシスト数トップは誰か？」と問い合わせるたびに、わずか数分の1セントを課金できます。Monetization Gatewayを発表したとき、何千人ものセラーがウェイトリストに参加し、最もよくあったリクエストは「人間ではなくエージェントに課金する」というものでした。当社の最初の顧客は、当社自身でもあります。CloudflareのAI GatewayはMonetization Gatewayを使用してエージェントが推論に対して支払えるようにしており、顧客が体験する前に粗削りな部分を発見できます。

購入者にとって、両製品はブロックページより優れています。信頼性の高いアクセスと、1つのライセンス契約やAPIキーではなく、数百万のサイトに到達する方法です。すべての有料リクエストは、何が購入され、支払われたことを示す領収書を残します。

Pay Per UseもMonetization Gatewayも、顧客と共に共有の基本要素に基づいて構築された賭けです：アイデンティティ、計測、価格設定、精算、analytics。これらは連携して機能するため、パブリッシャーはひとつのダッシュボードから学習を禁止し、検索を許可し、AIの回答から収益を得て、エージェントに記事ごとに課金できます。価格設定と発見性はまだ解決されていないため、両方が実際の顧客と実際の取引によって形作られるベータとして起動します。

すべてのリクエストをより低コストに

支払いは収益低下への答えです。コスト上昇は別の問題であり、その多くは単純な無駄です。ほとんどのクローラーは依然として人間向けに構築されたページを何度も何度もダウンロードし、わずかなテキストの段落を抽出します。ボットが最後の試み以来変更されていないサイトをクロールすることがあまりにも多くあります。これはサイトにとって帯域幅を、クローラーにとってコンピューティングを消費し、回答が書かれる前に発生します。当社は顧客とクローラーと協力して役立つツールを開発しています。今日、ダッシュボードでオペレーターごとの帯域幅消費量を確認できます。

7月に、当社はOpenAIとの共同研究プロジェクトを発表しました。これは、Cloudflareのグローバルネットワークからのインサイトが、AI検索エンジンがオープンWeb上の関連コンテンツをより効率的かつ効果的に発見・インデックスするのに役立てるかを探る初の取り組みです。今後数週間で初期結果を共有する予定です。

顧客には、この新しいタイプのトラフィックに対してサイトを最適化するためのツールとワンクリック体験を提供しています。Markdown for Agentsはエージェントが人間の目向けのスタイリングなしにページを読めるようにし、WebMCPはエージェントがどのボタンを押すか推測するのではなく、サイトが直接アクションを公開できるようにします。

なぜCloudflare上に構築するのか

Webの20%以上がCloudflareのネットワークの背後にあり、主要なAI企業の約80%も同様です。当社はこの市場の両側を見ています。可視性、アイデンティティ、コントロール、精算のための基盤を構築し、市場が物事の価値を決定するようにしています。

古い取り決めは終わり、新しいものはまだ書かれている最中です。共に、次に何が起こるかを形作ることができます。

ある版では、数社が、エージェントがどのように物事を見つけ、自分が誰であるかを証明し、支払うかをコントロールし、他の全員がそれらを通じてルーティングされます。別の版では、それらの要素は誰もが実装できるオープン標準であり、あらゆる規模のサイトが条件を設定して支払いを受けられます。当社は後者を好みます。

そのため、これらの基盤はx402やWeb Bot Authのようなオープン標準上で動作しており、誰もがそれに基づいて構築できます。ドメインオーナーは独自のIDプロバイダー、独自の決済事業者、独自のエージェントパートナーを選択します。Cloudflareはひとつの選択肢であり、スタック全体ではありません。

何十年もの間、Webはそれを訪れた人間によって支払われてきました。今や、人間の代わりに訪れるソフトウェアもその分を支払うことができます。