인터넷에는 두 번째 방문자가 있습니다

인터넷의 역사 대부분 동안, 비용을 지불하는 방문자는 한 종류뿐이었습니다: 사람. 우리는 기사를 읽고, 광고를 보고, 구독을 구입했습니다. 봇은 항상 존재했지만, 대부분 광고를 보지 않고, 아무것도 결제하지 않으며, 의미 있는 방식으로 읽지 않는 대규모 자동화 작업이었습니다.

이것이 빠르게 변하고 있습니다. 2024년 말, Cloudflare는 평균 초당 6,300만 건의 HTTP 요청을 처리했습니다. 오늘날에는 1억 1,500만 건으로 거의 두 배가 되었고, 피크 시에는 1억 5,000만 건을 넘습니다. 지난 1년간 우리 네트워크상의 AI 에이전트로부터의 일일 요청은 1,700% 이상 증가했습니다. 올해 처음으로 인터넷 트래픽의 절반 이상이 인간이 아닌 것에서 발생했습니다.

인간 웹이 줄어들어 자리를 만든 것이 아닙니다. 두 번째 방문자가 그 옆에 등장했습니다: 에이전트, 즉 사람을 대신해 행동하는 소프트웨어입니다. 이들은 인간과 전통적인 봇 사이 어딘가에 위치합니다. 광고에는 반응하지 않지만, 대개 그 뒤에는 해야 할 일이 있는 사람이 있습니다. 에이전트를 서비스하고 가치를 포착하는 방법을 배운 기업에게는 에이전트가 부가적입니다. 그렇지 않은 기업에게는 착취적입니다.

우리 고객이 필요로 하는 것은 변하지 않았습니다: 발견되고, 훌륭한 이야기를 전하고, 훌륭한 경험을 만들고, 판매하는 것. 변한 것은 방문자의 절반 이상이 이제 소프트웨어라는 점입니다. 우리의 임무는 두 종류의 방문자 모두를 서비스할 수 있도록 돕는 것입니다.

트래픽은 늘고, 수익은 줄고

30년간 웹은 하나의 합의 아래 운영되었습니다: 검색 엔진이 사이트를 크롤링하게 하면, 검색 엔진이 방문자를 보내고, 그 방문자를 비즈니스로 전환하는 것. 발견되는 것과 수익을 얻는 것은 같은 일이었습니다.

AI는 이 섬세한 균형을 무너뜨렸습니다. 이제 답변 엔진이 페이지를 읽고 독자에게 요약을 제공합니다. 이로 인해 광고나 결제가 이루어지는 사이트로 사람을 유도하지 않으면서 웹사이트의 대역폭을 소비합니다. 기계들은 계속해서 방문했고, 웹에 비용을 지불하던 방문자들은 해당 사이트에 더 이상 도달하지 않게 되었습니다. 소매, 컴퓨터 소프트웨어, IT 및 서비스, 금융 서비스 등 크롤러가 가장 많이 방문하는 카테고리 중 일부는 1년도 채 되지 않아 인간 트래픽이 최대 40% 감소했습니다.

그 결과 요청당 수익은 줄어드는 반면 비용은 증가하고 있습니다. 모든 자동화 요청은 여전히 대역폭, 컴퓨팅, 오리진 용량 비용을 발생시키며, 이러한 요청 중 점점 더 많은 비율이 리퍼럴도, 광고 노출도, 구독도 없습니다. 우리의 첫 번째 본능은 모든 자동화 트래픽을 차단하는 것이었습니다. 작년에는 사이트 소유자들이 모델 구축을 위한 콘텐츠 사용에 적어도 거부할 수 있도록 새 도메인에서 AI 학습용 크롤러를 차단하도록 권장했습니다. 2025년 봄, 우리가 본 크롤러 요청의 22%가 AI 학습을 위한 것이었습니다(크롤러가 명시한 목적 기준). 2026년 6월에는 52%가 되었습니다. 문제는 일괄적인 '거부'가 지금 구축되고 있는 인터넷 경제에 충분히 세밀한 접근 방식이 아니라는 것입니다.

에이전트에 부응할 기회가 있습니다. 제대로 하면 새로운 비즈니스 모델의 최전선에 설 수 있습니다. 잘못하면 검색 엔진 알고리즘 변경의 피해를 입은 수많은 웹사이트와 같은 결과를 맞게 될 것입니다.

그 트래픽 중 일부는 고객입니다

테이블을 예약하거나, 보험 견적을 비교하거나, 연구자를 위해 데이터셋을 구매하는 에이전트는 고객입니다. 단지 인간 고객이 아닐 뿐입니다.

자동화 트래픽 중 가장 빠르게 성장하는 부분은 더 이상 크롤러가 아닙니다. 에이전트, 즉 사람을 대신해 페이지를 가져오는 소프트웨어입니다. 인간이 챗봇에 무언가를 물어봤기 때문인 경우가 많습니다. 이 에이전트 트래픽은 인간의 루틴을 따르며, 주간 리듬이 있고 여름 휴가 기간에는 감소합니다. 에이전트를 거부하면 그 에이전트를 보낸 사람도 함께 잃을 수 있습니다.

에이전트는 학습용 크롤러와도 다르게 행동합니다. 학습용 크롤러는 모델을 만들기 위해 페이지를 수집합니다. 에이전트는 누군가 해당 콘텐츠에 대해 질문할 때마다 다시 돌아옵니다. 따라서 이 트래픽은 얼마나 많이 게시하느냐가 아니라, 사람들이 얼마나 많이 질문하느냐에 따라 증가합니다.

볼 수 없고, 구별할 수 없고, 조건을 설정할 수 없으며, 요금을 부과할 수도 없는 방문자와는 비즈니스를 할 수 없습니다. 최근까지 웹의 비인간 트래픽 대부분에 대해 이 네 가지 중 어느 것도 가능하지 않았습니다.

실제 방문자가 누구인지 파악하기

"AI 봇"은 더 이상 유용한 의미가 없습니다. 중요한 것은 봇이 무엇을 하는가입니다. Cloudflare의 AI Crawl Control, Business Insights, BotBase는 사이트 소유자에게 누가 크롤링하고, 무엇을 가져가고, 무엇이 돌아오며, 어떤 URL이 가장 많이 요청되는지를 보여줍니다.

봇의 이름은 신뢰할 수 있을 때만 의미가 있습니다. Web Bot Auth를 통해 OpenAI, Google, AWS를 포함한 운영자들이 에이전트 요청에 암호학적으로 서명하므로, 사이트는 IP 주소나 사용자 에이전트 문자열을 추측하지 않고도 진짜 에이전트와 사칭자를 구별할 수 있습니다. 우리는 매주 5,000억 건 이상의 인증된 봇 요청을 확인합니다.

조건 설정하기

7월에 우리는 단일 'AI 봇 차단' 스위치를 검색, 에이전트, 학습을 위한 별도 컨트롤로 교체했으며, 무료 플랜을 포함한 모든 플랜에서 사용할 수 있습니다. 데이터는 그 구분이 왜 필요했는지 보여주었습니다. Cloudflare 사이트의 1% 미만이 검색 크롤러를 차단하는 반면, 17%는 학습을 차단합니다. 사이트 소유자들은 숨으려 했던 것이 아닙니다. 그러나 에이전트 트래픽의 증가와 에이전트가 정보를 사용하는 새로운 방식으로 인해, 갑자기 자신의 콘텐츠가 어떻게 사용되는지에 대한 투명성도, 선택권도 없어졌습니다. 발견되는 것이 더 이상 수익을 보장하지 않으며, 그들은 착취당하지 않고 발견되기를 원합니다.

이것은 혼합 사용 크롤러의 경우 특히 어렵습니다. 하나의 봇이 검색과 학습 모두를 수행할 때, 하나를 거부하는 것은 다른 하나를 거부하는 것을 의미합니다. 9월 15일, 우리는 Disallow AI Training을 출시했습니다. 이를 통해 크롤러별 메커니즘을 사용해 운영자에게 데이터를 학습에 사용하지 않도록 지시하면서 검색 인덱싱을 유지합니다. Apple, Google, Microsoft가 이를 준수하기로 약속했습니다. Cloudflare Radar도 크롤러 동작을 공개적으로 추적합니다.

새 도메인은 이제 어떤 소프트웨어가 방문하는지가 아니라 사이트가 어떻게 수익을 창출하는지에 따른 권장 설정을 보게 됩니다. 광고 기반 사이트의 경우, 광고를 게재하는 페이지에서 학습을 쉽게 금지하고 에이전트를 차단할 수 있습니다. 광고는 사람이 볼 때만 수익이 발생하기 때문입니다. 이러한 설정은 언제든지 변경할 수 있습니다.

수익 창출하기

2026년 8월, 우리는 구축 중인 에이전틱 인터넷을 읽고, 찾고, 호출하고, 결제할 수 있는 인터넷으로 설명했습니다. 그중 마지막 요소인 결제 가능성이 개방형 웹이 자체적으로 자금을 조달할 수 있는지를 결정합니다. 웹에는 이진법적인 '예' 또는 '아니오' 대신 '예, 결제하면'이라고 말할 방법이 필요합니다.

라이선싱 시장은 수요의 크기와 그 격차 모두를 보여줍니다. 2023년 이후 50건 이상의 퍼블리셔-AI 계약이 체결되었습니다. 거의 모두 맞춤형 양자간 계약으로, 대형 퍼블리셔와 대형 AI 기업 간에 이루어집니다. 이는 콘텐츠에 가치가 있음을 증명합니다. 그러나 웹의 대부분에는 도달하지 못하며, 대부분의 구매자에게도 닿지 않습니다.

모든 자산이 같은 방식으로 판매되어야 하는 것은 아닙니다. 고가치 콘텐츠와 데이터셋은 구매자가 식별되고 저작물이 어떻게 사용되었는지 보고하는 신뢰할 수 있는 네트워크가 필요합니다. API 및 MCP 도구와 같은 서비스는 그런 방식으로 작동하지 않습니다: 모든 요청이 곧 사용입니다.

그래서 우리는 두 가지 모두를 위해 구축하고 있습니다.

Pay Per Use는 직접 라이선싱이 도달하지 못하는 사이트에 닿습니다. 대부분의 퍼블리셔는 각 AI 기업과 맞춤형 계약을 체결하지 못할 것이고, 어떤 AI 기업도 수백만 개의 사이트와 협상할 수 없습니다. Pay Per Use가 그 다리 역할을 합니다. 크롤링에는 요금을 부과하지 않습니다. 콘텐츠가 실제로 사용될 때 대가를 지급합니다. 모든 구매자는 인증된 크롤러로, 이것이 신뢰할 수 있는 네트워크가 되는 이유이며, 각자 무엇이 사용으로 간주되고 얼마를 지불할지를 정의합니다.

퍼블리셔는 제안을 보고, 참여 여부를 선택하고, 더 이상 맞지 않을 때 언제든지 탈퇴할 수 있습니다. 구매자가 각 사용을 보고하면, Cloudflare가 보고서를 확인하고 구매자에게 청구한 뒤 퍼블리셔에게 지급합니다. 보고는 결제만큼 중요합니다. 퍼블리셔는 무엇이 사용되었는지, 언제, 얼마를 벌었는지, 구매자가 보고하는 경우 어떤 질문을 통해 자신의 저작물이 노출되었는지에 대한 정보를 볼 수 있습니다. 라이선싱 계약은 그런 내용을 거의 보여주지 않습니다. 피드백 루프가 만들어집니다: 퍼블리셔는 사람들이 실제로 무엇을 묻는지 알게 되고, 이를 통해 무엇을 다루고, 무엇을 업데이트하고, 무엇을 에이전트가 쉽게 이용할 수 있게 할지 결정할 수 있습니다.

사용에 대한 정의는 하나가 아닐 것입니다. 출처를 인용하는 검색 엔진, 구절을 인용하는 리서치 에이전트, 구매를 완료하는 쇼핑 에이전트는 서로 다른 종류의 가치를 창출하며, 각자 자체 비즈니스 모델을 원할 것입니다. 구매자는 퍼블리셔가 새로 통합할 필요 없이 동일한 기반을 사용해 여러 비즈니스 모델에 참여할 수 있습니다. 수천 명의 구독자를 보유하고 AI 라이선싱 계약 전망이 거의 없는 해양 엔지니어를 위한 업계 전문지를 생각해보세요. 이 잡지는 자신의 저작물을 활용하는 모든 참여 AI 기업으로부터 수익을 받습니다.

Monetization Gateway는 지금까지 오갈 방법이 없었던 가치를 포착합니다. 계정, API 키, 구독은 이미 알고 있는 고객에게는 작동하지만, 한 번도 사용한 적 없는 서비스에서 단 한 번의 조회를 원하는 에이전트에게는 작동하지 않습니다. 클로즈드 베타에서는 적격 미국 Cloudflare 고객이 이미 알고 있는 규칙 언어를 사용해 우리를 통과하는 모든 것에 가격을 책정할 수 있습니다. 규칙이 일치하면 오픈 x402 프로토콜을 사용해 HTTP 402 Payment Required를 반환하고, 에이전트가 판매자에게 직접 결제합니다.

이것은 단순히 손실된 수익을 회복하는 것 이상입니다. 에이전트는 그 자체로 고객입니다: 요청이 전체 구매인지 더 큰 작업의 한 단계인지에 상관없이, 사용하는 데이터, API, 도구에 대해 지불합니다.

Monetization Gateway는 고정 또는 상한 가격으로 요청별, 쿼리별 또는 토큰별로 요금을 책정합니다. 광고 기반으로 구축된 스포츠 통계 사이트는 에이전트가 '리그에서 어시스트 1위는 누구인가?'라고 물을 때마다 1센트의 극히 일부를 청구할 수 있습니다. Monetization Gateway를 발표했을 때, 수천 명의 판매자가 대기자 명단에 가입했고, 가장 많은 요청은 '사람이 아니라 에이전트에게 요금 부과'였습니다. 우리도 우리 자신의 첫 번째 고객입니다. Cloudflare의 AI Gateway는 Monetization Gateway를 사용해 에이전트가 추론 비용을 지불할 수 있게 하여, 고객들이 경험하기 전에 우리가 문제점을 발견합니다.

구매자에게는 두 제품 모두 차단 페이지보다 낫습니다: 신뢰할 수 있는 액세스와, 한 번에 하나의 라이선싱 계약이나 API 키가 아닌 수백만 개의 사이트에 도달하는 방법입니다. 모든 유료 요청은 무엇이 구매되었고 결제되었다는 것을 보여주는 영수증을 남깁니다.

Pay Per Use와 Monetization Gateway 모두 고객과 함께 공유 기본 요소 위에 구축된 내기입니다: 신원, 사용량 측정, 가격 책정, 정산, 분석. 이들은 함께 작동하므로, 퍼블리셔는 하나의 대시보드에서 학습을 금지하고, 검색을 허용하고, AI 답변으로 수익을 창출하고, 에이전트에게 기사별로 요금을 부과할 수 있습니다. 가격 책정과 발견 가능성은 아직 해결되지 않았기 때문에, 두 제품 모두 실제 고객과 실제 거래에 의해 형성되는 베타로 출시됩니다.

모든 요청을 더 저렴하게

결제는 수익 감소에 대한 답입니다. 비용 상승은 다른 문제이며, 그 대부분은 단순한 낭비입니다. 대부분의 크롤러는 여전히 인간을 위해 만들어진 페이지를 반복해서 다운로드해 몇 단락의 텍스트를 추출합니다. 너무 자주, 봇이 마지막 시도 이후 변경되지 않은 사이트를 크롤링합니다. 이는 사이트의 대역폭과 크롤러의 컴퓨팅을 소모하며, 어떤 답변이 작성되기도 전에 발생합니다. 우리는 고객 및 크롤러와 함께 도움이 될 도구를 개발하고 있습니다. 오늘 대시보드에서 운영자별 대역폭 소비량을 확인할 수 있습니다.

7월, 우리는 OpenAI와의 공동 연구 프로젝트를 발표했습니다. Cloudflare의 글로벌 네트워크에서 얻은 통찰이 AI 검색 엔진이 개방형 웹의 관련 콘텐츠를 더 효율적이고 효과적으로 발견하고 인덱싱하는 데 어떻게 도움을 줄 수 있는지 탐색하는 최초의 파일럿입니다. 앞으로 몇 주 내에 초기 결과를 공유할 계획입니다.

고객을 위해, 이 새로운 유형의 트래픽에 최적화된 사이트를 만들기 위한 도구와 원클릭 경험을 제공하고 있습니다. Markdown for Agents는 에이전트가 인간의 눈을 위한 추가 스타일링 없이 페이지를 읽을 수 있게 하고, WebMCP는 에이전트가 어떤 버튼을 눌러야 할지 추측하게 하는 대신 사이트가 직접 액션을 노출할 수 있게 합니다.

Cloudflare 위에 구축하는 이유

웹의 20% 이상이 Cloudflare 네트워크 뒤에 있으며, 주요 AI 기업의 거의 80%도 마찬가지입니다. 우리는 이 시장의 양쪽을 모두 봅니다. 가시성, 신원, 컨트롤, 정산을 위한 기반을 구축하고, 시장이 무엇의 가치를 결정하게 합니다.

오래된 합의는 끝났고, 새로운 것은 아직 쓰여지고 있습니다. 함께 다음에 일어날 일을 만들어갈 수 있습니다.

한 가지 버전에서는 소수의 기업이 에이전트가 무언가를 찾고, 자신이 누구인지 증명하고 결제하는 방법을 통제하며, 다른 모든 것은 그들을 통해 라우팅됩니다. 다른 버전에서는 이러한 요소들이 누구나 구현할 수 있는 개방형 표준이며, 어떤 규모의 사이트도 조건을 설정하고 수익을 받을 수 있습니다. 우리는 후자를 선호합니다.

그것이 바로 이 기반이 x402 및 Web Bot Auth와 같은 개방형 표준 위에서 실행되어 누구나 그 위에 구축할 수 있는 이유입니다. 도메인 소유자는 자신의 ID 공급자, 결제 처리자, 에이전트 파트너를 선택합니다. Cloudflare는 하나의 선택지이지, 전체 스택이 아닙니다.

수십 년 동안 웹은 그것을 방문한 사람들에 의해 지불되었습니다. 이제 그들을 대신해 방문하는 소프트웨어도 자신의 몫을 지불할 수 있습니다.