순위에서 추천으로: AI 에이전트 시대를 대비해 웹사이트를 준비하는 방법

다음 고객은 검색 엔진을 통해 귀사를 찾지 않을 수도 있습니다. 대신 AI 어시스턴트에게 "X는 어떻게 하지?", "나 같은 사람에게는 어떤 옵션이 가장 좋을까?", "그냥 알아서 처리해 줘"라고 요청하면 에이전트가 답을 찾고, 여러 옵션을 비교한 후, 고객을 대신해 행동할 것입니다. 고객이 귀사를 선택할지를 결정하는 순간은 점점 더 사람이 홈페이지를 보기도 전에 모델의 응답 안에서 일어나고 있습니다.

이러한 에이전트 사용자층은 이미 등장했습니다. Cloudflare의 집계에 따르면 현재 전체 HTML 페이지 요청 중 ​사람이 보내는 요청은 절반도 되지 않습니다. 물론 이러한 머신 요청이 모두 사람을 대신해 행동하는 에이전트에서 발생하는 것은 아닙니다. 하지만 그 비중은 빠르게 증가하고 있으며, 답변 엔진, 쇼핑 어시스턴트, 리서치 도구는 어떤 비즈니스가 검색되고 추천되는지를 좌우하게 될 것입니다. 과거에 검색 가능성은 검색 결과 페이지에서 높은 순위를 차지하는 것을 의미했습니다. 이제는 고객의 선택을 돕는 에이전트가 귀사의 사이트를 찾고, 읽고, 신뢰를 바탕으로 추천할 수 있는 것을 의미합니다.

사람의 클릭 수와 페이지 조회 수 같은 기존 지표만으로는 더 이상 전체 상황을 파악할 수 없습니다. Cloudflare가 여러 사이트 소유자와 이야기를 나눠본 결과, 이들은 AI 봇으로 가득한 액세스 로그를 보면서도 해당 봇이 실제로 사이트를 이용할 수 있는지, 또는 사용자에게 자사의 제품과 서비스를 추천하고 있는지는 전혀 알 수 없었습니다. 주로 다음 두 가지 질문이 제기되었습니다.

• 에이전트가 실제로 내 사이트를 이용할 수 있는가?
• 내 사이트가 추천되고 있는가?

사이트 소유자가 이러한 질문에 답할 수 있도록 Cloudflare는 ​기존의 Agent Readiness 기능을 Cloudflare 대시보드에 통합하고, 새로운 Answer Engine Optimization(AEO) 도구도 추가했습니다. 이러한 도구는 에이전트를 사이트의 핵심 사용자층으로 보고, 에이전트가 사이트를 어떻게 보는지와 사이트가 얼마나 자주 추천되는지를 보여줍니다.

기회는 크고 진입 장벽은 낮습니다. 아직 대부분의 사이트가 이러한 사용자를 위해 구축되어 있지 않기 때문입니다. 초기 SEO가 검색 엔진에 맞게 구축된 사이트에 유리하게 작용했던 것처럼, 이제는 에이전트에 맞게 구축된 사이트가 그 혜택을 얻게 될 것입니다. 에이전트가 쉽게 찾고, 읽고, 신뢰할 수 있는 사이트가 바로 에이전트의 추천을 받게 될 것입니다.

Diagnostics: 귀사 사이트는 에이전트를 사용할 준비가 되었나요?

Diagnostics는 Agent Readiness에서 사이트의 기술적 준비 상태를 점검하는 기능입니다. 에이전트가 사이트를 읽는 방식으로 사이트를 검사하여, 에이전트의 액세스가 허용되어 있는지, 콘텐츠를 찾을 수 있는지 확인하고, 머신이 읽을 수 있는 깔끔한 형식의 콘텐츠를 가져오며, 에이전트가 호출할 수 있는 인터페이스를 찾아냅니다. 

사람은 홈페이지를 불러오기만 하면 되지만, 에이전트는 robots.txt, 사이트맵, 응답 헤더, 콘텐츠의 Markdown 버전, 그리고 인증 및 도구에 관해 공개된 메타데이터를 활용합니다.

Diagnostics는 호스트 이름을 대상으로 이러한 검사를 실행하고, 그 결과를 "준비되지 않음(Not Ready)"부터 완전한 에이전트 네이티브 상태까지 하나의 에이전트 준비도 화면에 종합하여 보여줍니다. 각 검사 결과는 통과, 실패 또는 중립으로 표시되며, 해당 항목이 중요한 이유에 대한 설명과 Cloudflare가 확인한 정확한 요청 및 응답을 보여주는 근거 기록도 함께 제공됩니다.

검사 항목은 필요한 작업 수준에 따라 구분되어 있어 어디서부터 시작해야 할지 쉽게 파악할 수 있습니다.

• 빠르게 개선할 수 있는 항목: 크롤러가 읽을 수 있는 robots.txt, XML 사이트맵, AI 크롤러 규칙, 에이전트에 깔끔한 Markdown을 제공하는 기능 등 대부분의 사이트에 빠져 있으면서도 효과가 큰 기본 항목
• 기술적 기반: 콘텐츠를 어떻게 사용할 수 있는지 명시하는 콘텐츠 신호, API 카탈로그, 링크 헤더, 에이전트 로그인 지침 등 그다음 단계에 필요한 항목
• 고급 통합: OAuth 검색, MCP(Model Context Protocol) 및 A2A(Agent2Agent) 에이전트 카드, 스킬 인덱스, Web Bot Auth, WebMCP 등 에이전트 네이티브 기능
• 커머스: ​x402(기존 HTTP 402 Payment Required 상태 코드를 확장한 프로토콜), ACP(Agent Commerce Protocol), Universal Commerce Protocol(UCP), AP2(Agent Payments Protocol) 등 새롭게 등장하는 에이전트 결제 표준. 현재는 참고 정보로만 제공되며 에이전트 준비도 점수에는 반영되지 않습니다.

제안되는 모든 개선 사항에는 다음 단계가 함께 제공됩니다. 도움이 되는 Cloudflare 기능이 있는 경우 "Cloudflare에서 설정(Set up in Cloudflare)" 링크를 통해 Markdown for Agents를 활성화하거나 관리형 robots.txt를 설정하는 등 해당 설정으로 바로 이동할 수 있습니다. 그 밖의 항목에는 코딩 에이전트가 무엇을 구축해야 하는지 제안하는 "에이전트 프롬프트 복사(Copy Agent Prompt)" 버튼이 제공됩니다. 변경 사항을 적용하고 다시 검사하여 체크 표시가 녹색으로 바뀌는지 확인하세요.

AEO: AI 어시스턴트가 귀사를 추천하고 있나요?

Diagnostics는 에이전트가 사이트를 읽을 수 있는지를 보여줍니다. AEO 탭은 그다음에 어떤 일이 일어나는지를 보여줍니다. 고객이 귀사의 카테고리에 관해 AI 어시스턴트에게 질문했을 때, 귀사를 추천할까요, 아니면 경쟁사를 추천할까요? 이는 검색 순위처럼 조회할 수 있는 정보가 아닙니다. 노출 횟수도, 클릭 기회를 놓친 횟수를 보여주는 보고서도 없습니다. 따라서 귀사 대신 경쟁사가 언급되면 판매 기회는 사라지지만, 그런 일이 일어났다는 사실조차 알 수 없습니다.

Cloudflare는 사이트를 바탕으로 업종(예: 건강 및 피트니스)과 카테고리(예: 스포츠 의류)를 추론하고, 주요 AI 어시스턴트(현재 Anthropic의 Claude와 OpenAI의 GPT)에 고객이 실제로 할 법한 프롬프트를 입력하여 어떻게 응답하는지 확인합니다. 이러한 프롬프트는 실제 검색 과정을 모방하도록 구성되며, 해당 카테고리 내에서 추천, 제품 비교, 일반적인 조언 등을 요청합니다. 모델이 이러한 현실적인 질문에 어떻게 답하는지 관찰하여 다음과 같은 지표를 확인할 수 있습니다.

• Citation Rate: 해당 카테고리의 답변 중 귀사의 사이트를 출처로 인용하는 답변의 비율
• Prominence: 사이트가 인용된 경우, 답변에서 귀사의 콘텐츠가 차지하는 비중과 얼마나 앞부분에 등장하는지를 나타내는 정보
• Mention Rate: AI 어시스턴트가 답변에서 귀사의 브랜드를 언급하는 빈도를 나타냅니다. 예를 들어 ​cloudflare.com을 출처로 인용하는지와 관계없이 응답에 "Cloudflare"가 얼마나 자주 등장하는지를 보여줍니다. Citation Rate와 함께 살펴보면 인지도와 출처 인용의 차이를 파악할 수 있습니다. AI 어시스턴트가 귀사를 언급하는 빈도에 비해 인용하는 빈도가 훨씬 낮다면, 브랜드는 이미 인식하고 있지만 아직 인용할 만한 출처로 평가받지는 못하고 있다는 뜻이며, 이는 구체적으로 개선할 수 있는 부분입니다.
• Share of Voice: 경쟁사와 비교해 전체 인용에서 귀사가 차지하는 비중을 보여주므로, 귀사가 경쟁사에 뒤처지고 있는 프롬프트에서 어느 업체가 앞서고 있는지 확인 가능

Cloudflare는 특정 사이트의 점수를 산정하기 전에, AI 모델이 해당 사이트의 시장 내 입지를 어떻게 인식하는지 평가하기 위해 각 업종과 카테고리별로 벤치마크를 구축합니다. 해당 카테고리에서 실제로 사용될 법한 프롬프트를 AI 어시스턴트에 입력하되 특정 브랜드는 명시하지 않고, 어떤 사이트가 인용되는지, 어디에 등장하는지, 얼마나 비중 있게 다뤄지는지를 기록합니다.

사이트 소유자가 검사를 실행할 때마다 모델에 다시 쿼리하는 대신, 카테고리별로 이 패널을 한 번 실행하고 해당 영역의 모든 계정에서 동일한 기준선을 재사용합니다. 이 데이터세트를 미리 계산하면 세 가지 주요 이점이 있습니다.

• 대기 시간 없음: 실시간 모델 쿼리를 기다리는 대신 스냅샷에서 결과를 불러오므로 즉시 확인할 수 있습니다.
• 컴퓨팅 오버헤드 감소: 카테고리 수준에서 쿼리를 집계하므로 수천 번의 검사에서 중복되는 AI 호출을 방지할 수 있습니다.
• 산업 적합성 점수: 패널 코퍼스를 재사용하면 어떤 브랜드들이 지속적으로 함께 등장하는지 파악할 수 있으므로, AI 어시스턴트가 귀사의 사이트를 실제 경쟁사들과 같은 범주로 인식하는지를 측정하는 산업 적합성 점수를 산출할 수 있습니다.

AI 어시스턴트는 동일한 질문에도 매번 정확히 같은 답변을 내놓는 경우가 드뭅니다. 이러한 변동성을 고려하기 위해 ​Cloudflare AI Gateway를 사용하여 여러 모델에서 각 AI 어시스턴트에 동일한 유형의 프롬프트를 여러 차례 입력합니다. 그런 다음 고객이 실제로 보게 되는 응답, 즉 답변 텍스트와 각 AI 어시스턴트가 인용한 출처를 함께 분석하여 여러 신호를 추출합니다. 

Cloudflare는 단순히 사이트가 언급되었는지만 평가하지 않습니다. 사이트가 출처로 인용되었는지, 인용이 답변에서 얼마나 앞부분에 등장하는지, 최종 답변의 실질적인 내용 중 얼마나 많은 부분이 해당 사이트에 귀속되는지도 평가합니다. 실제 판단이 필요한 부분에서는 Workers AI가 Cloudflare 자체 인프라에서 기본적으로 실행되어 각 응답을 분석하고, 인용과 언급이 어떻게 나타나는지 점수를 산정합니다. 또한 모델이 자신의 출력을 직접 평가하도록 하는 대신 정확한 텍스트 분석도 사용합니다. 이러한 방식을 결합하여 수십 개의 개별 응답을 실행 가능한 지표로 종합합니다. 이 도구는 여러 모델에 대한 쿼리 및 평가 파이프라인을 추상화하므로, 사용자가 자체 평가 프레임워크를 구축하지 않고도 이러한 지표를 활용할 수 있습니다.

답변과 함께 AI Operator Activity에서는 OpenAI, Google 등의 운영자별로 사이트에서 발생하는 실제 크롤링 및 추천 트래픽도 보여줍니다. 즉, 누가 콘텐츠를 읽는지, 누가 방문자를 사이트로 다시 보내는지, 그리고 그 과정에서 어떤 오류(403 차단, 404 잘못된 링크)가 발생하는지를 확인할 수 있습니다. 특히 주목해야 할 패턴은 사이트의 수천 개 페이지를 크롤링하면서도 방문자는 전혀 보내지 않는 운영자입니다. 이러한 운영자는 귀사 콘텐츠를 이용하면서도 고객을 다시 사이트로 보내지 않는 것입니다.

이러한 수치는 귀사 사이트에 특화되어 있으므로, 여러 가지 변경 사항을 시험하고 검사를 다시 실행하여 실제 비즈니스로 이어지는 질문에 어떤 영향을 미치는지 정확하게 측정할 수 있습니다.

또 다른 사용자층을 만나보세요

지금까지 에이전트의 활동을 파악하려면 추측에 의존해야 했습니다. 로그를 검색해 누가 방문했는지 추론하거나, 챗봇에 프롬프트를 입력한 뒤 귀사를 언급하는지 직접 확인해야 했습니다. 하지만 Agent Readiness와 AEO를 사용하면 실제 조치에 필요한 데이터를 확보할 수 있습니다. 또한 요청이 실제로 Cloudflare를 통과하므로 이러한 도구는 가능한 경우 추정이 아닌 측정을 기반으로 하며, 시간이 지날수록 더욱 개선될 것입니다. 

누가 귀사사이트에 접근하는지 파악하고, 어떤 방식으로 대응할지 스스로 결정할 수 있도록 지원하는 것은 Cloudflare가 늘 해오던 일입니다. 에이전트는 새롭게 등장한 사용자층일 뿐이며, 에이전트가 쉽게 찾고 이해하고 신뢰할 수 있도록 준비된 비즈니스가 추천받게 됩니다. Agent Readiness에서는 귀사 사이트가 이러한 조건을 충족하는지 확인하고, 아직 준비되지 않았다면 무엇을 해야 하는지 알아볼 수 있습니다.

AI 에이전트가 귀사 사이트로 고객을 보내고 있는지 확인할 준비가 되셨나요? 대시보드의 Overview 탭으로 이동하여 사이트의 에이전트 준비도를 높이고 AEO Visibility 초기 액세스를 신청하세요.

개방적이고 에이전트 준비도를 갖춘 웹을 구축하고 계신가요? ​Cloudflare 대시보드에서 Agent Readiness 탭을 열고, ​Cloudflare Developer Discord에서 무엇을 구축하고 있는지 알려주세요.