2024년 창립기념일 주간 동안, 저희는 Cloudflare Radar에서 AI 봇 및 크롤러 트래픽 그래프를 출시했습니다. 이 그래프는 어떤 봇과 크롤러가 가장 공격적이고 가장 많은 요청을 하는지, 어떤 봇과 크롤러가 정기적으로 크롤링하는지 등을 보여주는 가시성을 제공합니다. 오늘, 저희는 이 그래프를 통합하고 여러 관점에서 AI 관련 추세를 이해하는 데 사용할 수 있는 추가 메트릭을 기반으로 하는 새로운 전용 Cloudflare Radar의 'AI Insights' 페이지를 출시합니다. 새로운 섹션에는 트래픽 동향 외에도 1.1.1.1 DNS 확인자 트래픽을 기반으로 공개적으로 사용 가능한 생성 AI 서비스의 상대적 인기도, AI 봇의 콘텐츠 액세스를 제한하기 위한 robots.txt 지침의 사용, Cloudflare Workers AI에서 확인한 오픈 소스 모델 사용에 대한 보기가 포함됩니다.
아래에서 새로운 AI 인사이트 페이지의 각 섹션을 상세히 살펴보겠습니다.
AI 봇의 트래픽 동향을 추적하면 시간 경과에 따른 활동을 더 잘 이해하는 데 도움이 될 수 있습니다. 2024년 9월 Radar의 트래픽 페이지에서 처음 출시된 AI 봇 및 크롤러 트래픽 그래프는 AI 인사이트 페이지로 이동되었으며, 선택한 기간에 전 세계에 걸쳐 가장 활동적인 상위 5개 AI 봇 및 크롤러에 대해 수집된 트래픽 동향에 대한 가시성을 제공합니다. 여기에서 추적되는 사용자 에이전트의 관련 목록은 ai.robots.txt list를 기반으로 하며, 항목이 식별되는 대로 새 항목으로 업데이트됩니다. 이 그래프의 시계열 및 요약 데이터는 Radar API에서 확인할 수 있으며, 트래픽이 발생한 AI 봇 및 크롤러 세트 전체의 트래픽 동향은 Data Explorer에서 확인할 수 있습니다.
지난 몇 년 동안 Cloudflare Radar 연례 검토에서는 1.1.1.1 DNS 확인자의 요청 트래픽 데이터를 분석하여 일반적으로 그리고 여러 범주에 걸쳐 가장 인기 있는 인터넷 서비스의 순위를 제시했습니다. 2023년과 2024년 모두 이 섹션에는 공개적으로 사용 가능한 생성형 AI 서비스에 대한 순위가 포함되었으며, ChatGPT가 두 해 모두 1위를 차지했습니다. 첨부된 블로그 게시물에서 한 해 동안 순위가 어떻게 변화했는지 더 자세히 설명하지만, 이 역시 과거를 돌아보는 내용입니다. 즉, 해당 블로그 게시물에서는 발생할 변경 사항에 대한 가시성은 제공하지 않습니다. 새로운 생성형 AI 서비스 인기 그래프에는 매일 집계된 이러한 서비스와 관련된 도메인의 DNS 요청 트래픽을 기반으로 이러한 서비스 및 플랫폼의 상대적 순위가 표시됩니다. 기본 시계열 데이터는 Radar API를 통해 serviceCategory=Generative%20AI 매개변수를 사용하여 확인할 수 있습니다.
아래 그래프에는 2025년 1월 말 기준으로 상위 5개 서비스가 이전 4주 동안 상당히 안정적이었으나, 6위~10위에 오른 서비스에는 규칙적인 움직임이 있었음이 나와 있습니다. 저희는 시간이 지남에 따라 순위가 계속 바뀔 것으로 예상합니다. 1월 말에 업계를 깜짝 놀라게 한 생성형 AI 서비스인 DeepSeek는 1월 26일에 처음 등장하여 단 3일 후인 1월 29일에 3위로 빠르게 상승한 것을 볼 수 있습니다.
콘텐츠 공급자는 robots.txt 파일의 Allow 또는 Disallow 지시문을 사용하여 전체 사이트 또는 특정 부분에 대한 액세스를 제어하려고 시도할 수 있습니다. 그러나 접근 제어의 성공 여부는 나열된 지시문을 준수하는 봇에 달려 있습니다. Cloudflare의 AI 감사는 AI 봇이 웹 사이트와 상호 작용하는 방식에 대한 가시성과 제어를 제공하며, 이제 Cloudflare Radar는 다른 사이트에서 이러한 봇을 처리하는 방식에 대한 인사이트를 제공합니다.
저희는 매주 Radar의 상위 10,000개 도메인을 분석하여 robots.txt 파일을 게시하는 관련 사이트를 파악하고 해당 파일 내의 AI 관련 지시문을 집계합니다. 아래 나와 있는 새로운 robots.txt에서 발견된 AI 사용자 에이전트 그래프에는 이러한 상위 사이트에서 AI 봇과 관련하여 취하고 있는 조치에 대한 인사이트가 제공됩니다. 이러한 작업은 사이트의 모든 콘텐츠(완전히 허용됨/비허용됨) 또는 특정 섹션(부분적으로 허용됨/비허용됨)에 대해 지정된 사용자 에이전트(봇 식별자)의 액세스를 허용하거나 거부하는 지시문으로 지정됩니다.
저희는 또한 이러한 도메인을 범주(예: 전자 상거래, 뉴스 및 미디어)별로 정리하여 해당 범주 내의 사이트에서 지시문에 나열한 특정 봇을 강조 표시했습니다. 예를 들어, 아래의 뉴스 및 미디어 도메인 범주 그래프에는 이러한 유형의 사이트에서는 AI 사용자 에이전트의 사이트 액세스가 거의 보편적으로 완전히 허용되지 않는다는 것이 나와 있습니다.
지시문을 'Allow'로 변경하면 훨씬 적은 수의 사용자 에이전트가 표시되며, 전체 또는 부분 액세스를 명시적으로 허용하는 사이트도 대폭 줄어듭니다. (사용자 에이전트가 robots.txt 파일에 나열되지 않고 와일드카드 '*' 사용자 에이전트가 지정되지 않은 경우, 기본적으로 액세스가 완전히 허용됩니다.)
AI 인사이트 페이지에 표시되는 것 외에도, 기본 데이터는 Radar API 및 Data Explorer를 통해 추가 탐색 및 분석에 사용될 수 있습니다.
AI 모델 환경은 빠르게 진화하고 있으며, 공급자는 텍스트 및 이미지 생성, 음성 인식, 이미지 분류 등의 작업이 가능한 더 강력한 모델을 정기적으로 출시합니다. Cloudflare에서는 AI 모델 공급자와 긴밀하게 협력하여 Workers AI가 출시 후 최대한 빨리 이러한 모델을 지원할 수 있도록 합니다. Radar는 이제 새로운 AI Insights 페이지에서 고객 계정 공유를 기반으로 공개적으로 사용 가능한 지원 모델의 인기도(Workers AI 모델 인기도)와 이러한 모델이 수행하는 작업 유형(Workers AI 작업 인기도)에 대한 가시성을 제공합니다. 모델과 작업의 전체 목록에 대한 공유 추세와 요약 공유를 포함한 확장된 인사이트와 모델과 작업 공유를 기간별로 비교하는 기능은 Data Explorer를 통해 제공됩니다. 기본 모델 인기도 및 작업 인기도 데이터는 API 엔드포인트를 통해서도 확인할 수 있습니다.
AI 공간은 매우 역동적이며 새로운 플랫폼, 서비스, 모델이 정기적으로 등장합니다. 어떤 경우에는 이러한 신규 진입자들이 관심과 사용 면에서 급격한 성장을 기록하고 시장을 뒤흔들 힘을 갖기도 합니다. ChatGPT가 발표된 지 2년이 넘었지만, 모델 학습을 위한 콘텐츠스크래핑을 둘러싸고 콘텐츠 공급자와 AI 플랫폼 사이에 긴장이 지속되고 있습니다. Cloudflare Radar의 새로운 'AI 인사이트' 페이지는 역동적인 이 공간에 대한 동향과 정보를 시기적절하게 제공하여 업계의 관찰자들과 참여자들이 시간이 지남에 따라 어떻게 변화하고 진화하는지 더 잘 이해할 수 있도록 지원합니다.
소셜 미디어에서 AI Insights 그래프를 공유하는 경우@CloudflareRadar(X), noc.social/@cloudflareradar(Mastodon), radar.cloudflare.com(Bluesky)을 꼭 태그해 주세요. 소셜 미디어나 이메일을 통해 문의하여 저희가 향후 해당 페이지에 추가할 수 있는 AI 메트릭에 대한 제안 사항을 함께 보내실 수도 있습니다.