스타트업 스포트라이트: Cohort #5를 통한 AI 에이전트 구축 및 혁신 가속화

스타트업에서는 유연한 인프라와 혁신적인 AI 도구에 빠르게 액세스하여 프로덕션에 사용할 수 있는 애플리케이션을 빠르고 효율적으로 배포할 수 있습니다. Cloudflare에서는 수많은 애플리케이션에서 중추적인 역할을 하며, 창업자와 엔지니어링 팀이 기술 측면의 오버헤드 부담 없이 간편하게 혁신을 구축하고 확장하며 가속화할 수 있도록 지원합니다. 그리고 해당되는 경우, 저희 스타트업 프로그램 및 Workers Launchpad와 같은 이니셔티브를 이용하면 이러한 야심 찬 프로젝트를 더욱 촉진하는 도구와 리소스가 제공됩니다.

Cloudflare에서는 최근 개발자가 Cloudflare를 활용하여 에이전트를 배포해서 자율적인 작업을 완료할 수 있는 AI 에이전트를 발표했습니다. 저희는 이미 몇몇 스타트업이 에이전트 인프라 구축에 투자하기 위해 Cloudflare를 플랫폼으로 활용하는 훌륭한 사례를 보고 있습니다. 몇몇 신생 스타트업이 Cloudflare를 기반으로 AI 에이전트 플랫폼을 구축하는 방법을 알아보세요.

2023년에 설립된 Lamatic.ai에서는 SaaS 스타트업이 지능형 AI 에이전트를 제품에 원활하게 통합할 수 있도록 지원합니다. Lamatic.ai에서는 확장성과 보안을 염두에 두고 완전 관리형 수명 주기를 제공하여 AI 에이전트 배포를 간소화합니다. SaaS 공급자는 Lamatic을 활용하여 코드가 필요 없는 시각적 빌더를 통해 AI 워크플로 플랫폼을 변경하여 기술 부채를 줄이고 제품을 더 빠르게 출시하고 있습니다. 높은 가용성, 확장성, 짧은 대기 시간을 제공하도록 설계된 Lamatic의 아키텍처를 통해 개발자는 과부하 상황에서도 성능을 유지하는 AI 기반 애플리케이션을 구축할 수 있습니다. Lamatic에서는 Product Hunt에서 단시간에 많은 사용자를 확보한 후, AI 에이전트를 사용하여 복잡한 문제를 해결하려는 진정한 관심이 있다는 것을 확인했으며, 해당 팀에서는 확장성과 성능을 염두에 두고 솔루션을 구축해야 한다는 것을 인식했습니다.

Cloudflare는 Lamatic의 성장을 지원하는 데 있어 핵심적인 역할을 합니다. Cloudflare Workers를 기반으로 하는 Lamatic은 요청이 최종 사용자에게 더 가까이 처리되도록 보장하여 대기 시간을 최소화하고 중앙 서버의 컴퓨팅 부담을 덜어줍니다. 단 몇 개월 만에 Lamatic.ai는 효율적으로 확장하여 매월 3백만 건 이상의 서버리스 요청을 수행하고 1,000여 고객을 지원했으며, 이 모든 것을 세 명의 소규모 팀에서 관리했습니다. 

고객은 코드가 필요 없는 시각적 빌더를 통해 에이전트 흐름을 설계하고, 이를 통해 상호 운용 가능한 YAML 구성을 생성합니다. API 키, 모델 액세스 토큰 등의 중요한 자격 증명은 안전하게 암호화되어 Workers KV에 저장되므로 실행 시에만 해독되도록 보장되어 보안이 강화됩니다. 그런 다음 모든 YAML 구성이 Workers와 호환되는 JavaScript 번들로 컴파일됩니다. 프로젝트가 배포되면 Lamatic에서는 예약된 데이터 ETL 작업을 위한 동기화 작업과 들어오는 웹후크와 같은 중요한 구성 요소를 오케스트레이션하여 Cloudflare Queues를 통해 이벤트 기반 워크플로를 처리합니다. 배포 후, 이 프로젝트는 노출된 API 엔드포인트가 있는 Cloudflare Worker로서 완벽하게 작동되므로, 고객은 최소한의 마찰로 AI 기반 자동화를 애플리케이션에 직접 통합할 수 있습니다.

Lamatic.ai에서는 플랫폼을 확장하기 위해 고객별로 서버리스와 AI 로직을 격리하는 아키텍처를 구축했습니다. Lamatic.ai에서는 요청을 중앙 집중식 클러스터로 일괄 처리하는 대신 Cloudflare의 전역 네트워크에 워크로드를 분산하여 전용 로직을 실행하는 자체 Worker를 통해 각 고객과 엔드포인트에 서비스를 제공합니다. Workers for Platforms에서 지원하는 이러한 고객별 배포 모델을 통해 Lamatic.ai에서는 고객별 서버리스 기능을 대규모로 제공하고 추가 고객을 온보딩할 때 기술 측면의 오버헤드를 줄일 수 있습니다. 각 고객에게는 구독 수준에 따라 요청 및 레이트 리미팅이 활성화되는 전용 Worker가 주어집니다. 

요청 처리 외에도 Lamatic은 Cloudflare Workers KV를 분산 구성 저장소로 사용하여 높은 가용성과 보안을 보장합니다. 모든 값은 AES-256-GCM으로 미사용 시 암호화되고 실행 시에만 해독되므로 작업이 안전하게 유지되고 대기 시간이 짧습니다. 토큰과 사용자 자격 증명은 암호화되어 데이터베이스와 KV에 저장됩니다. 

성능을 더욱 개선하기 위해 Cloudflare Queues는 작업 완료를 조율하는 데 있어 핵심적인 역할을 합니다. Lamatic에서는 Queues를 사용하여 Workers 요청으로부터 작업을 오프로드하고, 대규모로 시스템 일관성과 안정성을 유지하는 데 필수적인 웹후크, 분산 프로세스 조정 등의 작업을 처리합니다. Workers에서는 실행 지점에서 동기화 요청을 처리하지만, 더 오래 실행되는 작업은 Queues를 통해 처리합니다. 예를 들어, 예약된 ETL 동기화 중, 생성된 새로운 데이터 레코드는 Cloudflare Pub/Sub에 메시지 대기열로 저장됩니다. 소비자 Worker는 이러한 메시지를 수집하고 Workers Queue를 사용하여 포드에 API call을 보냅니다. 소비자 Worker는 각 대기열의 처리가 완료될수록 더 많은 메시지를 소비합니다.

이것이 최적이었던 또 다른 예는 AI 워크플로를 관리하는 경우입니다. 많은 AI 워크플로에는 여러 데이터 소스에 대한 동시 요청이 포함되며, Queues는 데이터 처리를 간소화하고 고객의 검색 증강 생성(RAG) 워크플로에 정보를 효율적으로 제공합니다. 이러한 접근 방식 덕분에 워크로드 급증이 완화되고 병목 현상이 줄어들며 AI 에이전트가 지연 없이 데이터를 안정적으로 집계하고 처리할 수 있습니다.

이 외에도 Lamatic.ai는 고객이 플랫폼 전반에서 사용할 수 있는 지원 추론 공급자 중 하나로 Workers AI를 제공합니다. 고객은 사용 사례( 챗봇 , 이미지 생성, 음성 등)에 따라 Workers AI에서 호스팅되는 많은 오픈 소스 모델 중 하나를 실행할 수 있습니다. 이러한 계층을 함께 사용하면 대량의 데이터를 처리하고, 짧은 대기 시간을 유지하며, 강력한 보안을 보장함으로써 AI 에이전트를 확장하는 문제를 해결할 수 있습니다. Lamatic.ai는 Cloudflare의 인프라를 백본으로 삼아 최신 AI 애플리케이션의 엄격한 요구 사항을 충족하는 탄력적인 고성능 플랫폼을 구축했으므로 AI 기반 기능을 제품에 통합하는 스타트업에 이상적인 선택이 될 수 있습니다.

Skyward AI에서는 Cloudflare의 서버리스 컴퓨팅 기능을 활용하여 증거 수집, 실시간 위험 분석, 정책 업데이트 등의 중요한 작업을 간소화하는 AI 기반 규제 준수 에이전트를 구축함으로써 규제 준수 운영을 혁신하고 있습니다. 핀테크, 공급망, 기타 규제가 심한 산업의 규제 준수 팀에서는 이러한 AI 에이전트를 사용하여 증거를 추출하고 구성하며, 실시간 권장 사항을 제공하고, 정책 및 절차 업데이트를 자동으로 조율합니다. 이러한 AI 에이전트는 문서 구문 분석, 위험 모니터링, 정책 시행을 처리함으로써 인적 오류의 위험을 줄이며, 규제 준수 전문가가 가치가 높은 작업에 집중할 수 있도록 해줍니다.

Skyward에서는 서버리스 우선 접근 방식으로 설계된 AI 에이전트 플랫폼을 구축하여 중앙 집중식 클라우드 컴퓨팅의 제약을 피했습니다. 이를 위해 이 회사에서는 Cloudflare의 개발자 플랫폼을 활용하여 응답성이 뛰어나고 확장 가능한 인프라를 생성하고 유지합니다. Workers는 채팅 입력, 규제 준수 확인, 인증 등의 수신 요청을 처리하고 이들 요청을 여러 지역에 걸쳐 효율적으로 라우팅합니다. Skyward에서는 처음에는 AI 조정을 위해 Durable Objects, Workflows, JavaScript 네이티브 RPC를 사용하여 AI 에이전트 인프라를 구축했지만, 최근에는 Cloudflare의 새로운 AI 에이전트 프레임워크로 전환했습니다. 에이전트가 AI 에이전트를 구축하고 조율하기 위한 프레임워크를 제공한다는 점을 고려하면, 마이그레이션은 Skyward에서 Durable Objects를 수동으로 관리할 필요성을 없애고 이러한 도구를 관리하는 데 소요되는 시간을 크게 줄이는 데 도움이 되었습니다. 이번 릴리스는 비교적 최근이기는 하지만, 이러한 전환으로 인해 에이전트의 통신 방식이 간소화되었고, 데이터 보호, 격리, 동시성 관리 등 원래 설계의 이점도 그대로 유지되었습니다. 또한 최종 사용자에게 실시간 피드백과 응답을 제공하기가 더 쉬워졌습니다.

Skyward에서는 AI 에이전트 쿼리에 대해 100ms 미만의 응답 시간을 달성하여 실시간 규제 준수 자동화를 최적화합니다. 워크로드는 불필요한 네트워크 왕복을 최소화하도록 구조화되어 있으며, 동기화 엔진 접근 방식 덕분에 데이터가 사전에 미리 로드되고 클라이언트에 푸시되어 반응성이 뛰어난 사용자 경험이 제공됩니다. Skyward에서는 AI 추론을 프록시하기 위해 AI Gateway를 사용하여 여러 벤더의 사용량, 성능, 비용을 관찰하는 기능을 제공하여 AI 운영 효율성을 개선합니다. Skyward에서는 Cloudflare의 서버리스 개발자 플랫폼을 활용하여 아키텍처를 단순화하는 동시에 글로벌 가용성을 지원하여 Kubernetes 클러스터나 복잡한 잠금 메커니즘을 피할 수 있었습니다. 또한 Cloudflare에서 다중 지역 지원으로 운영상의 복잡성을 추가하지 않고도 일관된 성능을 보장하므로 팀에서는 지역별 배포를 관리해야 하는 부담을 덜 수 있습니다.

상태 관리는 에이전트형 워크플로를 실행하는 데 있어 중요한 구성 요소입니다. 각 규제 준수 세션은 관련 데이터를 실행 계층에 가까운 곳에 보관하는 전용 Durable Object 내에서 실행됩니다. 이렇게 설정하면 데이터베이스 왕복이 최소화되고 자금 세탁 방지(AML) 확인, Know Your Business(KYB) 유효성 검사, 문서 처리 등의 작업이 효율적으로 유지됩니다. 규제 준수 세션이 완료되면 시스템에서 관련 정보가 요약되고 Postgres 및 R2에 저장되므로 영구 클라우드 인프라 없이도 메모리 사용이 최적화됩니다.

Skyward에서는 짧은 대기 시간의 운영과 장기 스토리지의 균형을 유지하기 위해 다계층 데이터 관리 전략을 사용합니다. Skyward 팀에서는 Hyperdrive를 사용하여 쿼리 대기 시간을 거의 50%까지 줄여 규제 준수 팀에서 즉각적인 피드백을 받을 수 있었습니다. Skyward의 핵심 목표는 '규제 준수 팀을 위해 간소화된' 플랫폼을 제공하는 것입니다. 팀에서는 빠른 피드백 루프를 통해 최종 고객이 조치를 취하는 데 필요한 데이터와 응답을 확보할 수 있다고 주장합니다. 에이전트가 한 명이든 수백 명이 병렬로 작업을 처리하든, Hyperdrive는 광범위한 회사 문서(예: 규정, 정책, 절차, 내부 문서), 복잡한 규제 지식 그래프, 대화형 워크플로에 대한 주문형 컨텍스트 정보와 같은 자산에 대한 데이터베이스 요청이 모두 가능한 한 최상의 성능을 발휘하도록 보장합니다.

Durable Objects는 실시간 세션 상태를 촉진하여 복잡한 잠금 메커니즘 없이 AI 에이전트가 원활하게 작동하도록 보장합니다. 법률 PDF나 보관된 데이터 등 대규모 규정 준수 관련 문서의 경우 Cloudflare R2는 장기 보관 기능을 제공하므로 자주 액세스하는 정보만 손쉽게 사용할 수 있도록 보장합니다. 이러한 접근 방식 덕분에 스토리지 관리의 효율성과 비용 효율성이 유지되며 성능이 향상됩니다.

보안과 확장성은 규제 준수에 중점을 둔 AI 애플리케이션의 우선순위로 남아 있습니다. Skyward에서는 엄격한 액세스 제어를 시행하여 승인된 사용자만 개발 및 프로덕션 환경에 액세스할 수 있도록 합니다. 각 AI 세션은 주요 이벤트, 사용자 작업, 승인에 대한 감사 가능한 로그를 유지하여 규제 준수 및 법적 요건을 위해 이러한 인사이트를 내보낼 수 있도록 지원합니다. 각 에이전트는 자체 인스턴스에 배포되고 자체 데이터베이스가 있으므로 Skyward에서는 필요한 모든 사용자, 에이전트 상호 작용, 감사 요구 사항에 대한 자세한 기록이 있는지 확인합니다. 또한 Cloudflare의 네트워크를 통해 전 세계적으로 배포하고 확장할 수 있었기 때문에 Skyward에서는 광범위한 인프라 오버헤드 없이 여러 지역에 걸쳐 일관된 고성능 운영을 유지할 수 있었습니다.

Skyward에서는 앞으로 일부 모델을 Cloudflare Workers AI에서 직접 실행하여 외부 추론 공급자에 대한 의존도를 줄여 AI 에이전트의 응답성을 더욱 개선할 계획입니다. 이 팀은 고객 데이터와 워크플로를 더욱 효과적으로 분리하고 최종 사용자가 규제 준수 자동화를 더 잘 제어할 수 있도록 Workers for Platforms를 더욱 통합할 계획입니다. Cloudflare에서는 AI 역량을 지속해서 발전시키고 있으며, 분산형 AI 규제 준수 솔루션의 한계를 뛰어넘어 더욱 자동화되고 확장 가능하며 안전하게 규제 준수를 실현하는 것을 목표로 합니다.

저희는 Lamatic AI , Skyward AI 등의 스타트업이 Cloudflare에서 AI 에이전트 플랫폼을 구축하는 방식에서 영감을 얻습니다. 이런 종류의 혁신 덕분에 많은 스타트업이 확장 가능하고 안정적이며 효율적인 기반을 위해 Cloudflare를 신뢰하는 것을 보고 저희는 자부심을 갖습니다. 

또한, Cloudflare의 다가오는 Workers Launchpad 그룹 5에 Lamatic AI와 Skyward AI가 초대되었다는 소식을 알려드리게 되어 기쁩니다. Workers Launchpad에 관해 말씀드리자면, 마지막 업데이트 이후로 몇 달이 지났습니다. 새로운 소식을 살펴보겠습니다.

Workers Launchpad 팀에서는 개발자 플랫폼에서 고객이 시연하는 제품에 크게 놀랐습니다. 그룹 4 구성원은 격년제로 개최되는 데모 데이에 참가합니다. 저희는 고객들이 (물론) AI/ML, 개발자 도구, 3D 디자인, 클라우드 인프라, 애드테크, 미디어 등 다양한 산업 분야에서 구축하고 있는 제품을 시연하도록 했습니다. 이 모든 훌륭한 회사들이 Cloudflare 네트워크에서 무엇을 구축하고 있는지 지켜보는 것은 정말 고무적인 일이며, 이들 회사의 스타트업 여정 전반에 걸쳐 계속해서 파트너십을 맺을 수 있기를 기대합니다.

Workers Launchpad 그룹 4 데모데이 이후, 코호트 5에 참여하고자 하는 전 세계 스타트업의 신청이 가장 많이 들어왔습니다. 이 다음 단계의 창업자들은 AI 에이전트, 개발자 툴, MCP, 미디어 등의 영역을 구축하여 가능성의 경계를 넓히고 있습니다. Cloudflare에서는 새로운 그룹이 탄생할 때마다 창설된 팀의 역량, 이들이 실현하는 대담한 아이디어, 이들이 기술로 해결하려는 실제 문제에서 지속해서 영감을 받고 있습니다.

그룹 5 참가자들에게 저희가 사랑과 따뜻한 환대를 전할 수 있도록 도와주세요.

그룹 5의 성과에 대해 더 많은 정보를 공유할 수 있기를 기대합니다. X에서 @CloudflareDev를 팔로우하고 Cloudflare 개발자 Discord 서버에 가입하여 그룹들에 대한 소식 업데이트를 받아보세요.

Cloudflare의 개발자 플랫폼에서 애플리케이션을 개발하는 경우, 저희는 Cloudflare에서 귀사의 여정을 어떻게 지원하는지 알아보고 싶습니다. 구축하고 있는 내용을 자세히 공유해 주시면 저희 팀에서 제출해주신 내용을 검토하겠습니다. Workers Launchpad에 참여하는 데 관심이 있는 스타트업 소속이면 주저하지 말고 그룹 6에 신청해 주세요. 현재 신청을 받고 있습니다!