Cloudflare의 AI 플랫폼: 에이전트를 위해 설계된 추론 계층
저희는 AI Gateway를 AI를 위한 통합 추론 계층으로 구축하여, 개발자가 14개 이상의 공급자의 모델을 호출할 수 있도록 합니다. 새로운 기능에는 Workers AI 바인딩 통합 및 멀티모달 모델을 포함한 확장된 카탈로그가 포함됩니다.
초대형 언어 모델을 실행하기 위한 기반 다지기
Cloudflare는 자체 인프라 환경에서 대규모 언어 모델을 신속하게 실행할 수 있도록 맞춤형 기술 스택을 구축했습니다. 본 게시물에서는 누구나 고성능 AI 추론 환경을 활용할 수 있도록 구현하는 과정에서 적용된 엔지니어링 측면의 절충 사항과 기술적 최적화 과정을 살펴봅니다.
AI Gateway는 누구나 이용 가능함: 생성형 AI 워크로드를 관리하고 확장하기 위한 통합 인터페이스
AI Gateway는 AI 앱의 속도, 안정성, 관찰 가능성을 제공하는 AI 운영 플랫폼입니다. 단 한 줄의 코드만으로 레이트 리미팅, 맞춤 캐싱, 실시간 로그, 여러 공급자에 대한 집계 분석 등 강력한 기능을 사용할 수 있습니다
Workers AI 레벨 업: 정식 출시 및 더 많은 새로운 기능 제공
오늘 Cloudflare의 추론 플랫폼인 Workers AI가 GA가 되고, LoRA를 사용하여 세밀하게 조정된 모델과 HuggingFace 원클릭 배포를 지원하는 등의 발표를 하게 되어 기쁩니다. 이제 Cloudflare Workers가 파이썬 프로그래밍 언어 등을 지원합니다
Workers AI에서 LoRA를 사용하여 세밀하게 조정된 모델 실행하기
Workers AI는 이제 LoRA를 사용하여 미세 조정된(fine-tuned) 모델을 지원합니다. 하지만 LoRA란 무엇이며 작동 원리는 무엇일까요? 이 글에서는 미세 조정, LoRA 및 일부 수학적 개념에 대해 자세히 살펴보고 모든 작동 원리에 대한 세부 사항을 공유해 드리겠습니다
Cloudflare AI 제품의 토큰 길이 부채널 공격 완화
Workers AI 및 AI Gateway 팀은 최근 공개 버그 바운티 프로그램을 통해 제출된 보고와 관련하여 Ben Gurion 대학교의 보안 연구진과 긴밀하게 협력했습니다. 이 과정을 통해 Cloudflare는 모든 LLM 공급자에게 영향을 미치는 취약점을 발견하고 완벽하게 패치를 적용했습니다. 그 이야기는 다음과 같습니다
새로운 LLM, 이미지 생성 모델 등 17개의 새로운 Workers AI 모델로 새로운 사용 사례 발굴
2024년 2월 6일, Cloudflare에서는 텍스트 생성, 분류, 코드 생성 사용 사례 카탈로그에 8개의 새로운 모델을 추가하여 발표했습니다. 오늘 Workers AI로 새로운 유형의 작업과 사용 사례를 지원하는 데 중점을 둔 17(!)개의 모델을 다시 추가했습니다
Workers AI 카탈로그에 새로운 LLM, 텍스트 분류, 코드 생성 모델 추가
이제 Workers AI가 8개의 새로운 모델 및 개선된 모델 성능으로 더 대형화되고 더 좋아졌습니다
AI Gateway 발표: 더 믿을 수 있고, 관찰 가능하며, 확장할 수 있는 AI 응용 프로그램
AI Gateway는 개발자가 AI 앱에 대한 제어 능력을 강화하고 가시성을 확보할 수 있도록 지원하므로 관찰 가능성, 안정성 및 확장에 대한 걱정 없이 빌드에만 집중할 수 있습니다. AI Gateway는 거의 모든 AI 앱에 필요한 것들을 처리하여 엔지니어링 시간을 절약할 수 있으므로 개발자는 빌드에 집중할 수 있도록 합니다
