AI Gatewayの一般提供を開始：生成AIワークロードの管理とスケーリングのための統合インターフェース
2024-05-22
AI Gatewayは、AIアプリに速度、信頼性、可観測性を提供するAI運用プラットフォームです。ごくわずかなコードで、レート制限、カスタムキャッシング、リアルタイムログ、複数のプロバイダにわたる集約分析などの強力な機能が利用できるようになります...
続きを読む »
AIサービスでトークン長のサイドチャネル攻撃を軽減する
2024-03-14
Workers AI/AI Gatewayチームは最近、ベングリオン大学のセキュリティ研究者グループと緊密に協力して、パブリックバグバウンティプログラムを通じて提出されたあるレポートに取り組みました。このプロセスを通じて、すべてのLLMプロバイダーに影響を及ぼす脆弱性を発見し、完全にパッチを適用しました。 その詳細を紹介します...
AI Gatewayの発表：AIアプリケーションの可観測性、信頼性、スケーラビリティを高める
2023-09-27
AI Gatewayを使用することで開発者はAIアプリの制御性と可視性を高めることができるため、観測性、信頼性、拡張性を心配することなく開発に集中することができます。AI Gatewayは、ほぼすべてのAIアプリケーションが必要とする処理を実行できるため、エンジニアリングの時間を節約し、開発に集中できるようになります...
