当社がコアユニットの起動時間を数時間から数分に短縮した方法
当社は、ファームウェアのアップデートによって、コアサーバーの再起動に4時間もかかる理由を調査しました。UEFIのデータ構造とiPXEの自動化を精査することで、不要なタイムアウトが排除され、起動時間を数分に短縮しました。
TAG
インフラストラクチャ
超大規模言語モデルを動かすための基盤構築
Cloudflareのインフラ上で高速に大規模言語モデル（LLM）を動かすために、独自の技術スタックを構築しました。本記事では、高性能なAI推論を誰でも利用できるようにするために必要な、設計上のトレードオフや技術的な最適化について解説します。
年間600時間を削減した１行のKubernetes修正
Atlantisインスタンスが再起動に30分かかった理由を調査したところ、Kubernetesがボリューム許可を処理する方法にボトルネックがあることがわかりました。fsGroupChangePolicyを調整することで、再起動時間を30秒に短縮しました。
Cloudflareの第13世代サーバーのローンチ：キャッシュとコアを交換して、2倍のエッジコンピューティングパフォーマンスを実現
Cloudflareの第13世代サーバーは、キャッシュとコアのバランスを再考することで、コンピューティングスループットを2倍にしました。高コア数のAMD EPYC™ Turin CPUに移行し、大規模なL3キャッシュを犠牲にして計算密度を高めました。新しいRustベースのFL2スタックを実行することで、遅延のペナルティを完全に軽減し、パフォーマンスを2倍にしました。
Equinixによる古いコードの廃棄：CloudflareにおけるRustサービスのグレースフルリスタート
ecdysisは、ネットワークサービスのダウンタイムアップグレードを可能にするRustライブラリです。Cloudflareは、数百万の接続を5年間保護し、現在はオープンソースとなっています。
Workersが社内メンテナンススケジュールパイプラインを強化する方法
グローバルネットワークでは、物理的なデータセンターのメンテナンスにリスクが伴います。さらに、複数のデータソースと指標パイプラインに加え、グラフインターフェイスでインフラストラクチャの状態を表示することで、スケーリングの課題を解決しながら、Workers上でサービスを停止させるような保守スケジューラーを構築しました。
