概要

Cloudflareは、グローバルネットワーク上で大規模言語モデル（LLM）を高効率に実行するための新しいインフラストラクチャを発表した。このシステムの中核となるのは、同社が独自開発したカスタム推論エンジン「Infire」だ。LLMの処理を計算特性の異なる2つのフェーズに分離するアーキテクチャを採用することで、エッジ環境での低遅延なAI推論を実現するとしている。

プリフィル・デコード分離アーキテクチャ

Cloudflareが採用した最大の技術的特徴は、モデルの推論処理を「プリフィル」と「デコード」の2フェーズに明確に分割し、それぞれを異なるハードウェアで処理する点にある。プリフィル段階は入力トークンを処理してKVキャッシュを構築する計算集約的な処理であり、デコード段階は出力トークンを逐次生成するメモリ集約的な処理だ。これら2つの処理を分離して最適化されたハードウェアに振り分けることで、全体的なスループットとレイテンシのバランスを向上させる。

Infireエンジンはパイプライン並列化とテンソル並列化を組み合わせて複数GPU間での処理を効率化しており、メモリ使用量の削減と起動・応答速度の高速化を実現している。実績として、Llama 4 Scoutは2基のH200 GPU上で、1兆パラメータを超えるKimi K2.5は8基のH100 GPU上での稼働が確認されている。

Unweightによるモデル圧縮と精度維持

もう一つの注目技術が「Unweight」システムだ。モデルの重みを15〜22%圧縮しながらも推論精度を損なわない仕組みで、ストレージ効率と推論速度の向上に寄与する。エッジ環境では帯域幅やメモリ容量が制約となるケースも多く、精度を犠牲にせずにモデルを軽量化できるこの技術はグローバル展開において重要な役割を担う。

背景と今後の展望

Cockroach Labsのレポートによれば、多くの企業はAIシステムの規模拡大や信頼性要件に対応できる体制が整っていないとされている。Cloudflareの新インフラはこうした業界課題に対して、エッジネットワークの地理的優位性とカスタム最適化エンジンを組み合わせることで応えようとするものだ。同社がグローバルに展開するエッジポイントでLLMを低遅延かつスケーラブルに提供できれば、AIアプリケーション開発者にとって新たなインフラ選択肢となる可能性がある。