概要

高速LLM推論・サービングライブラリ「vLLM」の開発チームは8月11日、v0.27.0を正式リリースした。今回のアップデートは242人の貢献者（うち64人が新規参加）による561件のコミットを取り込んだ大型リリースで、新モデルへの対応拡大、推論高速化のためのカーネル最適化、主要依存ライブラリのアップグレードなど、多岐にわたる改善が盛り込まれている。

新モデル対応

対応モデルの拡充では、コアモデル実装からカーネル、Python/Rustフロントエンド、AttnResカーネル、DeepGEMM対応までを含む「Kimi K3」のフルスタック実装が目玉となっている。このほか、テキストのみの密構成とMoE構成の両方に対応した「Qwen3.5」、「K-EXAONE-2.0-750B-A37B」、Transformersモデリングバックエンド経由での「VaultGemma」、軽量な埋め込みモデル「jina-embeddings-v5-text-nano」への対応が追加された。一方で、Plamo2とOuroモデルのサポートは削除されている。

技術的な詳細

パフォーマンス面では、FlashAttention 4の統合が強化され、FP8 KVキャッシュサポートやheaddim-256サポートが加わったほか、JITウォームアップ用のインフラが整備され、初回リクエスト時のコンパイル遅延が解消された。DeepSeek-V4に対してはシーケンス並列処理の導入や、空のc128カーネル起動をスキップすることでカーネル効率を2倍に高める最適化が行われ、エンドツーエンドの処理時間を最大3.9%短縮しつつ、GPUメモリを448MiB節約することに成功したという。

このほか、エンコーダーのみのアテンションやシーケンスプーリングに対応した「Model Runner V2」、分散サーバー向けに簡略化されたフォールトトレランスフレームワーク、gRPCコントロールプレーンを追加したRustフロントエンド、複数の新しい量子化フォーマットへの対応拡大なども盛り込まれた。依存関係については、PyTorch 2.13.0への破壊的アップグレードを筆頭に、Triton 3.7.1、torchvision 0.28.0、Transformers 5.14.1、FlashInfer 0.6.16.post3へとそれぞれ更新されている。あわせてmax_num_partial_prefillsなど一部の非推奨引数も廃止された。

今後の展望

今回のリリースは新モデルへの対応拡大と推論カーネルの最適化を両輪で進めるものであり、特にKimi K3のフルスタック対応やFlashAttention 4によるコンパイル遅延の解消は、実運用でのレイテンシ改善に直結する。PyTorch 2.13への移行という破壊的変更を伴うため、既存環境で利用しているユーザーは、アップグレード時に依存関係の互換性を確認しておく必要がある。