概要

CNCFのインキュベーションプロジェクトであるKubernetes向けコスト管理OSS「OpenCost」が、バージョン1.121.0でLLM推論基盤「llm-d」との統合を果たし、GPU・トークン単位で推論コストを可視化する「AI Inference Costs v1」機能を追加した。プラットフォームチームの多くは、GPUコストの上昇や数十億トークン規模の処理量は把握していても、1トークンあたりの実際のコストが不透明という課題を抱えていた。自社ホスティングとSaaS APIのコスト比較やチーム別のAI予算消費の追跡もできていなかった中、今回の機能はこうしたFinOpsニーズの高まりに応える初の同種機能となる。

技術的な詳細

統合アーキテクチャは、vLLMが発行するトークンスループット（プロンプトトークン数・生成トークン数）や処理時間のメトリクスと、OpenCostが持つ既存のGPU割り当てエンジンを組み合わせる形で実現されている。Prometheus向けに新たにllm_total_hourly_cost（モデル単位の時間あたりコスト）やllm_cost_per_million_tokens（入力/出力トークン別の百万トークンあたりコスト）といったメトリクスが公開され、model_nameやcost_basis（利用ベースか割り当てベースか）といったラベルが付与される。

コスト計測は「割り当てベース」と「利用ベース」の2軸で行われる点が特徴的だ。割り当てベースはGPUメモリ、推論時のコンピュート、ゲートウェイやKVキャッシュなどインフラ全体にかかる運用コストを反映する一方、利用ベースは実際の推論処理に消費された分のみを計上し、KVキャッシュヒットの効果も反映する。両者の比率（利用ベースコスト÷割り当てベースコスト）が「利用率」となり、たとえば割り当てベースが百万トークンあたり4.00ドル、利用ベースが1.00ドルなら利用率は25%と算出される。

記事はここで、利用ベースコストのみを見て自社ホスティングとSaaS APIを比較する「落とし穴」を指摘している。利用ベースコストが百万トークンあたり1.00ドルの自社モデルは、2.00ドルのSaaS APIより一見有利に見えるが、利用率が25%であれば実際の割り当てベースコストは4.00ドルとなり、SaaSの方が経済的に優位になる。自社ホスティングが競争力を持つには、おおむね50%以上の利用率が必要になるという。llm-dデプロイメント周辺の推論スケジューラ（EPP）、ゲートウェイプロキシ、最大18TBに達するティアードKVキャッシュストレージ、ワークロード変種オートスケーラーといったコンポーネントも、OpenCostの共有ラベル機構により自動的にコスト割り当ての対象となる。

この機能はIBM ResearchのSima NadlerとOpenCostメンテナーのAlex Meijerが共同で解説しており、109基のGPUと30個のデプロイ済みAIモデルを持つクラスタで検証済みだという。今後はOpenCost側で無駄なGPU容量の測定やLLM固有のアイドル検出、UI統合、チーム別コスト属性付けなどが、llm-d側ではワークロード/テナント単位のメトリクス収集などが計画されている。両プロジェクトはオープンソースとして公開されており、モデルの経済性評価やチャージバック/ショーバック報告、過小利用モデルの特定などへの活用が見込まれる。