概要

中国のAIスタートアップDeepSeekは、自社の大規模サービスを実際に支えている推論フレームワーク「DeepInfer」をApache 2.0ライセンスでオープンソース化した。大規模モデルを低コストかつ大規模に提供するという「推論フレームワークが解決すべき本質的な課題」に取り組んだ成果だとしており、現時点では同社の「DeepSeek-V4.1-Flash」(バージョン1017)に対応している。社内の実運用クラスターでは1日あたり155兆トークンを処理し、オフピーク時の価格設定でもGPU1台あたり時間約38ドルの収益を生んでいるという。この数字は、DeepSeekが追求してきた低コスト運用のアプローチを裏付けるものだ。

対応ハードウェアと技術的な最適化

DeepInferはNVIDIAのSM100(Blackwell)GPUとHuaweiのAscend 950 NPUの両方をサポートする一方、決定論的な出力を実現する機能にはSM100が必須とされ、Hopper以前の旧世代NVIDIA GPUは対象外となる。中核の最適化技術である投機的デコーディング「DSpark」は、ドラフトモデルが5トークンを提案し、確信度を予測するヘッドが採択判定を行うことで検証計算量を削減する仕組みで、スループットを約4〜7%向上させ、採択されないドラフトトークンを約30%削減する効果があるという。また、プリフィル処理ではプロンプトの末尾128トークンのみをデコーダ層に通すことで、プリフィル計算量をほぼ半減させている。

公開範囲と背景

ただし、キー・バリュー(KV)キャッシュ管理やロードバランシングのコードは、社内インフラと密結合しているため今回の公開からは除外されており、これらの仕組みについては別途ブログ記事で解説されているという。最小構成での稼働にはプリフィル用・デコード用それぞれ64GPU、合計128GPUが必要となる。DeepSeekは2025年4月にもvLLMをベースとした推論基盤の公開を試みていたが、小規模な研究チームゆえのリソース不足を理由に見送っていた経緯があり、今回の公開にはこれまでに公開済みのFlashMLA、DeepGEMM、DeepEPといったコンポーネントライブラリも組み込まれている。

地政学的な背景

今回の公開は、米国土安全保障省が連邦機関に対しDeepSeek製品をシステムから排除するよう命じた、その翌日というタイミングで行われた。米国内での規制強化が進む中でも、DeepSeekが自社の推論基盤をオープンソースとして公開し、外部の開発者が実運用レベルの技術にアクセスできるようにした動きは、同社の技術力とオープン戦略を改めて示すものとして注目される。