「とりあえずvLLM」で始まった推論基盤が、モデル数とSLA要求の増加とともに限界を見せるケースが増えてきた。本稿ではNVIDIA NIM、vLLM、Modular MAX、SGLangの4ランタイムを軸・観点別に比較する。数値は個別ベンチマーク環境に依存するため、本稿ではアーキテクチャと機能差に絞る。
設計思想の違い
vLLMはUC BerkeleyのSky Labs発で、PagedAttentionによるKVキャッシュ管理を看板機能とするOSS。コミュニティ主導でモデル対応が速いのが強みだ。SGLangはLMSYS系で、RadixAttentionによるプレフィックスキャッシュの再利用と、フロントエンド側のstructured generation DSLを組み合わせる。NIMはNVIDIA純正で、TensorRT-LLMをバックエンドに据え、NGC経由でGPU向けprebuilt engineを配布するエンタープライズ寄りの製品。Modular MAXはMojo言語ベースで、GPU/CPUポータビリティとグラフコンパイルを売りにする商用ランタイムだ。
機能マトリクス
- 量子化対応：NIMはFP8/INT4 AWQ/SmoothQuantがengineに組込み済み。vLLMはGPTQ・AWQ・FP8に対応、SGLangもFP8・AWQ対応。MAXはint8/fp8中心。
- スペキュレーティブ・デコーディング：vLLM、SGLang、NIMがいずれも対応（Medusa、EAGLE、ドラフトモデル方式）。
- 構造化出力：SGLangのDSLが先行、vLLMもguided decoding／xgrammar統合で追随。NIMはfunction calling・JSONスキーマ制約を提供。
- マルチモーダル：NIMはビジョン・スピーチ・埋め込み系を別コンテナで展開。vLLMもVLM対応拡充中。
- スケジューラ：NIM=TensorRT-LLM in-flight batcher、vLLM=continuous batching、SGLang=RadixAttention、MAX=独自コンパイラ統合スケジューラ。
デプロイ複雑度
vLLMはPythonパッケージ一つで起動でき、開発体験は最短。SGLangも同様だが、本番ではTensorRT-LLMバックエンド連携や`sglang.srt`のK8s化で運用知識が要る。NIMはdocker pullで即起動、Helm chartも提供され、エンタープライズK8sに最速で入る。代わりにNGCアカウントとNIMライセンスが前提だ。MAXはコンテナ配布+独自CLIで、ポータビリティは高いがエコシステム規模は他3者に劣る。
ロックインと拡張性
NIMはNVIDIA GPU専用で、engine planもCUDA/TensorRTに依存する。その代わりH100/H200/B200など最新GPUへの追随が最速。vLLM・SGLangはAMD ROCmやTPU/Intel Gaudiへの拡張が進んでおり、マルチベンダー戦略を取る組織では優位。MAXはCPU・GPU両対応を謳い、エッジ推論でのポータビリティが魅力だ。
選定指針
本番SLAと運用工数を最優先：NIM。最新モデルのPoC速度：vLLM。プレフィックス共有が支配的なチャット/RAG：SGLang。マルチハードウェア前提：vLLMまたはMAX。複数併用してモデル単位でランタイムを切替える「ポリグロット推論基盤」も現実解になっている。