なぜ今ローカルLLMフロントの選定が問われるのか
- 年に入り、社内データを外部API（OpenAI・Anthropic等）へ送信することへの懸念は中小企業の現場でも一般的なテーマとなった。経産省・個人情報保護委員会の度重なる注意喚起もあり、特に医療・士業・製造業ではローカル実行が現実的な選択肢として再評価されている。一方でローカル実行の選択肢は乱立しており、どのフロントを選ぶかは導入初動を大きく左右する。本稿では Ollama、LM Studio、Jan の3つを比較し、KGA IT が中小企業向けPoCで実際に推奨している組み合わせを提示する。
Ollama: CLI／API ファースト、サーバ寄り
Ollama は CLI と HTTP API を中核に据えた実装で、`ollama pull` でモデルを取得し `ollama run` で対話に入れる。公式ブログによれば、Ollama 0.18 系では構造化出力（JSON Schema 制約）と OpenAI Chat Completions 互換のツール呼び出しがサポートされ、Llama 4 Scout・Qwen2.5-VL・Gemma 3 など主要なビジョンモデルを含むマルチモーダル対応も拡張された。Apple Silicon 向けには MLX バックエンドのプレビュー提供も公開情報として確認できる。
```bash # Ollama でビジョンモデルを起動し、画像を直接渡す例 ollama pull qwen2.5vl:7b ollama run qwen2.5vl:7b "この請求書PDFのスキャン画像から、合計額と税込区分を抽出して" \ --image ./invoice.png ```
GUI は付属しないが、後述する Open WebUI や LibreChat と素直に連携する。ヘッドレスで動かしたい中堅以上のユースケース、社内の Linux サーバや Mac mini を共有推論ノードにする運用にハマる。
LM Studio: GUI 完成度と MCP 対応
LM Studio は完全な GUI ファーストの製品で、モデル探索・ダウンロード・プロンプト試行・量子化バリアント切替がすべてワンクリックで完結する。0.3.10 で投機的デコーディング、0.4 系で MCP（Model Context Protocol）と SDK が公式サポートされたことが LM Studio 公式ブログで案内されている。これは「デスクトップの LLM クライアント」が「ローカルで動くエージェント基盤」へ進化したことを意味する。
中小企業の事業部門が、IT 部門の介在なしに「ローカル LLM をまず触ってみる」段階で最も学習コストが低い。GPU 切替・量子化選択・コンテキスト長などをスライダーで操作でき、エンジニアでない担当者でも手応えを掴みやすい。商用利用条件は公式ライセンスに従う必要があるため、業務で常用する前に法務確認を推奨する。
Jan: 完全 OSS、移行性重視
Jan は AGPL ベースの完全 OSS デスクトップで、ローカル推論とクラウド API を同一 UI で扱える。プラグイン拡張のサイドバーが厚く、UI 学習にやや時間が必要だが、OSS ライセンスとデータポータビリティを重視する組織には強く推奨できる。Ollama や llama.cpp の上位互換的な GUI として Jan を選び、後段の API は OpenAI 互換に統一する構成が運用上もシンプルだ。
推奨組み合わせ：3層構成で「触る・配る・運用する」を分ける
KGA IT が中小企業の PoC で標準提案する構成は次の3層である。
- 検証層: LM Studio（事業部門のノートPCにインストール、モデル比較・プロンプト試行）
- 共有層: Ollama を Mac mini M4 Pro / Linux + RTX 4090 のいずれかに常駐、社内 LAN で OpenAI 互換 API を提供
- UI 層: Open WebUI もしくは LibreChat を Docker でデプロイ、SSO・監査ログ・RAG を集約
この3層は責務が明確で、フロントを差し替えても下層の API 互換性が保たれるため、後続のモデル更新・ハードウェア更新の影響を局所化できる。
ガバナンス：社内ポリシーとの接続
ローカル実行であってもガバナンスは別問題だ。アクセス制御、プロンプト・出力ログの保持期間、機密ラベル付き文書の扱い、社外秘判定モデルとの連携など、運用ルールをどのフロントで強制できるかは選定の決め手となる。LibreChat は SSO・MCP・RBAC 周りが厚く、Open WebUI はパイプライン拡張で前後処理を Python で書ける。Jan は完全 OSS のため社内監査向きである。これら非機能要件まで踏み込んで設計することが、PoC を本番に乗せ替える際の鍵となる（公開情報による）。