なぜ独自検証が必要か
公式リーダーボードの英語スコアは充実してきたが、日本語タスクは依然として情報が散逸している。本稿では Stability-AI の lm-evaluation-harness 日本語ブランチをベースに、DeepSeek V3.2 / R1 を含む 5 モデルを共通条件で測定した結果を共有する。
評価条件
- データセット: JMMLU (50 サブジェクト)、JCommonSenseQA、AI王 dev split
- few-shot: 5-shot for JMMLU, 0-shot for JCommonSenseQA, 0-shot for AI王
- 温度 0、トップ-p 1、最大出力 256 トークン
- 評価器: 厳密一致 + 正規化（記号・空白・全角半角）
結果
| モデル | JMMLU | JCommonSenseQA | AI王 | | --- | --- | --- | --- | | DeepSeek V3.2 | 73.4 | 84.1 | 71.8 | | DeepSeek R1 | 75.2 | 85.6 | 73.3 | | Qwen2.5-72B-Instruct | 71.6 | 82.4 | 69.5 | | Claude 3.5 Sonnet | 78.9 | 88.7 | 76.4 | | GPT-4o-mini | 70.1 | 81.3 | 68.2 |
DeepSeek 系列は同価格帯（GPT-4o-mini）と比較すると明確に上位、Qwen2.5-72B-Instruct とほぼ同等で R1 がやや優位、上限の Claude 3.5 Sonnet には 3-5 ポイント届かない、というのが社内 R&D での結論である。
質的観察
- 古文・漢文の知識は Qwen2.5 がやや強い
- 数学・物理は R1 が圧倒的に安定（推論プロセスを内部で展開する効果）
- 法律・医療の専門タスクは Claude 3.5 Sonnet が抜きん出る
- 日常会話の自然さは GPT-4o-mini が依然として高い
プロンプト設計の留意点
DeepSeek 系列は日本語の few-shot 例が「答えのみ短文」のフォーマットを好む傾向があり、説明込みの few-shot を渡すと回答が冗長化しがちである。`Final Answer:` プレフィックスでの末尾抽出を強く推奨する。
```python SYSTEM = "あなたは日本語の試験問題を解くアシスタントです。説明は不要です。" USER = """問題: {question} 選択肢: A. {a} B. {b} C. {c} D. {d} Final Answer:""" ```
まとめ
DeepSeek 系列は日本語タスクでも「2026年時点で API 単価あたりの精度がほぼ最強」という位置づけで、コスト最適化を優先する SMB 案件には素直に選びやすい。最高精度が必要なら Claude 3.5 Sonnet/Opus 4.5、知識特化型は Qwen2.5、汎用日常会話は GPT-4o-mini、という棲み分けが運用上は機能する。