合成数据时代的到来
- 年开源 LLM 微调领域，已从 2023～2024 年「以人工标注为中心」完全转向「以教师模型合成数据为中心」的范式。Claude Opus 4.7、GPT-5、Gemini 2.5 Ultra 等顶尖闭源模型「蒸馏」而来的高质量数据集纷纷公开，7B～13B 量级的基础模型如今也能获得相当于 2024 年 70B 模型的指令跟随能力。
本文从数据生成、算法、日语专项、可复现配方、伦理五个维度，梳理截至 2026 年 4 月的最佳实践。
教师模型蒸馏的标准流程
Microsoft Phi 系列开创的「教科书级数据」哲学在 2026 年得到进一步提炼。在追试 Phi-5 / Phi-5-mini 配方的社区数据集中，以下流水线已成为标准。
- 种子数据提取：从 Common Crawl + GitHub + arXiv + Stack Exchange 中提取质量评分前 5% 的内容
- 教师模型生成问题：指示 Claude Opus 4.7「针对这篇文档，生成 10 个研究生可能会提问的问题」
- 带 CoT 的答案生成：使用 GPT-5 生成含推理过程的答案，并进行自洽性检查
- 难度均衡：以 3:5:2 的比例混合易/中/难，长度控制在 200～4000 token
- 拒绝采样：使用另一个教师模型评分，剔除后 30%
- 年 3 月公开的 MAP-Neo-v2 数据集（2.1T token，CC-BY-4.0）即以此流水线构建的日英中多语言语料，基于 Llama 3 8B 的持续预训练耗费了相当于 30 亿日元的算力，成果免费开放。
DPO / IPO / KTO 的使用场景区分
偏好学习算法经历 RLHF 时代后，计算量更小的离线方法成为主流。截至 2026 年的使用场景区分如下。
- DPO（Direct Preference Optimization）：在有充足成对偏好数据时的首选。实现简单，计算成本约为 PPO 的五分之一。但抵抗奖励欺骗的能力弱于 PPO。
- IPO（Identity Preference Optimization）：从理论上解决了 DPO 的过拟合问题。特别是在小规模数据集（1 万对以下）时超越 DPO。
- KTO（Kahneman-Tversky Optimization）：无需成对数据，仅凭「好/坏」二值标签即可训练。可直接利用用户的点赞/点踩日志，具有重要的实务优势。
- SimPO：无需参考模型，改进 DPO。内存使用减少 40%，性能持平。正逐渐成为 2026 年的标准方案。
- RLAIF（AI Feedback）：以 Claude / GPT 替代人类标注员。成本降至百分之一，质量达到人工的 95%。
```yaml # axolotl 的 SimPO 配置示例（基于 Qwen 3 7B） base_model: Qwen/Qwen3-7B-Base rl: simpo simpo_gamma: 1.4 simpo_beta: 2.0 datasets: - path: argilla/ultrafeedback-binarized-preferences-cleaned type: chatml.ultra learning_rate: 5.0e-7 num_epochs: 1 sample_packing: true gradient_checkpointing: true adapter: lora lora_r: 64 lora_alpha: 128 ```
日语专项模型的现状
日语 LLM 在进入 2026 年后，基于海外基础模型的持续学习路线已决定性地占据优势。主要三个系列的最新动态如下。
Swallow v3（东京科学大学）：基于 Llama 4 70B 持续预训练 + 指令调优。追加了 600B token 的日语语料，JMT-Bench 8.52，Jaster 77.4。研究用途免费，商业用途遵循 Llama 4 Community License。
Rinna Nekomata-2（rinna 株式会社）：基于 Qwen 3 72B，商业用途适用 Apache 2.0。敬语、谦让语、商务文书的流畅度超越 Swallow，JMT-Bench 8.47。
Sarashina 2.5（SB Intuitions）：从头训练 + Llama 4 蒸馏的混合方案，提供 405B 和 70B 两种规格。作为国产主权 AI 的旗手，在金融、医疗、政府领域的导入实绩急速增加。
- 年的重要趋势是：日语专项模型已被分解为「基础模型选择 × 日语合成数据 × 轻量偏好学习」三个阶段，任何人都可以通过 axolotl 的数百行 YAML 复现，这一门槛的降低至关重要。
可复现配方：axolotl × unsloth
unsloth 在 2026 年版本中将 QLoRA 的内存效率提升了 4.2 倍，达到了在单张 RTX 4090 上运行 70B QLoRA 的水准。axolotl 同时支持分布式训练和偏好学习，在多节点、多 GPU 配置下的可复现性较高。
典型的日语指令调优可复现步骤如下。
- 选择基础模型（Qwen 3 7B Base）
- 日语合成数据 50 万条（Claude Opus 4.7 蒸馏，CC-BY-4.0）
- unsloth + QLoRA r=128，3 个 epoch，单张 3090 运行 18 小时
- SimPO 阶段：rinna/ultrafeedback-ja 10 万对，单张 4090 运行 6 小时
- 评估：JMT-Bench、Jaster、elyza-tasks-100
按云端换算总成本约 180 美元，已进入任何人都能做出超越 2024 年商业 API 的日语模型的时代。
伦理与数据溯源
需要强调的是数据溯源（data provenance）的重要性。即便是合成数据，教师模型的输出也带有其训练数据著作权的影子。2026 年 EU AI Act 正式施行后，面向欧洲市场的模型有义务文档化以下内容。
- 种子数据的许可证列表（是否遵守 robots.txt）
- 教师模型的服务条款及衍生作品条款
- PII（个人身份信息）去除方法及过滤精度
- 偏见评估（BBQ-ja、StereoSet-ja 等）
- 「被遗忘权」应对流程
Hugging Face 于 2026 年 3 月强制要求填写 Dataset Cards v2，未记载上述内容的数据集将从下载量展示中排除。对于商业用途而言，数据溯源文档化是投入产出比极高的举措。
2026 年下半年的关注点
自我改进循环（self-play / self-reward）正从研究阶段向实用阶段过渡。Meta 的 Self-Rewarding Language Models 的后续研究、Anthropic Constitutional AI 的开源实现，以及日本本土「宪法 AI 日语版」的出现值得期待。微调工匠的差距，已不再取决于算法本身，而更多地体现在数据设计与评估设计的能力上。