データが足りない問題
AI開発の最大のボトルネックは高品質な学習データの不足だ。特に日本語のドメイン固有データ（医療、法務、金融等）は極めて希少で、1,000件の医療テキストに専門家アノテーションを付与するコストは約300万円、期間は2-3ヶ月。MicrosoftのPhi-4が合成データ大量活用で14Bながら70Bモデルに匹敵する性能を達成し、この手法への注目が高まった。
合成データ生成手法
LLMベース生成: KGAの「Seed-then-Expand」パターン。人手で50件の高品質シードデータを作成し、LLMで5,000件に拡張。Evol-Instruct: WizardLMチーム提案の段階的複雑化。単純パラフレーズ比でfine-tuning後性能12%向上。Self-Instruct: モデル自身に指示データを生成させる自己ブートストラップ。品質ばらつき大、生成の約40%を除外。CTGAN: 表形式データ合成。金融クライアントで顧客取引データを10倍拡張。
品質評価の3軸
Fidelity（忠実度）: Column Shapeスコア > 0.85、Column Pair Trendsスコア > 0.80。Diversity（多様性）: n-gramエントロピー、embedding空間カバレッジ。Utility（有用性）: TSTR（Train on Synthetic, Test on Real）で評価。最良ケースで実データ学習の95%、平均85%。
モデル崩壊問題
- 年Nature論文「AI models collapse when trained on recursively generated data」が示した通り、合成データでの再帰的学習は世代ごとに性能劣化する。LLMは確率分布の「尾」を正確に再現できず、主要パターンが過剰表現される。
KGAの対策: 合成:実データ比率は7:3以下。生成元モデルと学習対象モデルを別にする（GPT-4oで生成→Llama 3で学習）。実データ分布から大きく外れたサンプルをフィルタリング。
プライバシー保護と推奨ワークフロー
差分プライバシー（DP）をデータ生成に組み込み、個別レコードの影響を数学的に制限（デフォルトε=1.0）。ワークフロー: シードデータ収集（50-200件）→ 合成生成（5,000-50,000件）→ 自動フィルタリング（30-40%除外）→ サンプルレビュー（5%）→ 実データ混合（3割）→ 学習・評価 → 反復改善。アノテーションコスト1/5、準備期間2ヶ月→2週間に短縮。