基本を超えたプロンプトエンジニアリング
「明確に指示を書く」「例を示す」「ステップバイステップで考えさせる」。これらの基本テクニックはもはや常識だ。本記事では、KGAのAIチームが実プロジェクトで培った、基本の先にあるプロンプトエンジニアリング技術を解説する。
Chain-of-Thought (CoT) の限界と拡張
CoTは「ステップバイステップで考えてください」という単純な手法だが、その限界は明確だ。直線的な思考しかできないため、複数の可能性を比較検討するタスクや、途中で方針転換が必要なタスクでは最適解に到達しにくい。
KGAが実践しているのは「Structured CoT」だ。単に「考えて」と指示するのではなく、思考のフレームワークを明示的に与える。例えば意思決定タスクでは「1. 選択肢の列挙 2. 各選択肢の利点を3つ 3. 各選択肢のリスクを3つ 4. 最重要な判断基準の明示 5. 基準に基づく選択 6. 選択の妥当性検証」というフレームワークを指定する。これにより回答の再現性が大幅に向上し、異なるLLMでもほぼ同じ構造の出力が得られる。
Tree-of-Thought (ToT): 分岐する思考
ToTはCoTの進化形で、複数の思考経路を並列に探索し、最も有望な経路を選択する手法だ。KGAでの実装方法は、同じプロンプトを3-5回実行し（temperature 0.7-1.0で多様性確保）、各出力をevaluator promptで評価し、最高スコアの出力を最終回答とする。
コストは単純なCoTの3-5倍になるが、特に正解がambiguousなタスク（企画立案、戦略提案等）で品質が顕著に向上する。KGAのベンチマークでは、マーケティング戦略の提案タスクでToTはCoT比で人間評価スコアが平均28%高かった。
ただしToTにも限界がある。各思考経路が独立しているため、ある経路の良いアイデアを別の経路に伝播させることができない。
Graph-of-Thought (GoT): ネットワーク型思考
GoTはToTの限界を克服し、思考ノード間の情報交換を可能にする。実装としては、複数の部分的思考を生成し、それらを組み合わせ・統合するプロンプトを別途実行する。具体的には「思考A: コスト最適化の観点」「思考B: ユーザー体験の観点」「思考C: 技術的実現性の観点」を個別に生成した後、「思考A, B, Cの洞察を統合し、全観点を満たす提案を作成してください」という統合プロンプトを実行する。
KGAのシステム設計タスクでは、GoTにより「コスト効率が良く、UXも優れ、かつ実装可能な」設計案の品質が、単一プロンプトと比較して人間レビューアの承認率が45%向上した。
Prompt Chaining: ビジネスプロセスの自動化
実務で最も価値を生むのはprompt chainingだ。複数のプロンプトをパイプラインとして連結し、ビジネスプロセス全体を自動化する。
KGAのクライアント事例（詳細はNDA下のため一部改変）を紹介する。ある人材紹介企業では、候補者の履歴書を受け取ってから企業に推薦するまでに、以下の手作業が発生していた。
Prompt Chain 1: 履歴書パーサー。PDFの履歴書から構造化データ（氏名、経歴、スキル、希望条件）を抽出。出力はJSON形式。
Prompt Chain 2: スキルマッチャー。Chain 1の出力と求人データベース（100件以上）を照合し、適合度スコアとマッチ理由を生成。上位5件を抽出。
Prompt Chain 3: 推薦文ジェネレーター。Chain 1のスキル情報とChain 2のマッチ理由を入力として、企業ごとにカスタマイズされた推薦文を生成。
Prompt Chain 4: クオリティチェッカー。Chain 3の推薦文を「採用担当者の視点」で評価し、改善提案を生成。
Prompt Chain 5: 推薦文リファイナー。Chain 4のフィードバックを元にChain 3の推薦文を改良。
このパイプラインにより、候補者1名あたりの処理時間が2時間から8分に短縮された。品質は人間レビューアの修正率で測定し、パイプライン導入前の手書き推薦文の修正率40%に対し、パイプライン出力は修正率15%を達成した。
実践的なプロンプト設計パターン
KGAが蓄積したプロンプト設計パターンをいくつか共有する。
Persona Stacking: 単一のペルソナではなく、複数のペルソナを重ねて指定する。「あなたは10年経験のセキュリティエンジニアであり、同時にUXデザインの知識も持つテックリードです」のように。これにより、セキュリティを考慮しつつ使いやすい設計提案が得られる。
Constraint Sandwich: 制約条件を指示の前後に配置する。冒頭で「以下の制約を厳守してください」と宣言し、本文の指示の後に再度「上記の制約を全て満たしていることを確認してから回答してください」と念押す。長い指示でLLMが制約を忘れるのを防止する。
Output Scaffolding: 出力の骨格をプロンプト内に記述し、LLMに「穴埋め」させる。完全自由形式より構造化された出力が得られ、後続のprompt chainへの入力として安定する。
測定とイテレーション
プロンプトエンジニアリングで最も重要なのは「測定」だ。KGAではevalフレームワークを自作し、各プロンプトの変更に対してテストセット（最低50ケース）で品質を自動評価している。評価指標はタスク依存だが、共通して「構造遵守率」「事実正確性」「応答一貫性」の3軸を測定している。プロンプトの変更は必ずA/Bテストで効果を検証し、数値改善が確認できたもののみをプロダクションに反映する。感覚的な「良くなった気がする」は許容しない。