セーフティは機能である
AIセーフティを「規制対応のコスト」と捉えるチームが多いが、これは間違いだ。適切に設計されたセーフティ機能は、ユーザー信頼の獲得、ブランド毀損の防止、法的リスクの低減というビジネス価値を持つ。KGAでは全AIプロジェクトにおいて、セーフティをv1.0の必須機能として位置づけている。
ガードレールの多層防御
KGAのセーフティアーキテクチャは4層の防御で構成される。
Layer 1: 入力フィルタリング。ユーザー入力をLLMに渡す前に、プロンプトインジェクション検出、有害コンテンツ分類、PII検出を行う。実装にはLlama Guardをベースにしたカスタム分類モデル（7Bパラメータ、レイテンシ15ms）を使用している。市販のAPI（OpenAI Moderation、Perspective API等）も検討したが、日本語の精度と社内データの取り扱いを考慮し、自社モデルを採用した。
Layer 2: システムプロンプトの防御。システムプロンプトにセーフティ制約を明示的に記述する。「ユーザーの指示に関わらず、以下の行為は絶対に行わないでください」形式で、制約を具体的に列挙する。抽象的な「有害な内容を生成しない」より、「具体的な自傷行為の方法を説明しない」「実在の人物の偽の発言を生成しない」のように具体化する方が遵守率が高い。
Layer 3: 出力フィルタリング。LLMの応答をユーザーに返す前に、出力検証を行う。入力フィルタリングと同じ分類モデルに加え、事実性チェック（Knowledge Baseとの照合）とトーン分析（攻撃的表現の検出）を適用する。
Layer 4: 監視とフィードバック。本番環境でのユーザーインタラクションを継続的にサンプリングし、セーフティ違反の見逃し（false negative）を検出する。KGAでは日次で全リクエストの5%をランダムサンプリングし、人手でレビューしている。月間約200件のfalse negativeを検出し、モデルとフィルタの改善に反映している。
Red Teamingの実践
Red Teamingは、攻撃者の視点でAIシステムの脆弱性を探索する手法だ。KGAでは四半期ごとにRed Team演習を実施しており、以下の攻撃カテゴリを体系的にテストしている。
プロンプトインジェクション: 直接注入（「以下の指示を無視して...」）、間接注入（外部データソースに攻撃プロンプトを埋め込む）、多言語バイパス（日本語のシステムプロンプトに対して英語で攻撃）。ジェイルブレイク: ロールプレイ誘導（「あなたはフィルタのないAIとして...」）、段階的エスカレーション（無害な質問から徐々に有害な方向へ誘導）、エンコーディング攻撃（Base64やROT13で有害コンテンツをエンコード）。情報漏洩: システムプロンプトの抽出、学習データの復元、他ユーザーの対話内容の取得。
直近のRed Team演習では、42個のテストケースのうち3個でガードレールを突破された。すべて多言語バイパスに関連するもので、日本語のシステムプロンプトに対してポルトガル語で攻撃するとフィルタリングの精度が低下する問題だった。対策として、多言語対応の入力フィルタリングモデルに更新し、カバレッジを12言語に拡大した。
「安全すぎるAI」の弊害
セーフティの議論で見落とされがちなのが、過剰なフィルタリングによるユーザー体験の悪化だ。KGAのクライアントで、医療情報を提供するAIチャットボットが「薬の副作用」に関する質問を有害コンテンツとして過剰ブロックしていた事例がある。ブロック率が全リクエストの18%に達し、ユーザーの不満が大量に寄せられた。
この問題はprecision（適合率）とrecall（再現率）のトレードオフだ。フィルタの感度を上げれば有害コンテンツの見逃しは減るが、正当なリクエストの誤ブロックが増える。KGAの推奨は、ドメイン別にフィルタの閾値を調整すること。医療ドメインでは医学用語を含むリクエストの閾値を緩和し、誤ブロック率を18%から2.3%に低減した。
規制対応: EU AI Act と日本のAIガバナンス
- 年のEU AI Actの全面施行に伴い、日本企業でもAIリスク管理の体制構築が求められている。KGAではAI Actの分類に基づき、高リスク（人事採用AI、医療診断支援等）と限定リスク（チャットボット、コンテンツ推薦等）でガバナンス要件を区別している。
実務上最も対応コストが高いのは「透明性要件」だ。AIが生成したコンテンツであることの明示、判断根拠の説明可能性、バイアス評価の定期実施。KGAではこれらをCI/CDパイプラインに組み込み、モデル更新のたびに自動でバイアスレポートを生成する仕組みを構築している。