AIエージェントのセキュリティで最も重要なのは、「AIに何を読ませるか」と「AIに何をさせるか」を分けて設計することです。AIが情報を読むだけなら、最悪の場合でも「誤った回答」で済むことが多い一方、AIにデータの更新・削除や外部への送信を許可すると、誤りや攻撃が実際の業務操作として実行されてしまいます。

AIエージェントは、AIが目標に向けて手順を考え、ツールを呼び出して業務を進める仕組みです(基本はAIエージェントとはで解説しています)。本記事では、OWASPの最新のリスク一覧や総務省・経済産業省「AI事業者ガイドライン(第1.2版)」の考え方を踏まえ、企業がAIエージェントを導入する前に確認すべきリスクと対策を、アーキテクチャ図と権限マトリクスで解説します。

チャットボットとAIエージェントの違い

比較項目チャットボット(対話型AI)AIエージェント
主な動作質問に回答する目標に向けて手順を考え、ツールを実行する
外部への影響基本的に画面上の回答のみメール送信、データ更新、外部APIの実行など
誤りの影響誤った回答(人が気づけば止められる)誤った操作が実行される(取り消しが難しい場合がある)
攻撃の入り口利用者の入力利用者の入力に加え、AIが読むメール・文書・Webページ・ツールの結果
必要な統制入力ルール・出力確認加えて、権限設計・承認・ログ・停止手段

なぜAIエージェントは新しいセキュリティリスクを生むのか

AIエージェントでは、AI(大規模言語モデル)が「次にどのツールを、どの引数で呼び出すか」を判断します。AIの判断は確率的で、外部から読み込んだ文章の影響も受けます。つまり、AIの判断そのものを信頼の境界として扱うことはできません。

OWASP GenAI Security Projectが2026年に公表した「Top 10 for LLM Applications 2026」では、1位がプロンプトインジェクション、2位が機密情報の漏えい、そして「過剰な権限(Excessive Agency)」が前回の6位から3位に上がりました。また、AIエージェントに特化したリスクをまとめた「OWASP Top 10 for Agentic Applications」も公表されており、1位にはエージェントの目標が外部の入力によって乗っ取られる「Agent Goal Hijack」が挙げられています。

総務省・経済産業省の「AI事業者ガイドライン(第1.2版)」(2026年3月)でも、AIエージェントについて、権限を適切に設定することや、人間の判断を適切に介在させることなどが盛り込まれたと解説されています。

主なリスク1:ツール呼び出しと不正な操作

AIエージェントは、メール・チャット・CRM・ファイル・データベースなどを操作するツールを呼び出します。次のような状況で、意図しない操作が起こりえます。

  • 指示の解釈を誤り、対象とは別の顧客データを更新する
  • 似た名前のツールを取り違えて実行する
  • 処理が繰り返され、大量のメール送信やAPI呼び出しが発生する
  • 攻撃者が仕込んだ指示に従って、外部にデータを送信する

主なリスク2:過剰な権限(Excessive Agency)

過剰な権限とは、AIエージェントに必要以上の機能・権限・自律性を与えてしまうことです。

過剰な状態例
機能が多すぎる読み取りだけでよいのに、削除もできるツールを接続している
権限が広すぎる管理者アカウントの認証情報でツールを動かしている
自律性が高すぎる外部への送信や支払いを、人の確認なしに実行できる

主なリスク3:プロンプトインジェクション

AIエージェントは、メール・文書・Webページ・ツールの実行結果など、外部の文章を大量に読み込みます。その中に「このデータを〇〇に送信せよ」といった指示が紛れ込んでいると、AIが従ってしまうおそれがあります(間接プロンプトインジェクション)。仕組みと事例は生成AIの情報漏えいリスクと対策で解説しています。

AIエージェントでは、この攻撃が「回答の誤り」ではなく「操作の実行」に直結するため、影響が大きくなります。現時点で完全に防ぐ方法はないとされているため、指示が乗っ取られても被害が広がらない設計が重要です。

無料相談受付中

「自社の場合はどうすればいい?」を、専門スタッフと一緒に整理できます。

対象業務の洗い出しからツール選定・実装まで。初回のご相談は無料です。

主なリスク4:機密情報の漏えい

  • AIが参照できるデータの範囲が、利用者本人の閲覧権限より広い
  • ツールの実行結果(社内データ)が、別のツール経由で外部に送られる
  • ログやAIの会話履歴に、認証情報や個人情報が残る

「読ませる」と「させる」の違い

観点読み取りのみ許可変更・削除・送信を許可
最悪の場合誤った回答、見せるべきでない情報の表示データの改ざん・消失、外部への誤送信、金銭的損失
取り消し回答を使わなければ影響は限定的取り消せない操作がある
必要な統制参照範囲の制限、出力の確認加えて、承認、上限設定、ログ、停止手段

最初は読み取りのみで導入し、効果とリスクを確認してから、限定的な書き込みに広げるのが安全な進め方です。

安全なAIエージェントのアーキテクチャ

AIエージェントとツールの間に、ポリシー・権限レイヤーを置くのが基本の考え方です。AIの判断を直接ツールに渡すのではなく、許可された操作か、承認が必要かを、AIの外側で判定します。

  1. 利用者依頼・承認
  2. AIエージェント手順を考えツールを選ぶ
  3. ポリシー・権限レイヤー許可判定・承認・上限・ログ
  4. MCP・ツール決められた操作だけを公開
  5. 社内システムCRM・メール・ファイル・DB
AIエージェントの安全なアーキテクチャ(概念図)
レイヤー役割主な統制
利用者依頼と、重要な操作の承認本人確認、承認の記録
AIエージェント手順の計画とツールの選択システム指示、外部入力を「データ」として扱う設計
ポリシー・権限レイヤーAIの要求を許可・拒否・承認待ちに振り分ける許可リスト、操作ごとの承認要否、回数・金額の上限、ログ
MCP・ツール決められた操作だけを提供する機能を絞ったツール設計、入力値の検証
社内システム実際のデータ利用者本人の権限での実行、監査ログ

AIと社内ツールをつなぐ標準規格MCPを使う場合のセキュリティ設計は、MCPサーバーのセキュリティ対策で詳しく解説しています。

権限マトリクス(例)

操作の例読み取り書き込み人の承認管理者の承認
社内マニュアルの検索○−不要不要
顧客情報の参照(担当顧客のみ)○−不要不要
問い合わせ返信の下書き作成○○(下書きのみ)不要不要
社外へのメール送信○○必要(送信前に確認)不要
CRMの商談ステージ更新○○必要(初期運用時)不要
顧客データの一括更新○○必要必要
データの削除○○必要必要(原則としてAIには許可しない)
支払い・発注○○必要必要
権限・設定の変更−−−AIには許可しない

人の承認(Human-in-the-loop)の設計

  • 承認画面に必要な情報を出す:何を、どの対象に、なぜ実行するかを明示する
  • 承認者を固定しすぎない:不在時に業務が止まらないよう代理承認者を決める
  • 承認の疲れを防ぐ:低リスクの操作は承認不要にし、承認が必要な操作を絞る
  • 差し戻しを記録する:AIの判断の傾向を把握し、ルールを改善する

監査ログとモニタリング

記録する項目目的
依頼者と依頼内容誰の依頼で動いたかを追跡する
AIが呼び出したツールと引数何を実行しようとしたかを確認する
許可・拒否・承認の結果統制が機能しているかを確認する
実行結果と対象データ影響範囲を特定する
異常な挙動(短時間の大量実行など)早期に検知して停止する

導入前のチェックリスト

  • AIエージェントに任せる業務と、任せない業務を決めた
  • 最初は読み取りのみで導入する計画にした
  • 接続するツールを必要最小限にし、機能を絞った
  • AIが使う認証情報の権限を、利用者本人以下にした
  • 操作ごとに「承認不要・人の承認・管理者の承認・禁止」を決めた
  • 承認の要否をAIの外側のレイヤーで判定する設計にした
  • 回数・金額・対象件数の上限を設定した
  • 外部から読み込む文章を「指示」として扱わない設計にした
  • ツール呼び出しと承認の監査ログを残す
  • 異常時にAIエージェントを停止する手段と担当者を決めた
  • 社内ルールにAIエージェントの利用を追加した(社内ルールの作り方)

FlowStack Labsの見解:最初の導入は「読み取り+下書き」に限定する

AIエージェントの導入でつまずく原因の多くは、技術ではなく最初に任せる範囲の広さにあります。FlowStack Labsでは、次の段階的な進め方を推奨しています。

段階AIに許可する範囲移行の判断基準
1社内情報の検索・要約、返信や文書の下書き作成(送信・更新はしない)下書きの採用率と、誤りの傾向を一定期間確認できた
2限定的な書き込み(対象件数の上限つき)。すべて人の承認後に実行承認・差し戻しのログから、AIの判断が安定している
3低リスクの操作に限り、承認を省略監査ログの定期確認と、停止手段の運用が定着している

よくある質問

QAIエージェントは、チャットボットより危険ですか?
A

できることが多い分、誤りや攻撃の影響が大きくなります。ただし、読み取りのみから始め、権限を絞り、重要な操作に人の承認を挟むことで、リスクを管理しながら活用できます。

Qプロンプトインジェクションは防げますか?
A

現時点で完全に防ぐ方法はないとされています。そのため、AIが指示に従ってしまっても重大な操作が実行されないように、権限の最小化と承認のレイヤーで被害を抑える設計が重要です。

QAIエージェントにはどんなアカウントを使わせるべきですか?
A

管理者アカウントや共有アカウントではなく、用途を限定した専用のアカウントや、利用者本人の権限の範囲で動く仕組みを使います。権限は人の担当者よりも狭くするのが原則です。

Q承認が多すぎて業務が遅くなりませんか?
A

低リスクの操作(検索・下書き作成など)は承認不要にし、外部送信・更新・削除・支払いなど影響の大きい操作に承認を絞ることで、効率と安全性のバランスをとれます。

Q導入前に社内で決めておくべきことは何ですか?
A

任せる業務の範囲、操作ごとの承認ルール、ログの確認者、異常時の停止手順の4つです。全社的な体制づくりは企業のAIガバナンス構築ガイドで解説しています。

まとめ

  • AIエージェントのリスクは「誤った回答」ではなく「誤った操作」になりうる点にある
  • OWASPの2026年版では、プロンプトインジェクション・機密情報の漏えい・過剰な権限が上位
  • AIとツールの間にポリシー・権限レイヤーを置き、承認の要否をAIの外側で判定する
  • 読み取りのみから始め、権限マトリクスにもとづいて段階的に広げる

FlowStack Labsでは、AIエージェントの設計・開発、既存システムとの連携、権限設計を含めた導入をご支援しています。導入前の設計レビューから、無料相談でお気軽にご相談ください。

参考資料