AIエージェントの誤りは、誰が責任を負うのか。「説明責任」を確保する5つの方法

ある航空会社のチャットボットが、顧客に誤った運賃情報を提示し、顧客がそれに従って支払ってしまった事件（英語）がありました。AIエージェントが大きな役割を担い、複雑なタスクを自動化して遂行するようになると、このようなミスに対する説明責任が現実的なリスクになります。

AIが間違った意思決定をした場合、誰が責任を負うのでしょうか。AIのアカウンタビリティ（説明責任）を確保し、ミスを未然に防ぐにはどうすればいいのでしょうか。

AIの説明責任は、従業員と経営者にとって大きな懸念事項です。ウォートン・スクール（英語）は最近、AIの倫理や規制、ガバナンスの課題に焦点を当てた研究イニシアチブで「Accountable AI Lab」（英語）を立ち上げました。

企業にとって、AIの説明責任は信頼構築とリスク軽減、そしてコンプライアンス確保において非常に重要です。企業は、AIの決定事項を説明し、正当化できなければならず、その決定が誤っている場合には、その結果を是正する必要があります。明確な説明責任がなければ、企業は法的責任を問われるだけでなく、風評被害や顧客の信頼喪失にも直面することになります。

「企業はすでに、自社のAIが行うことに対して責任を問われています。AIエージェントは、法的や倫理的、そして社会的な問題が複合的に発生します。そのため、クラウドやモバイルなど他のテクノロジーの活用では起きなかった事態が考えられます。」と、Salesforceのプロダクトセキュリティ主任であるJason Ross氏は言います。

事前に定義したルールに従う従来のソフトウェアとは異なり、AIエージェントは動的、自律的に学習・適応・応答を生成するため、その意思決定プロセスは予測しにくく、ミスが発生した場合に責任の所在を特定することが困難です。

説明責任を確保する方法

企業には、AI固有の技術保護や品質の高いデータ、新たな組織ガバナンスなどに基づいた、AIの説明責任に対する多面的なアプローチが必要です。

SalesforceのチーフサイエンティストであるSilvio Savarese氏は、AIの説明責任に対する包括的なアプローチを確保するために、明確なフレームワークを確立することの重要性について言及しています。

意思決定に対する「責任の連鎖」を確立する

説明責任を確保するため、企業はAIの意思決定に対する「責任の連鎖」を明確に設定する必要があります。

これには、AIの初期導入から最終的なアウトプットまで、各ステップについて誰が責任を負うかを明確にすることが含まれます。AIのパフォーマンスを監視・レビューし、説明責任を負う最高AI責任者（CAIO）やAI倫理マネージャーなど、AI機能を監督する新たな役割を設ける必要性があります。

CAIOは、AIシステムが企業のガイドラインに従っていることを確認し、エラーが発生した場合に状況を修正するための最初の窓口となります。同様に、AIの意思決定プロセスを監査・追跡するチームを結成し、意思決定が企業価値や倫理基準に沿ったものであることを確認します。

2024年3月の調査（英語）によると、S&P 500にランクインしている企業の約15％が、すでにAIについてある程度の取締役会レベルの監督を行っています。

不完全・不正確・有害な出力を検出し、修正システムを構築する

AIモデルは、常に物事を正しく理解するとは限りません。ハルシネーションを起こしたり、文脈を誤解したり、バイアスも発生します。被害を最小限に抑えるために、企業はリアルタイムの監視システムや堅牢な監査証跡、そしてエラー発生時に迅速に修正する能力を必要とします。

一例として、Salesforce AI Research（英語）チームによる、RAG（retrieval-augmented generation）の進歩（英語）があります。これにより、AIが情報にアクセスして検証する方法が改善されます。迅速な評価と軌道修正が可能になり、AIシステムが正確で信頼できる結果を提供できるようになります。

同様に、ヒューマンインザループ（HitL、人間参加型）監視システムは、AIの出力を継続的に監視し、問題が深刻化する前にフラグを立てて修正することを可能にします。フレームワークには以下が含まれます。

• 不正確・有害の可能性がある出力にフラグを立てる自動ダッシュボード
• AI応答が問題ありと判断された場合に、人に切り替わるフォールバックメカニズム
• AIの精度と妥当性を時間経過とともに、継続的に評価するための定期的な監査とバイアス評価

AIエージェントと人のバランスをとるプロセスを定義する

AIエージェントには、明確に定義された境界が必要です。特に、人の判断が必要とされる重大な意思決定は、自動化するべきではありません。組織は、いつ、どのように人が介入すべきかを判断するために、構造化された介入フレームワークを構築する必要があります。

例えば金融では、AIエージェントが投資戦略を推奨する場合、一定の閾値を超える投資については人のインプットを必要とします。医療現場では、AIがリスクの高い診断や決断を下す際には、医師によるレビューを要求する可能性があります。

問題発生時に、修正するためのアプローチを開発する

AIの失敗は、社内業務に影響を与えるだけでなく、顧客との信頼関係を損なう可能性があります。企業には、問題が発生した場合の修復やコミュニケーション、体系的な改善のための構造化されたプランが必要です。

カスタマーサポートにAIを使用しているeコマースプラットフォームを考えてみましょう。例えば、AIが払い戻しについて誤った決定をした場合の修復手順として、次のような項目が考えられます。

• 誤りを修正するための即時のロールバック手順
• 誤りを認め、今後のステップを概説する積極的な顧客コミュニケーション
• クレジット提供などの補償ガイドライン
• 将来のエラーを防ぐためのAIモデルの再トレーニングなどの長期的な是正措置

新たな法的・コンプライアンスの枠組みを確立する

規制環境（英語）はまだ進化しており、既存の法律の多くはAIの自律的な意思決定を考慮していません。そのため、企業には、責任をもってAIを活用できるように、法的及び倫理的な側面やコンプライアンスおよび運用面を組み合わせた、AI固有のガバナンス構造が必要です。

これには、さまざまなチームが協力して、進化する法的要件や倫理基準に照らしてAIシステムを継続的に評価する、部門横断的なセンターオブエクセレンス（CoE）の設立も含まれます。

CoEは、業界基準や自社の内部基準への準拠を検証する独立監査組織です。AIモデルがどのように意思決定を行っているかを開示する透明性報告書を作成する役割も担うでしょう。 

Salesforceのアカウンタビリティ推進の取り組み

AIの安全性、信頼、倫理に対するSalesforceのアプローチは以下です。

• Einstein Trust Layer（アインシュタイントラストレイヤー）は、データのセキュリティを保護し、安全性と正確性を向上させる一連の機能であり、有害性に基づいてコンテンツを評価し、スコアリングできます。偏見に満ちているか、憎悪を煽るものか、スコアはログに記録され、監査証跡の一部として、企業全体のデータを統合しハーモナイズできるプラットフォームである「Data Cloud（データクラウド）」に保存されます。Data Cloudは、監査証跡データとユーザーフィードバックに関するレポートを作成できます。
• Einstein Trust Layerは、大規模言語モデル（LLM）によって生成された応答の安全性と正確性を検証し、不適切な応答の可能性を大幅に低減します。
• Prompt Builder（プロンプトビルダー）は、生成AIプロンプトテンプレートを構築するツールで、システムポリシーを使用して、LLMが不正確なものや有害なものを生成するリスクを低減します。ポリシーとは、LLMに対してどのように振る舞うべきかの一連の指示です。あるテーマに関する情報が不足しているときは、答えを生成しないように指示することもできます。
• ダイナミックグラウンディングは、構造化データと非構造化データをAIプロンプトに組み込むことで、AIが出す結果に豊富なコンテキストを提供し、精度と関連性を向上させます。
• AIシステムは、その決定に対して明確で理解しやすい説明を提供するように設計されるべきです。SalesforceのEinsteinプラットフォームには、AIがどのようにして結果に到達したのかをユーザーが理解できるようにするためのツールが含まれています。 

AIの説明責任はビジネスに必須

AIは単なるツールではありません。AIはリアルタイムでビジネス成果を形成する意思決定者であり、安全性やガバナンスに関する従来のルールは適用されません。

AIの説明責任を基盤に組み込めなかった企業は、さまざまな悪影響に直面する可能性があります。今こそ、テクノロジーそのもののパワーに見合った、新たなガバナンス構造や監視メカニズム、AI固有のセーフガードが必要です。これがAI時代における信頼の新たな基盤です。

<注釈>

※本記事は米国で公開された “In a World of AI Agents, Who’s Accountable for Mistakes?” の抄訳版です。本ポストの正式言語は英語であり、その内容および解釈については英語が優先されます。