Salesforceの倫理的AI アーキテクトが語る、AI時代の「安全文化」

※本記事は、2024年1月4日に米国で公開された Salesforce Ethical AI Architect on Safety Culture in the Era of Artificial Intelligence の抄訳です。本資料の正式言語は英語であり、その内容および解釈については英語が優先されます。

イノベーションのサイクルは高揚をもたらしますが、同時に恐怖も伴うものです。AI の急速な普及によって、私たちはまさに今それを目の当たりにしています。今日、企業が責任を持って AI を使用していると信じている米国人はわずか 21% にすぎません。つまり、これは大多数がこのテクノロジーに対して深刻な懸念を抱いていることを意味します。

新しいテクノロジーに対する信頼を勝ち取るのは難しいかもしれませんが、自動車業界に目を向けてみると、安全性が売りであるという、あらゆる企業の AI ロードマップにとって貴重な教訓を示しています。たとえば、当初シートベルトは不快で拘束的なものとして捉えられていたため、抵抗が見受けられましたが、シートベルトの着用を義務付ける法律が制定されたことで、人々の考え方は変わりました。今日、人々がシートベルトやエアバッグのない車を購入することは想像できません。

これと同じ教訓が、AI を活用した自動車の安全機能と、自動運転車の比較にも当てはまります。最近の調査によると、自動運転技術を搭載した車に乗ったり購入したりすることを検討している消費者はわずか 47% でした。しかし、80% 以上がレーダーカメラ、リアルタイムセンサー、警告システムといった AI を活用した安全機能を高く評価しています。

100 年以上にわたり、自動車業界は最前線の新技術が登場するたびに「安全文化（safety culture：セーフティカルチャー）」を取り入れてきました。では、テクノロジー業界に携わる私たちは、AI 時代における信頼を築くために、この文化からどのように学び、応用できるでしょうか。

「安全文化」とは何か?

国際的な安全の専門家であるパトリック・ハドソン（Patrick Hudson）は、 1980 年代にカルチャーラダー（culture ladder：組織の安全意識を継続的に向上させるために設計された規格）を使って「安全文化」の概念を探求し始めました。同氏の研究により、組織文化と安全性は密接に関係していることが判明しました。

それ以来、チェルノブイリ原子力発電所事故（1986年）、スペースシャトルのチャレンジャー号爆発事故（1986年）とコロンビア号空中分解事故（2003年）、石油掘削施設ディープウォーター・ホライズンの爆発事故（2010年）など、多くの悲惨な事故は「安全文化」の欠如を根本的な原因としています。最近では、アリゾナ州で起きた自動運転車死亡事故 (2018 年) が不十分な「安全文化」に関連しています。

強固な「安全文化」が必要なのは、石油掘削装置や自動車のような物理的なシステムだけではありません。 AI の導入にも、安全性に関する重大な懸念が伴います。私たちは、顔認識システムが有色人種を誤認識したり、生成 AIモデルが偽情報やヘイトスピーチを広めたりするのを目にしてきましたが、新たなリスクは今もなお進化し続けています。

「安全文化」の 5 つの原則

AI が成功するためには、安全で信頼できるものである必要があります。ハドソン氏は、倫理的な技術文化を支える「安全文化」として5 つの側面を挙げています。

リーダーシップ：リーダーシップは、安全で倫理的な企業文化を醸成し、維持するために不可欠です。また、組織の雰囲気作り、ガイドライン、ガードレール、インセンティブを通じて信頼できる AI を徹底できます。
尊重：「安全文化」を実現させるには、組織内のあらゆる人が階層に関係なく間違いを指摘したり、懸念を提起したりする権限を与えられていると感じなければなりません。 Salesforce では、従業員が倫理的使用に関する懸念を匿名で提起できるチャネルを提供しています。
注意深さ：自己満足は事故につながります。「安全文化」を構築するには、誰もが注意深く、予期せぬ事態に備えなければなりません。 AI の場合、これは、AI の意図しない結果を考慮し、リスクを軽減するために開発ライフサイクルにチェックとレビューを組み込むことを意味します。
公正性と公平性：安全性を確保するには、何が許容され、何が許容されないかについて明確なルールを確立し、それを一貫して適用する必要があります。たとえばSalesforce では、一般的な利用規定とAIポリシーで、当社のテクノロジーをどのように使用するべきか (もしくは、使用すべきでないか) を明確に示しています。
学習：強固な「安全文化」では、学んだ教訓に基づいて必要な改革を実行します。これは、イノベーションのペースが速いAI の時代では特に重要です。昨年、当社は責任ある生成AI開発のための5つのガイドラインを策定し、従業員に最新のガイダンスを提供しました。

AI の「安全文化」の構築

ハドソン氏の提唱する原則は AI の「安全文化」の強固な基盤づくりに役立ちますが、AI の強力かつ急速な進化を考慮すると、私はさらに 3 つの原則を実装する必要があると考えています。

1. 関係者全体での努力と最終認証者の必要性：著名な AI 研究者のアンドレアス・マティアス（Andreas Matthias）氏は、AI が人間のシステムに加わると、「責任ギャップ（responsibility gap）」が生じると述べています。何か問題が起きたとき、法的責任だけでなく道徳的責任を負うのは誰でしょうか。AI のレコメンデーションを受け入れるエンドユーザーでしょうか、モデルを開発した開発者でしょうか、それとも他の誰かでしょうか。安全性は倫理と同様に、全員が自分の貢献に対して責任を負う必要があるチームスポーツです。しかし、その「責任ギャップ」を埋めるには、 AI システムが堅牢にテストされ、安全であることを証明する責任を負う個人も必要です。

2. 舵を取る人間に権限を与える：安全策として「舵を取る人間」に権限を与えるには、AI システムを効果的に監督するための時間、情報、コントロールを提供する必要があります。これは、AI が提供するレコメンデーションする制御の理由や引用を、必要に応じて人間が上書きにできるようコントロールできるようにすることを意味します。これにより、AI は安全で強力なアシスタントとなり、私たち抜きではなく、私たちと協力して機能するようになります。

3. 明確な定義と基準の確立：AI分野で働く多くの人々は、正確性、バイアス、堅牢性の概念に精通しています。しかし、AIモデルやシステムが「十分に安全」であるかどうかを明確に判断するための、合意された定義や基準はありません。そのため、これらのシステムによって信頼を構築したり、安全性を確保したりすることが非常に困難になっています。2023年には世界中でAI規制の機運が高まりましたが、業界は安全性の共通の定義を策定するための最初の一歩を踏み出したばかりです。

AIへの信頼を深める

イノベーションのサイクルが訪れるたびに、安全基準やガードレールの設定について大きな議論が交わされます。しかし、消費者は製品の安全性を信頼できると感じれば、多少の金額を払っても構わないと考えていることが明らかになっています。 AI に対する信頼構築を目指すのであれば、AI の開発と導入の中心的な役割を果たす安全性を真に理解して受け入れる「安全文化」を取り入れる必要があります。

Salesforce のテクノロジーと AI 倫理へのアプローチについては、こちら。