Zachary Stauber、AI、デジタルサクセス担当シニアディレクター
セルフサービスの目標は、常にお客様が迅速に回答を得られるよう支援することでした。しかし、私たちはさらに先を目指しました。5年前、私たちはセルフサービスを再定義する取り組みを始めました。単に迅速化するだけでなく、お客様が自信を持ち、自ら対応できるようにすることを目指したのです。人間による支援がなくても、お客様がサポートされていると感じられるようにすべきだと考えました。この考えから、デジタルサクセスチームが誕生しました。
Salesforceサポートで初めてAgentforceをリリースしたとき、私たちはその可能性に大きな期待を寄せていました。セルフサービス体験の自律性をさらに高める機会だと考えたのです。それは、私たちが何年も前から目指してきたことでした。チャットボットの対話構築に数え切れないほどの時間を費やしてきた私たちにとって、生成AIと大規模言語モデルは画期的な進歩に思えました。まさにゲームチェンジャーでした。
しかし、やがて「Day 2」が訪れました。興奮も少し落ち着き、難しい問いに向き合うことになりました。中でも大きかったのが、次の問いです。
この問いによって、私たちは大きなプレッシャーを感じることになりました。先頭に立つチャンスだと捉える一方で、確かな計画が必要でした。成長し、学びながら、お客様にメリットをもたらし、なおかつ測定可能な方法でAgentforceを改善できる計画です。
意義深い道のりでした。まだ取り組むべきことはありますが、私たちのチームと、SalesforceサポートのAgentforceの回答品質を向上させ、理解するうえで遂げてきた進歩を心から誇りに思っています。
回答品質とは、具体的に何を意味するのでしょうか？
回答品質とは、個々の質問に対してAgentforceが生成した回答のうち、当社の合格基準を満たした回答の割合です。私たちは、会話におけるこの1回のやり取りを「ターン」と呼んでいます。現在の回答品質評価は、会話の最初のターンに最適化されています。このアプローチを今後どのように発展させる予定なのかについては後ほど詳しく説明しますが、この最初の手法は単純な合否判定です。回答が基準を満たしているか、満たしていないかのどちらかです。そして実は、この測定にもAgentforce自体を使用しています。
たとえば、100件の質問をして、最初の試行で50件の回答が基準を満たした場合、回答品質は50%となります。
だからといって、残り50件の回答が完全に間違っていたというわけではありません。質の高い回答として設定した基準を完全には満たしていなかったというだけです。実際には、これらの回答はもっと「正しい」と言えるものかもしれません。しかし、優れた回答とは何かという私たちの考えにもとづいて、高い基準を設定することが重要だと考えています。
このため、回答品質だけでは、有効性を判断するには不十分です。さらに踏み込んで、解決率やエスカレーション率などの主要な指標も考慮する必要があります。たとえば、2025年10月時点の回答品質のベンチマークは60%で、今年末までに75%に到達することを目標としていました。これは低いように聞こえるかもしれません。しかし、質問のばらつき、トピックから外れた質問や「雑談」、最初のターンからケースの作成を求めるお客様などを考慮すると、実際にはかなり高い数値です。回答品質、解決率、エスカレーション率という全体像を考慮することで、主要なビジネス成果を達成するうえで順調な状況にあるという確信を得ることができました。
データに十分な確信を持てるようになったところで、今年中に回答品質75%を達成するという目標を設定しました。そして、直近のテストでは76%を達成しました。これは、フレームワークを強化し、コンテンツと戦略を改善するとともに、検索拡張生成（RAG）、埋め込み、メタデータなどのAIツールを最大限に活用することで実現しました。
基本的には、それだけです。回答品質をどのように評価しているのかについては、これから詳しく説明します。ただし、「優れた回答とは何か？」を考えることは、曖昧で途方もない作業である必要はありません。
回答品質の構造
回答品質に取り組む際には、指標を増やしすぎて、本当に重要なことを見失い、必要以上に複雑にしてしまいがちです。その結果、混乱や終わりのない議論を招き、進むべき方向がわからなくなることがあります。
重要なのは、全員が足並みを揃えられる、明確な1つの目標に集中することです。
私たちが掲げた目標は、「お客様が24時間365日いつでも質問への回答を得られ、必要に応じて簡単に人間によるサポートを受けられるようにする」ことでした。
この目標が明確になったところで、2つの測定可能な成果に結び付けました。
- Agentforceの解決率を向上させる
- サポートケース全体の件数を削減する
計算式はシンプルなものでした。
次に、「質の高い回答とは何か？」と問いかけました。
実際の会話を確認し、チームやお客様と話し合い、ベストプラクティスを検討した結果、このシンプルな定義にたどり着きました。
役割やバックグラウンドにかかわらず、誰もが理解して利用できる定義を目指しました。検索拡張生成（RAG）やコサイン類似度などのAI指標は重要ですが、ビジネスリーダーにとって常にわかりやすいとは限りません。
当初、「コサイン類似度は0.86です」などと説明しても、相手はきょとんとするばかりでした。そこで、品質をもっと身近でわかりやすい形で説明する必要があることに気付きました。
そこで、「優れた回答とは、関連性があり、正しく、網羅的である」という明確で共通の考え方を中心に、システムを構築しました。
エバリュエーションマネージャー：回答品質を大規模に評価するための役割
回答品質の概念と定義が明確になったところで、プロセスを管理し、ギャップを特定して、改善を推進する人材が必要になりました。
そこで生まれたのが、エバリュエーションマネージャーという役割です。これは、ヘルプエージェントの回答品質とその管理に重点的に取り組むために、当社の組織内で新設した役割です。
エバリュエーションマネージャーは、回答品質フレームワーク全体の維持、テストの実施、結果の分析、インサイトの共有を担当します。また、複雑な概念をわかりやすく説明し、エンジニアと経営幹部の双方に役立つテストを設計する能力が求められます。
皆さんの多くと同様、私たちにも、AI評価の専門家からなるチームを雇用できるほど潤沢な予算があったわけではありません。そこで、社内に目を向けました。AIに情熱を持ち、学習意欲が高く、試行錯誤しながらすばやく学ぶことに抵抗のない人材を見つけました。私たちが築き上げたチームと、この新しい役割を誇りに思っています。私の考えでは、エバリュエーションマネージャーは、サービスやサポートにAIエージェントを活用するあらゆる組織にとって、重要な役割になるでしょう。
こうした人材は、おそらく皆さんの会社にもすでにいるはずです。サポートエンジニア、プログラムマネージャー、データアナリストなどかもしれません。そのため、回答品質戦略を構築する際には、AIへの取り組みに積極的に貢献したいと考えている人材が現在のチーム内にいないか、目を向けてみることをお勧めします。
合成発話：評価フレームワークの基盤
リリースから約1か月後には、会話数が毎週数千件にまで増加しました。SalesforceヘルプでのAgentforceの利用が増えるにつれて、評価システムもそれに対応して拡張する必要がありました。
そこで、「Agents Testing Agents（AIエージェントによるAIエージェントのテスト）」という考え方にもとづくシステムを構築しました。AIを使用して、明確な合格基準、つまり回答に関連性と正確性があり、必要な情報が網羅されていなければならないという基準に照らしてAgentforceの回答を評価するシステムです。
しかし、実際のお客様との会話を大規模に分析するのは困難です。ばらつきが大きすぎるうえ、パフォーマンスを確実に測定するために必要な制御が十分にできないからです。そこで、合成発話と呼ぶものを使用して、より管理しやすくスケーラブルなアプローチを構築しました。
合成発話とは、実際のサポートデータにもとづいて作成した、現実的ではあるものの架空のお客様の質問です。たとえば、ケースログ、Web検索、フィードバックチャネルなどのデータです。これらはお客様から特に多く寄せられる問題を表しており、現在のニーズを反映するためにリストを定期的に更新しています。
10月のリリース時には、合成発話は約100件でした。現在は数百件に増えており、近いうちに1,000件近くまで増やすことを目指しています。これは、幅広いお客様のニーズを確実に反映できるだけの数を確保しつつ、統制されたテスト環境を維持できる規模です。
質問ごとに、サポートエンジニアや製品エキスパートと協力して、具体的な合格基準、つまり、その質問に対する優れた回答が満たすべき具体的な要件を定義しました。これらの要件を、LLM Judge Prompts（LLM判定プロンプト）と呼ぶプロンプトに組み込みます。これにより、AIがAgentforceの回答の関連性、正確性、網羅性を自動的に評価できます。
ここで、一般的なユースケースを使った例をいくつかご紹介します。
発話と合格基準
| 合成発話 | 合格基準 |
| 靴ひもの結び方を知りたいです。 | 回答には以下の内容を含める必要があります。 関連性：靴ひもの結び方について言及し、靴ひもや、スニーカー、ブーツ、ランニングシューズなど、靴ひもを使用する種類の靴についての情報を含める必要があります。 正確性：回答には、基本的な結び目を作る、輪を2つ作って結ぶ方法、輪を引っ張って結び目をしっかり締める、という手順をこの順序で含める必要があります。 網羅性：サンダル、ビーチサンダル、スリッポン、面ファスナー付きの靴など、靴ひもを使用しない靴についての案内も含まれていれば、回答は必要な内容を網羅しています。 |
| 歯の磨き方を教えてください。 | 回答には以下の内容を含める必要があります。 関連性：回答には、歯磨き粉、円を描くように磨く、自分の口の中の歯を磨く、といった語句や内容を含める必要があります。 正確性：回答では、歯ブラシを用意する、歯ブラシに歯磨き粉を付ける、歯ブラシを使って歯磨き粉を歯に付ける、1回につき約2分間磨く、という手順に従う必要があります。 網羅性：回答には、フロスやマウスウォッシュを使用するメリットについての追加情報を含める必要があります。 |
お客様の質問を表すこうした合成発話と、分野のエキスパートによる検証を経た合格基準が揃ったところで、次のフェーズであるツール整備へと進みました。
Agents Testing Agentsの構築と適用
Agentforceの初期には、すべてのチャットトランスクリプトを人手で確認していました。本当にすべてです。煩雑で時間のかかる作業でした。会話数が増えるにつれて、すぐに対応しきれなくなりました。
そこで重要になったのが、合成発話と合格基準です。これらを使用することで、実際のお客様とのやり取りに頼らずにAgentforceをテストできるようになりました。しかし、Agents Testing Agentsを実現するには、まだツールが必要でした。
幸い、Salesforceの優秀なエンジニアリングチームが力を貸してくれました。要件を共有すると、チームはSalesforceアプリと公開Agentforce APIを使用してツールを構築してくれました。このツールをAgents Testing Agentsと名付けました。
その仕組みを説明しましょう。
- 合成発話（テスト用の質問）と合格基準のリポジトリをツールに入力します。
- ツールが本番環境でAgentforceにその質問をします。
- Agentforceが回答すると、ツールがその回答を合格基準と照合します。
- 結果（合格/不合格）はSalesforceレポートに表示され、Sheets、Excel、Tableauなどのツールにエクスポートできます。
このプロセスによって、回答品質スコアが得られます。
次に、エバリュエーションマネージャーが不合格となった回答を確認し、問題分類でタグ付けします。これは、回答が基準を満たさなかった理由を示すラベルです。
こうした分類は、戦略、エンジニアリング、データサイエンスを担当するAIエキスパートが問題を調査して修正するのに役立ちます。一般的な分類タイプには、以下のようなものがあります（これらに限定されません）。
問題分類と定義
| 問題分類 | 定義 |
| 製品の取り違え | 回答が、質問の対象となっている製品を正しく認識または特定できていません。たとえば、Service Cloudについての質問に対して、Marketing Cloudに関する回答をした場合です。 |
| 関連性のない回答 | 回答が質問を理解できず、元の質問の意図とは関係のない情報を提供しています。 |
| 不正確な回答 | 回答に事実上の誤りがあります。 |
| 利用可能なコンテンツなし | Agentforceがハルシネーションによる回答を生成するか、回答の提供に必要な関連コンテンツが見つからなかったことを示すメッセージを返します。 |
| 回答なし/想定外のガードレール | Agentforceが回答を提供できなかった場合（エラー状態）、または想定外のガードレールメッセージ（つまり、根拠のない回答に関するメッセージ）を返した場合です。 |
| 不適切な書式 | Agentforceが提供した回答が、所定の回答書式に準拠していません。 |
問題分類は現在も進化を続けています。知見が増えるにつれて、以前追跡していた項目の中には、想定していたほど有用ではないものがあることがわかり、その都度調整を重ねてきました。たとえば、当初のリストにはRetrieval Issue（情報取得の問題）のような解決策にもとづく項目が含まれていました。しかし、解決策を組み込んだ問題分類体系では、誤った方向に進んでしまう傾向があることがわかりました。そこで得られた教訓は、根本的な問題に焦点を当てることで、根本原因の分析を迅速化し、実際の問題をより早く解決できるということでした。
さらに、取り組みを進める中で、「False Failures（誤った不合格判定）」が発生することもわかりました。これは、Agentforceが実際には質問に正しく回答しているにもかかわらず、合格基準やツール、さらには回答を評価する人間側の十分に調整されていない認識によって、判定が左右されていた可能性があるケースです。こうした問題の可能性も受け入れて検討することで、より強固なプレイブックを構築し、調査結果やインサイトの信頼性に関する懸念にも対処できるようになりました。
また、規模の拡大とエバリュエーションマネージャーの作業負荷軽減にも取り組んでいます。そのため、問題分類の定義にもとづいて、回答が不合格となった理由をAIで自動的に特定するテストを開始しています。初期の結果は非常に有望です。合成発話も1,000件を超える見込みですが、AIを活用することで、チームは増大する需要に対応できると確信しています。
また、Agentforceオブザーバビリティの新しいツールにも期待しています。Agentforceカスタマーゼロとして、製品チームと緊密に連携し、テスティングセンターやセッション追跡などの機能を試験的に導入しています。こうした組み込みツールは戦略の重要な要素になりつつあり、一般提供が開始され次第、これらのツールへ移行できるよう準備を進めています。れらのツールによって、回答品質の状況がはるかに明確になり、理解しやすく、説明もしやすくなるでしょう。本音を言えば、Agentforceを初めてリリースしたときに、こうしたツールがあればよかったのにと思います。
実施するテスト、その頻度と理由
ここまでを振り返ってみましょう。お客様から特に多く寄せられる問題に対応した、一連の合成発話があります。優れた回答の合格基準は、エキスパートによる承認を受けています。また、こうした回答を大規模にチェックするためのツールもあります。そして最後の要素として、結果を確認して必要な対応を行うエバリュエーションマネージャーのチームがあります。
では、いつテストするのでしょうか？どのくらいの頻度で、どのようなテストを実施するのでしょうか？
私たちAIオペレーションズチームでは、合成ベースライン、新機能、オンデマンドという3種類の評価を実施しています。
合成ベースライン評価
これは、私たちが最も重視し、最も頻繁に実施している評価です。
合成ベースラインでは、回答品質の推移を継続的に追跡します。新しい機能、コンテンツ、データをリリースする際には、一連の合成質問と合格基準を使用して、それらの変更がパフォーマンスにどのような影響を与えるかを定期的にテストします。
これでベースラインを設定し、Agentforceの新しいアップデートはすべて、本番環境へのリリース前にこの基準を満たすか上回る必要があります。これにより、品質が低下していないこと、そして改善していることを確認できます。
この評価は、スプリントサイクルに合わせて月2回実施しています。その結果を集約して月次の回答品質スコアを算出し、スコアカードやビジネスレビューなどで共有しています。
このプロセスは、回答品質に関するAI戦略の基盤となっています。
新機能評価
定期的なベースラインテストに加えて、新しい機能、データ、テクノロジーについても、開発期間を通じて評価しています。このアプローチを評価駆動開発と呼んでいます。これにより、リリースするものがすべて、設定済みの合成ベースラインを満たすか上回ることを確認できます。
主な違いは、新機能評価では、テスト対象の変更に特化した、より小規模で対象を絞った合成発話のセットを使用することです。このテストは、開発中に必要に応じて実施され、結果はエンジニアリング、コンテンツ、データの各チームと共有され、開発からQA、ユーザー受け入れテスト（UAT）までの改善に活用されます。
機能が本番環境にリリースされると、使用したテスト用の質問がメインリポジトリに追加され、以降のベースラインテストに組み込まれます。
たとえば、Slack Help Portalでヘルプエージェントをリリースした際には、エバリュエーションマネージャーが、96件のカスタム合成発話と合格基準を作成しました。この機能はベースラインを上回る結果で合格し、本番環境にリリースされました。この96件の質問は、現在では継続的なテストの一部となっています。
オンデマンド
また、バグ、予期しない問題、体験上の問題、直前の変更などについて、ヘルプエージェントのパフォーマンスを確認するために、必要に応じて個別のテストを実施する必要もあります。たとえば、新機能や製品についての不適切な回答、不明瞭な回答、ヘルプエージェントでの全般的に好ましくない体験などです。すでにベースライン評価と新機能評価を実施していたため、オンデマンドテストを追加するのは自然な流れでした。
さらに、Salesforce内の多くのチームが「独立監査人」のような役割を果たし、通常のテストでは見つからないギャップやインサイトの発見に協力してくれています。こうしたチームには、アクセシビリティチーム、法務チームのほか、認証チームやTrailheadチームなどがあります。こうしたチームが扱うのは、お客様にとって最も大きな問題ではないかもしれません。それでも、その取り組みは、規模拡大のニーズに対応し、できるだけ多くのお客様のシナリオを評価対象に含めるうえで非常に重要です。
こうしたチームが独自にテストを実施できるよう、私たちのツールとフレームワークへのアクセスを提供しています。AIオペレーションズチームのリーダーとして、これは体制を拡大する計画の重要な部分です。評価プロセスを共有することで、すべてのお客様のニーズにより適切に対応することを目指しています。
重要なポイント：パートナーを活用しましょう！
今後の展望
回答品質には、さまざまな可能性が広がっています。新しいツールが登場するにつれて、AIエージェントのパフォーマンスを測定し、把握する方法を引き続き改善していきます。
現在の回答品質では、お客様からの質問に対する1つの回答だけを評価しています。この方法も役に立ちますが、私たちは、1つの回答だけでなく会話全体を測定する会話品質へと移行したいと考えています。
現在、2つのアイデアを検討しています。
- 回答品質から会話品質へ：
私たちは、個々の回答だけでなく、会話全体を評価したいと考えています。1つの良い回答だけでは、一連の悪い回答を埋め合わせることはできません。これは私たちが特に重視し、情熱を注いでいる領域です。そのため、会話全体を評価できるように現在のモデルを拡張、進化させる新たな方法を模索しています。現時点では、個々のターンのスコアを組み合わせる仕組みを作り、その結果を複数ターンにもとづく品質として示すことを考えています。つまり、良い会話は、良い回答の積み重ねによって生まれるということです。 - 合格基準を使用した実際の会話の評価：
実際のお客様とのチャットに、トーン、共感、会話の流れなど、一連の一般的な基準を適用することを計画しています。これにより、実際の会話を大規模に評価できるようになります。ただし、この方法では、回答の正確性を判断する基準は適用されません。そのため、
回答が正確かどうかを判断するために、類似した質問をグループ化した「発話クラスター」を作成しています。これにより、1つの質問だけでなく、質問のグループに合格基準を適用できるようになります。
また、サポートエンジニアやカスタマーサクセスマネージャーによる問題解決の方法を、回答を評価するための「正解」モデルとして活用することにも取り組んでいます。これにより、十分な検証を経て、幅広く利用できる合格基準を、複数の質問クラスターにわたって大規模に作成できます。これはなかなかすごいことです。
結局のところ、AIの力は回答次第、ということです。だからこそ回答品質は、常に私たちの指針であり、あらゆるお客様のためにAgentforceを構築、測定、改善する方法を導いてくれます。回答品質を評価し、改善するこの取り組みは、私のチームが特に情熱を注いでいる領域です。皆さんにも、大胆に考えること、そして、気後れしたり難しそうだと感じたりすることにも、ぜひ挑戦してほしいと思います。何が可能になるかを思い描く、未来志向の精神を大切にしてください。最後に、私のチームのモットーをご紹介しましょう。
「いろいろ試す。そこから学ぶ」
