Skip to Content

AIエージェントのデータ分析精度と、誤回答の防ぎ方

AIエージェントは、自信満々に間違った回答を生成することがあります。正確なデータ分析を行うため、なぜ検証済みのデータセットやAIスキル、Tableau MCPが必要なのかを、社内の実践例とともに解説します。

AIは私たちの働き方を急速に変えています。大規模言語モデル(LLM)やエージェントツールの台頭により、かつてはエンジニアやアナリスト、BIチームが必要だった回答を、今では誰もがプロンプトを入力するだけで得られるようになりました。

この変化は、しばしば「バイブコーディング(vibe coding)」(2025年初頭にAndrej Karpathyが提唱した用語)と呼ばれ、今後も強力な手法として定着していくでしょう。

しかし、そこには「落とし穴」があります。

バイブコーディングは、AIが適切なコンテキスト(文脈、背景情報)を持っている場合には非常にうまく機能します。しかし、そうでない場合、エラーメッセージが出るのではなく、「自信満々の間違った回答」が返ってきます。複雑なエンタープライズデータ環境において、これは深刻な問題です。

本記事では、AIエージェントがグラウンディング(根拠付け)のためのコンテキストなしにデータ分析をした場合に何が起こるのか、具体的な例を共有します。その後、検証済みデータやAIスキル、そしてTableau MCPがこの問題をSalesforceにてどのように解決しているのかも解説します。

AIエージェント時代、データ分析はどう変わる?

記事で見た通り、AIエージェントは適切なコンテキストがなければ誤った回答を返します。本レポートでは最新のデータ&アナリティクス動向とAI活用の実態を調査データで解説。データ分析精度を高めるヒントが見つかります。

課題:コンテキストを持たないAIは一貫性のない結果を生み出す

AIエージェントに分析を依頼すると、単に特定の指標(売上など)のデータを取得するだけでなく、推論エンジンを用いた回答を生成します。

つまり、同じ依頼をしても、エージェントが見つけたデータソース、データを取得するために適用したロジック、そして事前に与えられたコンテキストによって、ユーザーごとに異なる回答が出力されている可能性があるということです。

エンタープライズ環境では、この問題の発生確率は一層上がります。

長年蓄積された定義が一意でないデータ、一貫性のないデータフィールドのロジック、チームごとに異なるデータ取得のオペレーションなどにより、AIエージェントが質問者の意図を汲み取りきれない。あるいは取得すべきデータ項目やその計算ロジックを間違えてしまうこともあります。さらに、その間違いを検証することは簡単ではありません。

AIエージェントは、それが正しいかどうかに関わらず何らかの回答を提示します。事前に正しいコンテキストを提供しないと、回答精度の検証もできないのです

MQLの例から考える

例をもとに深掘りしていきましょう。あるマーケティングチームは第1四半期が終了した後、四半期ごとのビジネスレビューの準備をしていました。そこで「先四半期はいくつのMQL(Marketing Qualified Lead:マーケティングで獲得した有望見込み客)を創出したか?」というシンプルな質問が上がりました。

マーケターたちは、AIエージェントにこの同じ質問を2回尋ねました。その結果は以下の通りです。

項目1回目の回答2回目の回答Tableau上のリード
ダッシュボード
MQL数50,00075,000100,000
データソースCRM内のリード項目CRM内のリード項目マーケティングチームの検証済みデータセット
「裏側」のロジック・MQL Campaign ID is not null
・Lead Created Date in Q1 FY27
・MQL Date in Q1 FY27・Snap Type= ‘Quarterly’
・Funnel Stage Name= ‘leads_qualified’
・Nonlinear Funnel FYQ= ‘FY2027 Q1’
表1: MQL結果の違い (数値は仮です)

マーケターは2つの異なる回答を得ました。同じ質問で、同じCRMシステムを読み込んでいたにも関わらずです。どちらの回答も、信頼できる唯一の情報源(SSOT)である「Tableau上のリードダッシュボード」の値とは一致しませんでした。

なぜ回答は間違っていたのか?

どちらのAIエージェントもCRM内のリード項目を見つけましたが、どちらも正しいMQLのロジックを使用していませんでした。主な問題点は、以下です。

  • MQL Campaign IDとMQL Dateは、公式のMQL定義と一致していません。これらは関連するフィールドではありますが、正しいフィールドではありません。
  • CRMはリアルタイムデータを提供するため、時間が経つにつれてリードのステータスが変化し、2027年度第一四半期の数値は日によって変動します。そのため期間ごとの比較において、信頼性が低くなります。

なぜTableau上のリードダッシュボードを信頼するのか?

このダッシュボードは、Marketing Data Warehouse(MDW)の検証済みデータセットからデータを抽出。このデータセットには、社内公式のMQLの定義を踏まえた明確な計算ロジックを持つ、四半期末のスナップショットが含まれており、MQLの正確な算出において信頼できる情報源といえます。

  • Snap Type = ‘Quarterly’:特定の時点での正確性を保証します。
  • Funnel Stage Name = ‘leads_qualified’:ガバナンスの効いたMQL定義を使用します。
  • Nonlinear Funnel FYQ = ‘FY2027 Q1’:結果を正しい会計期間に固定します。

このクエリは、正確で一貫したレポート作成のために特別に構築されたデータレイヤーから数値を抽出しています。

要因説明
非決定論的なAIの挙動エージェントは確率論に基づき応答を生成するため、全く同じプロンプトであっても回答にばらつきが必ず存在する。
流動的なリードデータリードは四半期内または四半期をまたいでMQLステータスが変化する可能性があり、リアルタイムデータでは分析タイミングによって差分が発生する。
コンテキストの違い過去のAIエージェントとの会話やファイル履歴が、ユーザーごとにLLMの出力に異なる影響を与える。
プロンプト解釈のばらつき言い回しのわずかな違いが、異なるロジックの適用につながる可能性がある。
異なるLLM / スキル高度なモデルと基本的なモデルの違い、またどのスキルがアクティブになっているかによって、異なる結果が生じる。
表2:AIエージェントが一貫性のない結果を出した理由

解決策:AIスキル、セマンティックレイヤー、検証済みデータセット

解決策は、AIエージェントを適切にグラウンディング(根拠付け)することです。AIエージェントが常に信頼できるTableauのリードダッシュボードと一致する結果を返すようにするために、Salesforceが使用している3つのアプローチを紹介します。

ステップ1. AIスキル:エージェントに適切なガイダンスを与える

AIスキルとは、特定の質問にどのように答えるべきかをAIエージェントに正確に指示する、構造化された命令セット(Markdownファイルなど)です。リードの指標について、Leads_Skillは以下を定義します。

  • 使用するデータソース例:生のLeadオブジェクトではなく、MDW認定テーブル
  • 適用するフィルター例:Snap Type、Funnel Stage Name、Nonlinear Funnel FYQ
  • MQLの分類を管理するビジネスルール

これがないと、AIエージェントは即興で独自の解釈に基づき回答を作成してしまいます。これがあることで、AIエージェントはガバナンスの効いた、再現性のあるプロセスに従います。

エージェント型分析プラットフォームとは?3分で解説

記事で紹介したTableau MCPやセマンティックモデルは、次世代のエージェント型BIプラットフォームの中核です。AIエージェントが検証済みデータと連携し、正確なデータ分析を実現する仕組みを3分の動画で解説します。

ステップ2. Tableau MCP:AIエージェントが読み込めるセマンティックモデル

Tableau MCPサーバーは、AIエージェントをTableauダッシュボード、さらにはその基盤となるセマンティックモデルに直接接続します。セマンティックモデルは、生のデータをAIエージェントが読め込める、かつガバナンスの効いたビジネスロジック、指標の定義、フィルタルール、リレーションシップマップなどに変換します。

これにより、AIエージェントがMCPを通じてクエリを実行する際、もうロジックを推測することはありません。明確に定義されたロジックの通り、計算を実行します。ユーザーが自然言語で質問しても、Tableauのリードダッシュボードの数値と一致する、一貫性のある正確な結果を得ることができます。

さらにData 360インスタンスやナレッジグラフとのデータ統合によって、バラバラに保管されていたデータサイロが、技術的な専門知識がないビジネスユーザーであっても、AIエージェントを通じて相互に接続された情報ネットワークへと進化させることが可能になります。

ステップ3. 検証済みデータセット:信頼できる唯一の情報源

ステップ1のAIスキルは、リードダッシュボードと同じ基盤であるMDW認定データセットをAIエージェントに読み込ませます。このデータセットは、Salesforceのマーケティングチームと密に連携し、Chief Data Office(最高データ責任者部門)によって開発、検証、管理されています。

結果: AIエージェントユーザーがLeads_SkillとTableau MCPを使用して2027年度第一四半期のMQLについて質問すると、Tableau上のリードダッシュボードと完全に一致する「100,000」という回答が、毎回・必ず得られます。

結論: AIエージェントを検証済みデータとセマンティックモデルにグラウンディングさせることで、ばらつきが排除され、誰がどのように質問したかに関わらず、正確で一貫した結果が保証されます。

Data-as-a-Product:ソリューションの背後にある哲学

本記事で説明したアプローチは、AIエージェントによるハルシネーションを防ぐ一過性の解決策ではなく、戦略的なフレームワークです。データの検証(Data certification)とデータの民主化(Data democratization)は、SalesforceのChief Data Officeの核となる原則です。

検証済みデータセットは、企業レポートの正確性の標準を確立します。AIスキルは、信頼性の高い出力を保証します。MCP接続とナレッジグラフは、SQL知識のある専門部隊だけでなく、誰もがデータとインサイトにアクセスできるようにします。

「Data-as-a-product(プロダクトとしてのデータ)」とは、データが他の製品と同じように、誰からもアクセスでき、使いやすく、信頼できるものであるべきだという考え方です。AIエージェントがこの基盤の上に構築されていれば、バイブコーディングはリスクではなく、機能(強み)となります。

AIエージェントを検証済みデータ、AIスキル、Tableau MCPにグラウンディングさせることは、精度問題の解決にとどまらず、大規模データの活用が根本から変わることになります。

  • 自然言語による分析セルフサービス化: 複雑なクエリも自然言語で行えるようになり、データ分析、インサイト抽出が組織全体に拡大。
  • 部門間の連携強化: マーケティング、営業、経営企画などの各部門が同じ主要指標を参照できるようになり、売上拡大に向けたデータドリブンな議論をサポート。
  • 監査証跡とコンプライアンスの向上: AIが生成したすべての指標は、文書化されたビジネスロジックとメタデータを持つデータセットに遡ることができるようになり、内部ガバナンス要件と外部コンプライアンスの枠組みの両方を満たす自動監査証跡を作成。
  • 組織ノウハウのスケール:暗黙知化されたビジネス定義や分析アプローチをAIスキルとして体系化することで、社員全員すぐに高度な分析が可能に。

正しい定義、データ、ロジックを固定化することで、AIの回答を初めて信頼し次なる行動へと移行できます。信頼できないAIデータ分析結果を元に間違った行動を起こす前に、まずはフレームワークの整備から始めませんか?

検証済みデータでAIエージェントを試してみませんか?

記事で紹介した通り、正しいコンテキストがあればAIエージェントは信頼できる回答を返せます。Tableau Pulse & Agentの体験会で、検証済みデータとAIエージェントによる正確なデータ分析を実際に体感してください。