非構造化データガイド：その詳細、ユースケース、メリットをご紹介

非構造化データとは、画像、テキスト文書、ソーシャル投稿、モノのインターネット（IoT）データ、動画、メール、写真、音声ファイルなど、特定のフォーマットを持たず、行・列・フィールドで整理しにくいデータのことです。そのため、保存、処理、取得が比較的困難です。検索しづらいデータですが、顧客のフィードバック、見解、意見、トーン、感情など、貴重な多くのインサイトが埋もれています。幸いなことに、このデータは宝の山と言えます。実際に、データの最大80%は非構造化データ です。しかし、残念ながら、 実際に活用されているのは、非構造化データの18% にとどまります。つまり、その可能性の大半は手つかずのままであり、その結果、組織は顧客理解を深めることや、顧客プロファイルをさらに充実させること、文脈を豊かに反映したAIおよびCustomer 360エクスペリエンスを創出することが妨げられています。

このガイドでは、非構造化データの概要、使い方、構造化データとの違い、入手先を解説し、手つかずの可能性を最大限まで引き出す方法をご紹介します。

非構造化データは気ままな弟、構造化データは聞き分けの良い兄だと考えてみてください。この2種類のデータは、「データ」という家族の中で、それぞれ異なる長所と可能性を持っています。

構造化データと非構造化データの違いをさらに詳しく見ていきましょう。

• フォーマット：構造化データは、数字などの固定フォーマットで生成されます。一方、非構造化データは、動画、音声、画像、テキストなど、任意のフォーマットで生成されます。
• ストレージ： 構造化データセットは、テーブルやSQLデータベースに保存できます。非構造化データは、そのデータ量と性質から、構造化データとは異なる大規模なストレージソリューションが必要です。たとえば、通常はオブジェクトストレージソリューションであるデータレイクや、NoSQLデータベースなどが適しています。
• 使いやすさ：数値的な結果を求めるのであれば、構造化データを分析するのがもっとも確実です。非構造化データから有用な情報やインサイトを引き出すには、自然言語処理（NLP）や機械学習などの組み込みインテリジェンスを駆使した高度なテクニックが必要です。非構造化データは、数値化できない深い質的なインサイトから、顧客の意欲や課題（ペインポイント）まで、構造化データでは得られない情報をもたらします。
• 数量：構造化データをリレーショナルデータベースに保存する際に必要な容量は、非構造化データに比べるとごくわずかです。

半構造化データは、構造化データと非構造化データの中間に位置します。構造化データのような事前定義のスキーマはありませんが、非構造化データより容易に保存して検索できます。半構造化データは、タグやセマンティックマーカーなどのメタデータを用いて階層を形成し、データセット内の異なる要素を分離します。たとえば、音声録音の未加工データは構造化されていませんが、音声の書き起こしやタグ付きのヘッドライン、スニペット、代替テキストは半構造化されています。

非構造化データには多くの形態があります。もっとも一般的なソースを見ていきましょう。

テキストファイルには、非構造化データが豊富に含まれています。顧客からのメール、メモ、顧客ログ、チャットボットのチャットなどがあります。PDFも非構造化データを含んでいます。

「ビッグデータ」という用語を聞いたことがある方は、そのほとんどがマルチメディアだということはご存知でしょう。ある試算によると、デジタル界では1日に400テラバイトを超える データが生成されていますが、そのほとんどは動画、デジタル写真、オーディオファイル、ポッドキャスト、医療画像です。デジタル会議やカンファレンスに出席するたびに、非構造化データが生成されます。セキュリティカメラの映像は非構造化データであふれており、顧客の動画や録画ウェビナーも同様です。

X、LinkedIn、Facebook、TikTok、Instagram、YouTubeは、現在広く利用されているソーシャルメディアサイトです。それぞれのチャネルには、膨大な非構造化データが含まれています。YouTube動画、顧客インタビュー、Instagramの最近の投稿に対するコメント、Facebookの投稿は、非構造化データの例と言えます。

企業のWebサイトは、非構造化データであふれています。HTMLとXHTMLのマークアップタグはWeb表示の構成要素ですが、タグ間のコンテンツは構造化されていません。

あなたはスマートフォンなしでどのくらいの時間を過ごせますか？あなたが送受信するボイスメールや顧客が残したメッセージには、大量の非構造化データが含まれています。メッセージングデータもこのカテゴリに分類されます。

IoTデバイスとセンサーは、大量の非構造化データを生成します。たとえば、食料品店は、IoTセンサーを使用して食料の保管温度を監視し、最適化しています。医療検査、気象監視システム、モーションセンサー、GPSシステムのデータも非構造化データです。

アーカイブされたドキュメント、スキャンした履歴記録、外部ハードドライブやネットワークドライブに長年ため込まれたデータは、多くの場合、非構造化データです。一般に、公共機関は、構造化されていない大量の履歴データをアーカイブで保管しています。

企業の非構造化データには、顧客、市場、ビジネスパフォーマンスに関する貴重なインサイトが埋もれています。

非構造化データの4つの効果的なユースケースを見ていきましょう。

AI（人工知能）：AIモデルがどれほど高度になっても、AIの品質は基盤となるデータによって左右されます。AIエージェントが企業の顧客やビジネスについて理解するには、その企業独自のデータにアクセスする必要があります。あらゆる種類の非構造化データに埋もれているこの情報を引き出せない場合、AIエージェントは一般的で信頼性の低い結果しか生成できません。AIエージェントがこの情報にアクセスするにはどうすればいいのでしょうか？そこで登場するのが、ベクトルデータベースと検索拡張生成（RAG）です。

ベクトルデータベースは、非構造化データを変換し、意味と関係を踏まえた数値的な「ベクトル」と捉えることで、非構造化データを保存して管理できるように設計されています。このデータベースにより、AIは、似ている画像を特定したり、顧客レビューで顧客の感情を分析したりするなど、パターンを容易に検出できるようになり、複雑な非構造化データを容易に処理して理解できます。

大規模言語モデル（LLM）は、パブリックデータを使用した応答の生成に優れていますが、RAGは、ベクトルデータベースやデータレイクに保存されている企業のプライベートデータをAIが生成する応答に取り込むことで、その内容を強化します。AIに対する質問にコンテキストが追加され、精度が向上するため、カスタマーサポートや詳細なレポートなど、リアルタイムや専門的なタスクに最適です。

まとめると、すべての自社データ、特に非構造化データから多くのインサイトを引き出すことができる、統合された高品質なデータ基盤が非常に重要です。なぜなら、この基盤を得ることで、AIエージェントはビジネスや顧客に関するもっとも正確で最新の情報にもとづいて意思決定を下すことができるからです。ベクトルデータベースやRAGなどのテクノロジーを使用すると、非構造化データからインサイトを得たAIエージェントが意思決定を下し、有意義なアクションを実行できるようになります。本質的に、非構造化データは、AI、特に生成AIやエージェント型AIを実現するための基盤になります。

カスタマーサービスの通話、書き起こし、顧客のフィードバック、センサーデータ、ソーシャルメディアなど、非構造化データソースは、多くの形でカスタマーサービスを向上させます。たとえば、通話の書き起こしを分析することで、共通の問題を特定し、セルフサービスオプションを改善できます。その結果、顧客は自力で容易に答えを見つけられるようになります。自動車などの製品センサーデータから整備時期を予測することで、問題が発生する前に顧客に通知できます。ソーシャルメディアのフィードバックを参照することで、セルフサービスコンテンツを更新し、関連性をさらに高めることができます。その結果、顧客は必要な支援を速やかに受けられるようになります。さらに、AI、データ、CRMの力を活用してこのデータを詳細な顧客プロファイルへ統合すれば、プロアクティブサービスへと進化し、さらにはサービスを販売機会へと転換できます。

営業メール、CRMメモ、ミーティングの録音から得た非構造化データを分析することで、顧客に対する理解を深めて、製品に対する顧客の印象を把握し、購入インテントを確認できます。たとえば、過去に成約に至ったトレンドを確認し、顧客が頻繁に使用するキーワードを明らかにすることで、直近の販売減少の理由を把握できる場合があります。

こうした新たな発見を参考に販売戦略を改良し、顧客を保持して、製品やサービスをパーソナライズできます。

日々生成されるデータの劇的な増加とともに、サイバー脅威も大幅に増加しています。近年は、ほとんどの経営陣やデータ専門家にとって、データセキュリティと保護が最優先事項になっています。

オンライン取引、メール、チャットログやその他のソースから得られる非構造化データにより、セキュリティチームは異常を特定し、潜在的な脅威にフラグを立てます。たとえば、通常ではないフレーズや取引パターンが不正行為のサインとなる場合があります。不正検知の自動化を用いて非構造化データからレッドフラグを洗い出すことで、組織はサイバー攻撃や、それがもたらす経済的損失や風評被害などのリスクを監視・防止できます。

• インサイトの強化。非構造化データを活用すれば、コンテキストの補強とビジネスクリティカルな意思決定の改善につながる定性的な情報を得られることがあります。適切なテクノロジーを導入し、専門知識を確保することで、問題となる領域を見極めて、業務を合理化できます。さらに、サービスや製品を強化して、マーケティングパフォーマンスを改善できます。
• 顧客に対する理解。顧客自身の言葉や反応を分析することで、顧客の好みや行動の理解に役立ちます。さらに、過去の販売取引など、顧客とのやり取りやソーシャルメディアから得た非構造化データを構造化データと組み合わせることで、統合された顧客プロファイルを確立できます。このプロファイルにより、顧客の全体像を把握し、顧客がブランドに何を期待しているのか明確になります。こうした情報を得ることで、顧客満足度を高める理想的な状況、すなわちパーソナライズされたオファーやサービスを、顧客が必要とするときに適切なタイミングで提示することができるようになります。
• 高い競争力。デジタルの世界では、競争が激化しています。オンラインレビュー、競合他社の動画、ソーシャル投稿の非構造化データを調達、処理、分析することで、市場トレンドが成熟する前にその兆候を把握できます。この有力な情報を活用することで、競合他社の先手を取ることができます。

• 膨大なデータ量/スケール：非構造化データは、膨大なストレージ容量を消費します。多くの企業では、非構造化データが取得されていないか、複数のデータサイロに分散しているため、こうしたデータの統合を選択しない限り、ストレージ容量は問題視されません。自社に適したストレージソリューションを模索する場合は、保存に必要なデータの量を考慮してください。
• データの複雑さ：非構造化データは事前に定義された構造がないため、専用のツールなしでは分析が困難です。非構造化データの分析で使用される一般的なツールとしては、自然言語処理（NLP）、ビジネスインテリジェンスソフトウェア （Tableau など）、機械学習などがあります。
• データ分析：フォーマットが多種多様で量も膨大なデータは、分析が難しいというのが通説です。インサイトという形で非構造化データの長所を引き出そうとすると、膨大な時間がかかるだけでなく、「インテリジェントな」処理能力が必要になります。
• データガバナンスと管理：解放されたデータに、誰がアクセスするのでしょうか？すべてのユーザーとユースケースでセキュリティと機密性を常に保つにはどうすればいいのでしょうか？また、自社データを使用するすべてのアプリケーションに適切なポリシーを確実に適用するにはどうすればいいのでしょうか？構造化データや非構造化データにかかわらず、常にセキュリティを保ち、データを保護し、コンプライアンスを確保する必要があります。

データ管理をライフサイクル全体で捉えた場合、適切なデータ戦略が大きな違いを生みます。非構造化データの3つのベストプラクティスを見ていきましょう。

カスタマーエンゲージメントの改善、業務のシンプル化、意思決定の改善など、主な目標を定めることから始めましょう。この目標を達成するために非構造化データがどのように役立つのか考えます。たとえば、顧客満足度の向上を目標に設定した場合、顧客レビュー、サポートメール、顧客のソーシャルメディアの反応を分析することを検討します。

非構造化データ戦略を具体的な目標にリンクすると、取り組みを絞り込みやすくなり、成果を測定できるようになります。また、どの非構造化データを優先的に収集・分析すべきか判断できます。

統合データ管理（UDM）プラットフォームでは、中央リポジトリ内のデータソースを統合・集約できます。プラットフォームで一貫性のあるデータフレームワークを設定することで、フォーマットにかかわらず、データのアクセス性、使用可能性、セキュリティを確保できます。データ管理フレームワークには、データの取り込み、メタデータのタグ付け、データレイクハウスやハイブリッドクラウド環境などの一元的なストレージソリューション向けのプロトコルを組み込むのが理想的です。

また、データフレームワークには、明確なデータガバナンスポリシーも組み込む必要があります。こうすることで、データ品質と規制へのコンプライアンスを維持できます。金融業界やヘルスケア業界では、特にこれが重要です。

Data 360は、データの出どころにかかわらず、Salesforceプラットフォームで構造化データと非構造化データを統合するプラットフォームです。Salesforceメタフレームワークと連携されているため、チームですでに使い慣れた標準のオブジェクトやフィールドにデータを変換できます。

インフォグラフィック「非構造化データを有効活用するための5つの成功戦略」で、product.dataが未活用の非構造化データをビジネス価値に変えるしくみをご覧ください。

その後、Data 360のデモ でビジネスプロセスがどのように合理化されるかご覧ください。Data 360では、PDF、音声ファイル、動画などの非構造化データに埋もれている重要な顧客コンテキストを引き出し、自律型のAIエージェントに直接供給できます。