Leitfaden zu heterogenen Daten

Ein aktueller Forschungsbericht zeigt, dass weniger als die Hälfte (49 %) der Führungskräfte zuverlässig verwertbare Erkenntnisse aus ihren Daten gewinnen kann. Eine erhebliche Wachstumschance bleibt damit ungenutzt.

Ein Problem, mit dem viele Unternehmen zu kämpfen haben, sind heterogene Daten. Selbst wenn die zugrundeliegenden Daten korrekt sind, können heterogene Daten verhindern, dass Sie einen einheitlichen Blick auf die Abläufe in Ihrem Unternehmen oder auf Ihre Kundschaft erhalten, und erschweren so fundierte Datenanalysen und KI-gestützte Erkenntnisse.

Heterogene Daten sind Daten, die in verschiedenen Systemen, Datenbanken oder an verschiedenen Orten vorliegen, die nicht miteinander verbunden sind oder kommunizieren. So können beispielsweise Transaktionsdaten Teil eines ERP-Systems sein, während Kundendaten in einem Customer Data Platform (CDP) gespeichert sind. Ein weiteres Beispiel: Die Daten Ihrer Lieferanten befinden sich in deren Systemen, während die Daten Ihres Unternehmens innerhalb Ihrer eigenen „Unternehmensgrenzen“ verwaltet werden. Daten, die über inkompatible Systeme verstreut sind, weisen häufig unterschiedliche Strukturen, Schemata und Qualitätsstandards auf, was eine einheitliche Auswertung erheblich erschwert.

Datenheterogenität kann Unternehmen vor Herausforderungen stellen, wenn sie eine einheitliche Sicht auf ihre Abläufe, Kundschaft, Patienten und Stakeholder gewinnen wollen. Im Folgenden erfahren Sie, welche Unternehmensbereiche und Fähigkeiten durch heterogene Daten beeinträchtigt werden können.

• Zeit und Aufwand: Haben Sie schon einmal gemessen, wie viel Zeit Ihr Unternehmen damit verbringt, die richtigen Daten zu finden oder doppelte Daten in isolierten Systemen zu bereinigen und abzugleichen? Diese Zeit ließe sich wesentlich produktiver und innovativer einsetzen, um Abläufe zu verbessern und Prozesse zu optimieren.
• Kosten: Daten, die auf verschiedene Systeme verteilt sind, verursachen höhere Wartungskosten. Zu den anfänglichen Investitionskosten kommen laufende Betriebskosten hinzu.
• Fehler: Der Datenabgleich erfolgt häufig manuell. Dieses fehleranfällige Vorgehen kann letztlich das Vertrauen in Ihre Daten untergraben.

• Qualität: Wenn Daten auf verschiedene Systeme verteilt sind, lassen sich Duplikate kaum vermeiden. In diesem Fall ist unklar, welchem System Sie vertrauen können. Ihre Entscheidungen könnten auf ungenauen oder veralteten Daten basieren.
• Geschwindigkeit: Die Deduplizierung und Bereinigung doppelter Daten ist zeitaufwendig und verlangsamt Ihre strategischen Entscheidungsprozesse.
• Verpasste Marktchancen: Agile Unternehmen treffen datenbasierte Entscheidungen und handeln schnell. Wer da nicht mithalten kann, riskiert, wichtige Wachstumschancen zu verpassen.

• Training und Fehler: Studien zeigen, dass 56 % der technischen Führungskräfte Ressourcen verschwendet haben, weil KI mit schlechten Daten trainiert wurde. Damit KI zuverlässige Vorhersagen treffen und die richtigen Maßnahmen ergreifen kann, braucht sie große Mengen sauberer, einheitlich formatierter und integrierter Daten. Inkonsistente Datenformate führen zu Trainingsfehlern und verzerrten Vorhersagen, während Duplikate und Widersprüche Rauschen erzeugen, das die Leistung von KI-Modellen beeinträchtigt.
• KI-Erkenntnisse und agentische KI-Aktionen: Wenn Daten über inkompatible Systeme mit unterschiedlichen Strukturen, Schemata und Standards verteilt sind, erhalten KI-Modelle nicht das vollständige Bild, das sie für umfassende Erkenntnisse benötigen. Und agentische KI verhält sich dann nicht wie erwartet.
• Zeit und Kosten: Der zeitaufwendige manuelle Aufwand zur Harmonisierung heterogener Daten kann Ihre KI-Implementierung erheblich verzögern und die Kosten in die Höhe treiben.

• Kundenbedürfnisse und -verhalten: Wenn Ihre Kundendaten in isolierten Systemen liegen, fällt es schwer, einen 360-Grad-Blick auf die Bedürfnisse Ihrer Kundschaft zu gewinnen. Beispielsweise wird die Verkaufshistorie aus dem ERP-System nicht mit den Servicedaten aus den Support-Protokollen oder dem Web-Verhalten der Kundschaft zusammengeführt. Das Bild, das Sie von diesem Kunden haben, beschränkt sich jeweils auf das einzelne System, das Sie gerade betrachten. So lassen sich Präferenzen und Verhaltensweisen kaum erkennen, und Produkte oder Dienstleistungen lassen sich kaum passgenau auf ihre Bedürfnisse zuschneiden.
• Kundenerlebnis: Heute erwartet die Kundschaft von ihren Lieblingsmarken, dass diese ihre Vorlieben kennen und ihr personalisierte Erlebnisse bietet. Ein Kunde, der bei einem Autohaus anruft, geht beispielsweise davon aus, dass der Händler seine Kauf- und Servicehistorie kennt. Sind die Kundendaten jedoch über verschiedene Systeme verstreut, erhält der Händler nur einen lückenhaften Überblick über frühere Interaktionen, was die Erwartungen der Kundschaft enttäuschen kann.

Heterogene Daten können Integrationsprozesse erschweren, technische Schulden aufbauen und zu Datenkonsistenzproblemen führen.

Isolierte Systeme sind häufig Legacy-Systeme, die vor Jahrzehnten mit veralteten Technologien und proprietären Formaten entwickelt wurden. Diese Systeme wurden nicht für die Kommunikation miteinander konzipiert und verfügen oft über keine APIs für den Datenaustausch. Außerdem speichern sie Daten häufig in veralteten Datenbanken oder Flat Files und nutzen proprietäre Programmiersprachen, die Fachkräfte mit speziellem Know-how erfordern.

Die Pflege dieser isolierten Systeme ist nicht nur technisch anspruchsvoll, sondern auch kostspielig. IT-Fachkräfte, die mit alten Programmiersprachen wie COBOL vertraut sind, sind schwer zu finden und teuer in der Einstellung. Hinzu kommen laufende Lizenz- und Supportkosten der Softwareanbieter.

Wenn verschiedene Systeme dieselben Daten speichern, kann das zu Konsistenzproblemen führen. So könnte ein System einen „aktiven Kunden“ als jemanden definieren, der in den letzten 90 Tagen einen Kauf getätigt hat, während ein anderes System einen Schwellenwert von 365 Tagen verwendet. Widersprüchliche Definitionen und Validierungsregeln erzeugen Inkonsistenzen beim Zusammenführen von Daten und sorgen für Verwirrung darüber, welche Version der Wahrheit korrekt ist.

Wenn die isolierten Systeme, in denen Ihre Daten gespeichert sind, Legacy-Systeme sind, haben sie höchstwahrscheinlich Skalierbarkeitsprobleme. Diese Systeme sind nicht in der Lage, das stetig wachsende Datenvolumen oder die heutigen Verarbeitungsanforderungen problemlos zu bewältigen, ohne dass es zu Performance-Einbußen oder vollständigen Ausfällen kommt. Ihre starre Architektur lässt beispielsweise keine einfache Erweiterung um zusätzliche Server zu, sodass Sie entweder die schlechte Performance in Kauf nehmen oder in teure Hardware-Upgrades investieren müssen.

Einheitliche Data-Governance-Richtlinien über mehrere Systeme hinweg aufrechtzuerhalten ist komplex. Jedes System kann unterschiedliche Sicherheitskontrollen, Datenaufbewahrungsregeln und Zugriffsberechtigungen haben, die Sie manuell synchronisieren müssen, wenn Sie unternehmensweite Governance-Richtlinien einführen möchten.

Datenredundanz erhöht zudem die Sicherheitsrisiken. Mehrere Systeme schaffen mehr potenzielle Angriffsflächen und erhöhen die Wahrscheinlichkeit von Sicherheitsverletzungen, da veraltete Sicherheitsprotokolle im Einsatz sein können.

Sobald Ihr Unternehmen beschlossen hat, heterogene Daten zu vereinheitlichen, stehen mehrere Technologieoptionen zur Auswahl. Die richtige Wahl hängt von der gewünschten Zielarchitektur, den Kosten, der Implementierungsdauer und den verfügbaren Ressourcen ab.

Integrationsplattformen können eine Verbindung zu heterogenen Datenquellen herstellen, Daten aufnehmen, in ein einheitliches Format transformieren und an Zielorte wie Geschäftsanwendungen oder Werbeplattformen übermitteln. Einige Integrationsplattformen verfügen über vorgefertigte Konnektoren, mit denen Sie einheitliche Ansichten Ihrer Daten erstellen können, ohne eigene APIs oder Code zu entwickeln.

Zero Copy ist eine Technik, mit der Sie auf Daten an ihrem ursprünglichen Speicherort zugreifen können, ohne sie zu verschieben oder zu duplizieren. Die wichtigsten Vorteile dieses Ansatzes: Er eliminiert die Kosten für das Verschieben von Daten und kann die Effizienz erheblich steigern.

Extract, Transform, Load (ETL) und Extract, Load, Transform (ELT) sind Prozesse, die Daten aus Quellsystemen entnehmen und in ein Zielsystem überführen. Der Unterschied liegt im Zeitpunkt des Aufbereitungs- und Validierungsschritts: Beim ETL-Prozess erfolgt dieser vor dem Laden, während ELT die Deduplizierung der Daten erst nach dem Laden im Zielsystem vornimmt.

Master Data Management (MDM) erstellt und pflegt eine einzige verlässliche Datenquelle für Entitäten wie Kundschaft, Produkte und Mitarbeitende. MDM beseitigt Duplikate und löst Datenkonflikte auf, sodass alle in Ihrem Unternehmen jederzeit Zugriff auf die aktuellsten und saubersten Daten haben.

Cloud-Lösungen können Probleme mit heterogenen Daten reduzieren, aber nicht vollständig beseitigen. Heterogene Daten einfach in die Cloud zu verlagern, löst weder Unterschiede in Datenformaten noch schafft es eine einheitliche Datenarchitektur – hier kommt Ihre Datenstrategie ins Spiel.

So hilft die Cloud:

• Cloud-Plattformen können Daten aus verschiedenen Quellen in Data Lakes, Data Warehouses oder Datenplattformen zusammenführen. Moderne Data-Cloud-Plattformen verfügen über APIs oder Konnektoren, die den Datenaustausch erleichtern.
• Cloud-Plattformen skalieren mit Ihrem Datenvolumen, ohne die Einschränkungen isolierter Legacy-Systeme.
• Viele Cloud-Plattformen bieten integrierte Sicherheits- und Compliance-Ebenen, sodass Sie diese Lösungen nicht separat beschaffen müssen.

Bevor Sie damit beginnen, isolierte Datensysteme zu beseitigen, sollten Sie sich einen Überblick über die verfügbaren Ressourcen und deren Kompetenzen verschaffen. Nachfolgend finden Sie eine kurze Übersicht der häufig benötigten Fähigkeiten.

• Datenstrategie und IT-Architektur: Für die Gestaltung des Zielzustands sind fundierte Kenntnisse in der Datenarchitektur unerlässlich. Datenarchitektur-Teams können den künftigen Zustand entwerfen, Lücken in Ihren Technologien identifizieren und in enger Zusammenarbeit mit der IT-Leitung Empfehlungen zur Infrastruktur geben.
• Technische Entwicklung: Je nachdem, für welche Integrationsplattform(en) und Technologien Sie sich entscheiden, benötigen Sie möglicherweise Kenntnisse in ELT- oder ETL-Entwicklung, MDM, Cloud-Plattformen und APIs.
• Projektmanagement: Die Konsolidierung isolierter Datensysteme kann komplex sein. Ihre Projektleitung muss alle Beteiligten einbinden, das Projekt im Zeitplan halten und die Erwartungen realistisch steuern.
• Change Management: Starten Sie Change-Management-Maßnahmen frühzeitig, und informieren Sie alle Beteiligten und Mitarbeitenden darüber, was sie erwartet und wie die Datenintegration ihre Arbeitsabläufe verändern wird. Planen Sie Schulungen weit über die Implementierungsphase hinaus ein, bis die angestrebte Akzeptanz im Unternehmen erreicht ist.

Unternehmensdaten bieten enormes Potenzial, aber nur, wenn sie vereinheitlicht sind.

Data 360 verbindet sich direkt mit Plattformen wie Snowflake und Databricks, um Ihre heterogenen Daten zu vereinheitlichen und Agentforce eine solide Datenbasis zu geben. Erfahren Sie mehr über Data 360, die weltweit vertrauenswürdigste Datenplattform.