Gids voor gefragmenteerde data

Uit een recent onderzoeksrapport blijkt dat minder dan de helft (49%) van de zakelijke besluitvormers betrouwbaar data-inzichten kan genereren. En dat is een gemiste kans op groei.

Gefragmenteerde data zijn een uitdaging waar veel organisaties mee worstelen. Zelfs als de onderliggende data correct zijn, kun je bij gefragmenteerde gegevens geen geïntegreerd beeld krijgen van je bedrijfsactiviteiten of klanten. Ook loop je de juiste data-analyses of AI-inzichten mis.

Gefragmenteerde data zijn gegevens die verspreid staan over verschillende systemen, databases of locaties die niet met elkaar zijn verbonden of communiceren. Zo kunnen transactiedata onderdeel zijn van een ERP-systeem, terwijl klantgegevens worden opgeslagen in een Customer Data Platform (CDP). Een ander voorbeeld: de data van je leveranciers staan in hun eigen systemen, terwijl de data van jouw bedrijf zich binnen de ‘muren’ van je organisatie bevinden. Data die verspreid staan over incompatibele systemen, hebben vaak verschillende structuren, schema’s en kwaliteitsstandaarden. Dat bemoeilijkt het samenvoegen en analyseren.

Datafragmentatie kan een uitdaging vormen voor organisaties die een geïntegreerd beeld willen van hun activiteiten, klanten, patiënten en stakeholders. Hieronder vind je een overzicht van de bedrijfsfuncties en -mogelijkheden die door gefragmenteerde data kunnen worden beïnvloed.

• Tijd en inspanning: Heb je ooit gemeten hoeveel tijd je organisatie kwijt is aan het zoeken naar de juiste data, of aan het opschonen en samenvoegen van dubbele data in gescheiden systemen? Die tijd kun je veel productiever en innovatiever inzetten, bijvoorbeeld aan de verbetering van je processen.
• Kosten: Data die verspreid staan over gefragmenteerde systemen, zijn duurder om te beheren. Naast de initiële investeringskosten maak je doorlopend onderhoudskosten.
• Fouten: Het samenvoegen van data is vaak een handmatig proces. Dat is foutgevoelig en tast uiteindelijk het vertrouwen in je data aan.

• Kwaliteit: Als data verspreid staan over verschillende systemen, is duplicatie vrijwel onvermijdelijk. Dan weet je niet meer op welk systeem je kunt vertrouwen. Je beslissingen kunnen dan gebaseerd zijn op onjuiste of verouderde data.
• Snelheid: Het opsporen en verwijderen van dubbele data kost veel tijd en vertraagt je strategische besluitvorming.
• Gemiste marktkansen: Wendbare organisaties nemen datagedreven beslissingen en handelen snel. Als je hun tempo niet bijhoudt, loop je mogelijk zakelijke groeikansen mis.

• Training en fouten: Uit onderzoek blijkt dat 56% van de technische leiders resources heeft verspild aan het trainen van AI op slechte data. De effectiviteit van AI hangt af van grote hoeveelheden schone, consistent opgemaakte en geïntegreerde data voor betrouwbare voorspellingen en de juiste acties. Inconsistente data-indelingen leiden tot trainingsfouten en bevooroordeelde voorspellingen, terwijl duplicaten en tegenstrijdigheden ruis veroorzaken die de prestaties van AI-modellen verslechteren.
• AI-inzichten en agentische AI-acties: Als data verspreid staan over incompatibele systemen met verschillende structuren, schema’s en standaarden, hebben AI-modellen geen toegang tot het volledige beeld dat nodig is voor uitgebreide inzichten. En agentische AI zal dan niet de verwachte acties uitvoeren.
• Tijd en kosten: Het tijdrovende handmatige werk om gefragmenteerde data te harmoniseren, kan je AI-implementatie aanzienlijk vertragen en de kosten verhogen.

• Behoeften en gedrag van klanten: Als klantdata verspreid zijn over gefragmenteerde bronnen, is het lastig om een compleet beeld te krijgen van wat je klanten nodig hebben. Zo wordt de verkoopgeschiedenis uit het ERP-platform bijvoorbeeld niet gecombineerd met servicedata uit de logs van de klant of met hun webactiviteit. Het beeld dat je van een klant hebt, is daardoor beperkt tot het ene systeem dat je raadpleegt. Je organisatie kan de voorkeuren en het gedrag van de klant niet goed inschatten en is niet in staat producten of diensten op maat aan te bieden.
• Klantervaring: Klanten rekenen er tegenwoordig op dat hun favoriete merken hun voorkeuren kennen en ze een persoonlijke ervaring bieden. Een klant die een autodealer belt, verwacht bijvoorbeeld dat de dealer zijn aankoop- en onderhoudsgeschiedenis bij de hand heeft. Maar gefragmenteerde klantdata verspreid over meerdere systemen geven de dealer slechts een beperkt beeld van eerdere interacties. En dat kan de klant teleurstellen.

Gefragmenteerde data kunnen integratieproblemen veroorzaken, je technische schulden vergroten en problemen met dataconsistentie in de hand werken.

Gefragmenteerde systemen zijn vaak verouderde oplossingen die tientallen jaren geleden zijn gebouwd met achterhaalde technologieën en bedrijfseigen indelingen. Deze systemen zijn niet ontworpen om met elkaar te communiceren en hebben vaak geen API's voor gegevensuitwisseling. Ze slaan gegevens mogelijk op in verouderde databases of platte bestanden en maken vaak gebruik van unieke programmeertalen waarvoor technische experts nodig zijn.

Het onderhoud van deze gefragmenteerde systemen is niet alleen technisch complex, het is ook kostbaar. IT-professionals die bekend zijn met oude programmeertalen zoals COBOL zijn moeilijk te vinden. Ook hangt er een flink prijskaartje aan. Daar komen dan ook nog de doorlopende licentie- en ondersteuningskosten van de softwareleveranciers bij.

Wanneer verschillende systemen dezelfde gegevens opslaan, kunnen er consistentieproblemen ontstaan. Zo kan het ene systeem ‘actieve klant’ definiëren als iemand die de afgelopen 90 dagen iets heeft gekocht, terwijl een ander systeem een drempel van 365 dagen hanteert. Conflicterende definities en validatieregels leiden tot inconsistenties bij het samenvoegen van gegevens en onduidelijkheid over welke versie correct is.

Als de gefragmenteerde systemen die je data opslaan verouderd zijn, hebben ze hoogstwaarschijnlijk schaalbaarheidsproblemen. Deze systemen kunnen de steeds grotere datavolumes of de verwerkingseisen van vandaag niet goed aan. Dat leidt tot prestatieproblemen of volledige storingen. Door hun starre architectuur is het bijvoorbeeld niet mogelijk om eenvoudig extra servers toe te voegen, waardoor je moet kiezen tussen trage prestaties of dure hardware-upgrades.

Het handhaven van consistent beleid voor data governance over meerdere systemen is complex. Elk systeem kan andere beveiligingsmaatregelen, regels voor data-opslag en toegangsrechten hebben die je handmatig moet synchroniseren als je organisatiebreed governance-beleid wilt doorvoeren.

Dataredundantie vergroot ook de beveiligingsrisico's. Meerdere systemen creëren meer potentiële doelwitten voor aanvallen en verhogen de kans op datalekken door mogelijk verouderde beveiligingsprotocollen.

Zodra je organisatie besluit dat het tijd is om verspreide data samen te brengen, zijn er verschillende technologische opties om te overwegen. Welke je kiest, hangt af van de gewenste toekomstige architectuur, kosten, implementatieduur en beschikbare resources.

Integratieplatforms kunnen verbinding maken met verspreide databronnen, data opnemen, omzetten in een consistente indeling en afleveren bij doelsystemen zoals zakelijke applicaties of advertentieplatforms. Sommige integratieplatforms beschikken over kant-en-klare connectors, zodat je een geïntegreerde weergave van je data opbouwt zonder eigen API's of code.

Zero copy is een techniek waarmee je data op de oorspronkelijke locatie kunt raadplegen zonder deze te verplaatsen of dupliceren. De belangrijkste voordelen zijn dat de kosten van het verplaatsen van data wegvallen en dat je de efficiëntie flink boost.

Extractie, Transformatie, Laden (ETL) en Extractie, Laden, Transformatie (ELT) zijn processen die data uit bronsystemen ophalen en naar een doelsysteem brengen. Het verschil zit in het moment waarop de voorbereidings- en validatiestap plaatsvindt. Bij ETL gebeurt dit vóór het laden, terwijl ELT de deduplicatie uitvoert nadat de data in het doelsysteem zijn geladen.

Met beheer van mastergegevens (MDM) creëer en beheer je een enkele informatiebron voor data-entiteiten, zoals klanten, producten en medewerkers. MDM elimineert duplicaten en lost dataconflicten op, zodat iedereen in je organisatie altijd toegang heeft tot de meest actuele en betrouwbare data.

Cloudoplossingen kunnen problemen met gefragmenteerde data verminderen, maar niet volledig oplossen. Door gefragmenteerde data simpelweg naar de cloud te verplaatsen, verdwijnen de verschillende gegevensindelingen niet vanzelf en krijg je ook geen uniforme data-architectuur. Dat is precies waar jouw datastrategie het verschil maakt.

Dit zijn de voordelen van de cloud:

• Cloudplatforms kunnen data uit meerdere bronnen samenvoegen in data lakes, datawarehouses of dataplatforms. Moderne datacloudplatforms bieden API's of connectors waarmee je data eenvoudig kunt delen.
• Cloudplatforms schalen mee met de groei van je datavolume, zonder de beperkingen van gefragmenteerde, verouderde systemen.
• Veel cloudplatforms hebben ingebouwde beveiligings- en compliancelagen, zodat je deze oplossingen niet apart hoeft te zoeken.

Breng eerst de beschikbare resources en hun vaardigheden in kaart voordat je gefragmenteerde datasystemen aanpakt. Hieronder vind je een kort overzicht van de meest gevraagde vaardigheden.

• Datastrategie en IT-architectuur: Voor het inrichten van je toekomstige situatie heb je allereerst data-architectuurvaardigheden op een hoog niveau nodig. Een data-architect kan je toekomstige systemen vormgeven, hiaten in je technologieën vinden en aanbevelingen voor de infrastructuur doen in samenwerking met IT-management.
• Technische ontwikkeling: Afhankelijk van de integratieplatformen en technologieën die je kiest, heb je mogelijk kennis nodig van ELT- of ETL-ontwikkeling, MDM, cloudplatforms en API's.
• Projectmanagement: Het samenvoegen van verspreide datasystemen kan complex zijn. Je projectmanagers moeten goed communiceren met alle betrokkenen, het project op koers houden en de verwachtingen in goede banen leiden.
• Changemanagement: Begin vroeg met changemanagement door betrokkenen en medewerkers te informeren over wat ze kunnen verwachten en hoe data-integratie hun werkprocessen verandert. Overweeg om training aan te bieden tot ruim na de implementatie, totdat je de doelen voor organisatiebrede adoptie bereikt.

Bedrijfsdata hebben enorm veel potentie, maar alleen als je deze met elkaar verbindt.

Data 360 maakt rechtstreeks verbinding met platforms zoals Snowflake en Databricks om je gefragmenteerde data samen te brengen en Agentforce te verankeren. Lees meer over Data 360, het meest vertrouwde dataplatform ter wereld.