Handleiding voor zero copy

Weet je nog wat er allemaal bij een verhuizing komt kijken? Alles inpakken, in een vrachtwagen laden en uitpakken op de nieuwe locatie, in de hoop dat alles heel aankomt. Stel je voor dat je al je meubels en spullen gewoon kon teleporteren naar je nieuwe woning, in perfecte staat. In de echte wereld is dat (nog) niet mogelijk, maar met zero copy-integratie kun je data integreren zonder die daadwerkelijk te verplaatsen.

Met zero copy deel je data tussen twee of meer dataopslag-omgevingen zonder die te dupliceren of te verplaatsen. Goed nieuws voor bedrijven die data opslaan in een cloud data warehouse zoals Snowflake of Google BigQuery. Sommige organisaties zijn terughoudend met het invoeren van een customer data platform (CDP) omdat ze geen data willen dupliceren. Met zero copy-integratie profiteer je van alle voordelen van een CDP, zoals dataharmonisatie, identiteitsbeheer, ingebouwde analyses en activering, zonder dat data fysiek hoeft te worden verplaatst.

Lees hier alles over zero copy-integratie, hoe het verschilt van andere methoden voor dataoverdracht en hoe je ermee aan de slag gaat.

Zero copy is een integratietechnologie waarmee je data uit meerdere bronnen combineert op één centrale locatie, zonder de data te dupliceren of fysiek te verplaatsen. Met zero copy heb je toegang tot data uit meerdere databases zonder iets te hoeven verplaatsen, kopiëren of herformatteren. Zero copy maakt toegang sneller en eenvoudiger, en beperkt bovendien de kosten en het risico op fouten die kunnen ontstaan bij het verplaatsen of aanpassen van data.

Met zero copy kan een centraal platform koppelingen maken met andere opslaglocaties (databronnen). Lees hier hoe je paden kunt instellen om data te delen.

Datafederatie is het proces waarbij je data vanuit externe dataplatforms naar je centrale opslagplaats brengt. Zodra je data federeert, analyseer je alles op één plek. Om te beginnen maak je koppelingen met je externe dataplatforms en definieer je je datastromen.

1. Maak koppelingen. Om te beginnen met zero copy, stel je externe integraties in. Daarvoor heb je toegang nodig tot het externe systeem of de externe systemen.
2. Maak datastromen. Datastromen zijn continue stromen van bijna-realtime data vanuit je externe dataplatforms naar je integratieplatform. Wanneer je een databron selecteert, maak je een koppeling met die specifieke databron om de gewenste databases en schema's te identificeren. Tijdens dit proces kies je welke specifieke datavelden je naar je interne systeem wilt halen. Een hotelketen kan bijvoorbeeld gastgegevens importeren en die informatie gebruiken om aanbevelingen te doen die de gastloyaliteit verhogen.
3. Definieer datastromen. Na het selecteren van je externe objecten bepaal je of je een live query uitvoert met je datastroom of dat je de data liever cachet. Met live queries haal je elke keer de meest actuele informatie op wanneer je een query uitvoert, wat je opslagkosten kan verlagen. Met cache importeer je alleen de nieuwe en gewijzigde records. Dit is handig voor datasets die vaak worden geraadpleegd, maar zelden veranderen.

Met Data Sharing (data out) deel je gegevens vanuit je centrale dataopslagplaats met externe dataplatforms. Zo kun je je interne gegevens bekijken in externe systemen, waar ze als tabellen of weergaven worden gepresenteerd. Je kunt niet alleen gegevens uit je interne centrale opslagplaats delen, maar ook alle data-inzichten die daarin zijn gegenereerd. Zo deel je gegevens met zero copy.

1. Maak een data 'share' aan en voeg objecten toe. Bepaal eerst welke gegevens (of data-objecten) je vanuit je centrale opslagplaats wilt delen. Je kunt er bijvoorbeeld voor kiezen om je hotelboekings- en reserveringsgegevens te delen met Snowflake, zodat externe partners er toegang toe hebben.
2. Maak een share target aan. Dit is de bestemming waarnaar je gegevens vanuit je opslagplaats wilt sturen. Om gegevens met meerdere bronnen te delen, moet je doorgaans meerdere share targets aanmaken.
3. Koppel je data share aan je share target. Zodra je zowel de data share als het share target hebt aangemaakt, koppel je de twee aan elkaar. Via deze koppeling maak je een virtuele database of tabel aan waar alle informatie wordt gedeeld tussen je centrale opslagplaats en, in ons voorbeeld, Snowflake.
4. Toegang tot gegevens in het externe systeem. Zodra je gegevens zijn verbonden met het externe systeem, zijn ze daar direct toegankelijk.

Zero copy biedt je organisatie belangrijke voordelen ten opzichte van traditionele methoden.

Data governance met zero copy vereenvoudigt het proces en verkleint het risico op synchronisatieproblemen tussen meerdere bronnen, wat helpt om de integriteit van de brongegevens te bewaren. Het vereenvoudigde proces helpt je databeveiliging op peil te houden en onbevoegde toegang te beperken.

Zero copy verlaagt de opslagkosten doordat het duplicatie van data voorkomt. Je hebt bijna-realtime toegang tot data vanaf de plek waar die data zich bevindt, zonder extra investeringen in opslagruimte.

Met zero copy heb je toegang tot data uit een breed scala aan databronnen en -pools, zonder dat je die data hoeft te transformeren, te dupliceren of te kopiëren. Traditionele methoden voor dataoverdracht vereisen doorgaans ETL-pipelines, die zowel kwetsbaar als duur in onderhoud kunnen zijn. Zero-copy-integratie geeft je teams bijna-realtime toegang tot data, precies daar waar die zich bevindt.

Omdat je data bijna-realtime kunt raadplegen, zie je wijzigingen direct terug zodra de data op de oorspronkelijke locatie wordt bijgewerkt. Wanneer je data kopieert of dupliceert, ontstaan er meerdere versies, en als iemand één kopie aanpast, moeten alle andere versies apart worden bijgewerkt. Zero copy-integratie elimineert dit probleem.

Met zero copy-integratie deel je inzichten uit je data lake of lakehouse eenvoudig met partnersystemen. Gebruik je jouw centraal platform om klantgedrag te analyseren, dan kun je die analyse direct delen met andere gekoppelde platformen. Met de centrale datarepository kan je teams bevindingen direct inzien, zonder dat er data gedupliceerd of gekopieerd hoeft te worden.

Agentische AI wordt een steeds belangrijker onderdeel van digitaal werk en data is de brandstof hiervoor. Met zero copy integreer je alle soorten data: gestructureerde data (adressen, verkoopquota), ongestructureerde data (pdf’s, gespreksverslagen, video’s, e-mails, enzovoort) en semi-gestructureerde data (JSON, XML). Deze geïntegreerde data vormt de basis waarop agentische AI of generatieve AI actie kan ondernemen en waardevolle inzichten kan bieden die zorgen voor verbeteringen binnen je organisatie.

Gegevens van de ene opslaglocatie naar de andere verplaatsen is een gangbare praktijk. Vaak gaat dit gepaard met een vorm van datatransformatie, zoals extract-transform-load (ETL) of extract-load-transform (ELT). Maar gegevensoverdracht kent ook uitdagingen, en sommige organisaties vermijden het dan ook. Zero copy vermindert een aantal van deze uitdagingen, waardoor het eenvoudiger wordt om bijvoorbeeld gecentraliseerde systemen te gebruiken, zoals customer data platforms.

Zero copy-integratie is inzetbaar voor uiteenlopende projecten en sectoren. Hieronder vind je een aantal voorbeelden.

Werk je bij een bedrijf in de maakindustrie, e-commerce of retail? Dan gebruik je zero copy-integratie om supply chain- en voorraadgegevens samen te brengen op één centrale plek. Zo volg je wijzigingen in voorraadniveaus of productieprocessen en neem je betere beslissingen over levertijden en operationele kosten.

Door klantgegevens van web, mobiel, fysieke winkels en andere kanalen samen te brengen op één centrale plek, bouw je sterke inzichten op en creëer je geïntegreerde klantprofielen. Gecentraliseerde data in een CDP helpt je marketingteams vervolgens effectieve marketingcampagnes op te zetten om de juiste klanten te bereiken.

Zero copy-integratie helpt je verdachte activiteiten op te sporen. Werk je bijvoorbeeld voor een financiële instelling? Dan combineer en analyseer je financiële transacties uit verschillende systemen in één omgeving. Zo herken je patronen en potentieel frauduleuze activiteiten.

Zorgorganisaties kunnen completere patiëntprofielen samenstellen door klinische teams toegang te geven tot patiëntgegevens uit elektronische patiëntendossiers (EPD's), labsystemen en wearables.