Je hebt een enterprise LLM, en nu?
De meeste bedrijven bouwen geen eigen LLM. Daarom delen we de belangrijkste uitdagingen van kant-en-klare LLM’s en hoe je die aanpakt.
Key Takeaways
Grote bedrijven investeren op grote schaal in enterprise LLM’s. Waarom? Omdat LLM’s de basis vormen voor AI-tools die met klanten kunnen chatten, fraude kunnen detecteren, medische problemen kunnen diagnosticeren en nog veel meer.
Wil je uitleg over een product binnen een paar minuten vertalen in 10 verschillende talen en daarbij trouw blijven aan de stijl en tone of voice van je merk? Met een enterprise large language model (LLM) kan dat. Het sentiment van service-interacties met klanten in realtime peilen? Maak gebruik van een LLM. Wil je 500 pagina’s aan financiële data binnen enkele minuten analyseren en samenvatten? Een LLM doet het voor je.
Het is duidelijk dat LLM’s enorme potentie hebben. De durfkapitaalonderneming Andreessen Horowitz schreef zelfs dat “voorgetrainde AI-modellen de belangrijkste architecturale verandering in software vormen sinds de opkomst van het internet.”
Wat is een groot taalmodel?
Grote taalmodellen (LLM’s) zijn AI-systemen die menselijke antwoorden genereren op basis van natuurlijke taalinvoer (prompts). Dankzij training op enorme datasets beschikken ze over een breed en diepgaand kennisniveau. Hierdoor kunnen ze redeneren, verbanden leggen en conclusies trekken.
Enterprise LLM’s lijken een magische oplossing: ze stellen teams in staat om razendsnel enorme hoeveelheden bedrijfseigen en publieke data te verwerken tot strategische inzichten die leiden tot slimmere besluitvorming. Dat is het goede nieuws.
Het minder goede nieuws? Een LLM levert niet automatisch informatie die perfect aansluit op je specifieke behoeften en de tone of voice van je organisatie. De output is vaak te generiek om echt waardevol te zijn.
En dat is nog maar één van de vele uitdagingen waar teams tegenaan lopen bij de implementatie van een enterprise LLM. Welke uitdagingen zijn er nog meer, en hoe kun je ze tot een minimum beperken?
Wat zijn de uitdagingen bij een enterprise LLM?
Precisie en betrouwbaarheid
Een van de grootste zorgen rond generatieve AI en enterprise LLM’s is het garanderen dat de data, en dus ook de output van de AI, nauwkeurig en betrouwbaar is. Een van de mogelijkheden is ‘data grounding’. Door te gronden, geef je je prompt specifieke context mee. Dit zorgt voor een betere output omdat de LLM de antwoorden baseert op jouw bedrijfsspecifieke feiten en data.
Stel je voor: een verkoper vraagt de AI-assistent om een afspraak te plannen met Candace Customerman van Acme Corp. Maar het systeem mist cruciale context: wie Candace is, wat het doel van de meeting is, haar tijdzone, haar aankopen en haar eerdere service-ervaringen.
“In dit geval probeert AI maar te raden, wat hallucinaties en kwalitatief slechte resultaten kan opleveren die de verkoper handmatig moet aanpassen,” aldus David Egts, Field CTO of Public Sector bij Mulesoft. “Als je het daarentegen kunt baseren op praktische klantgegevens, biedt het echt meerwaarde.”
De context die Egts beschrijft, wordt mogelijk gemaakt door zogeheten Application Programming Interfaces (API’s). Deze verbinden verschillende softwaretoepassingen, zodat ze met elkaar kunnen communiceren en informatie kunnen uitwisselen. API-connectoren helpen AI-systemen om prompts te baseren op actuele en relevante data, zelfs buiten het CRM, zoals facturatie-, voorraad- en betalingsgegevens. Veel bedrijven, waaronder Salesforce en Mulesoft, bieden API’s aan.
“Zonder grounding mist een verkoopmail context en kan deze klanten zelfs aanmoedigen om producten te kopen die ze al hebben,” zegt Egts. “Als een e-mail slecht is afgestemd op de klant, kan dat ervoor zorgen dat klanten minder ontvankelijk worden voor je berichten. Ze doen er niets mee en openen de volgende e-mail mogelijk niet eens meer.”
Goede generatieve AI begint met goede prompts
De basisvragen die je aan LLM’s stelt, kunnen indrukwekkende maar onbruikbare antwoorden opleveren. Waarom? Omdat ze grounding missen; cruciale, relevante context. Hoe kun je je eigen betrouwbare AI-prompts maken?
Integratie
Een enterprise LLM kun je trainen op basis van duizenden datasets. Maar een uniform model weerspiegelt niet automatisch de stijl van je merk en bevat zeker niet je bedrijfseigen data. Daarom moet elk AI-project worden gebouwd op een solide databasis.
“Kant-en-klare LLM’s zijn niet getraind op de data van jouw bedrijf. Daarom moet je je prompts grounden en/of je model aanpassen,” zegt Egts. “Anders krijg je een algemeen en weinig bruikbaar antwoord.”
Neem dit voorbeeld. Een klant meldt dat een deel van zijn bestelling ontbreekt. Als data niet gekoppeld is, geeft het systeem een generiek antwoord: “Jan, het spijt ons dat een deel van je bestelling ontbrak. We gaan dit voor je oplossen. We kunnen een terugbetaling regelen of zo snel mogelijk een vervangend product toesturen.”
Wanneer een LLM wél over de juiste context beschikt en systemen met elkaar verbonden zijn, maakt het automatische antwoorden veel persoonlijker en prettiger voor de klant.
Beste Jan,
Onze excuses voor de onvolledige bestelling. Ik kan je twee opties aanbieden. Ik kan een terugbetaling van 12,37 euro regelen via je Visa-kaart die eindigt op 0123, of ik kan een vervangend product sturen voor de ontbrekende rode sokken. Omdat je lid bent van het loyaliteitsprogramma wordt het vervangende product als prioriteitslevering binnen 2-4 dagen geleverd.
Wat is het geheim hierachter? Integraties die je data en applicaties verbinden vanaf elk systeem, in de cloud of op locatie. In dit scenario werken CRM-, betalings- en logistieke systemen samen om een betere klantervaring te creëren.
“Je moet uitzoeken welke databronnen je moet benutten, hoe ze je als LLM-feed kunt gebruiken en hoe je een 360-graden klantoverzicht kunt creëren,” zegt Egts. Als de uitdagingen van systeemintegratie niet worden aangepakt, vertrouwt je AI op generieke data. Dat komt je bedrijf en je klanten niet ten goede.
Betrouwbare AI begint met een technologische Trust Layer
Met een Trust Layer kan je team profiteren van generatieve AI zonder klantgegevens in gevaar te brengen. Ontdek hoe de Einstein Trust Layer beveiligingsmaatregelen biedt die je data beschermen, van datamaskering tot toxiciteitsdetectie.
Databeveiliging en privacy
Databeveiliging staat al lange tijd bovenaan op de prioriteitenlijst van bedrijven. Onderzoek van Salesforce toont aan dat generatieve AI het extra risico met zich meebrengt dat de eigen bedrijfsdata weglekt naar openbare grote taalmodellen. Wanneer je bedrijfsinformatie aan een LLM verstrekt, kun je onbedoeld ook gevoelige klant- en bedrijfsgegevens delen die vervolgens kunnen worden gebruikt om het model verder te trainen.
De oplossing? Als je op zoek bent naar een enterprise LLM, zorg er dan voor dat het data veilig ophaalt en anonimiseert, zonder dataretentie. Hieronder leggen we uit wat deze termen betekenen.
Wanneer je data veilig ophaalt, handhaaf je bij elke interactie beleidsregels en machtigingen. Alleen geautoriseerde gebruikers krijgen toegang. Zo verzamel je de informatie voor contextuele prompts, zonder dat het LLM deze opslaat.
Daarnaast anonimiseer je met data-anonimisering automatisch gevoelige informatie. Zo bescherm je privacy en voldoe je aan beveiligingseisen. Dit is belangrijk om privacygevoelige gegevens, zoals namen, telefoonnummers en adressen, te verwijderen bij het opstellen van AI-prompts.
Je moet er ook voor zorgen dat er geen klantgegevens buiten je systemen worden opgeslagen. Bij data-anonimisering worden generatieve AI-prompts en -output nooit opgeslagen in het enterprise LLM en worden ze niet door het LLM geleerd. Ze verdwijnen gewoon.
Ga vandaag aan de slag met je LLM
Een enterprise LLM, gebaseerd op de eigen data van je organisatie, kan uitgroeien tot een krachtige tool om klanten beter te bedienen, verborgen inzichten te ontdekken en met ongekende efficiëntie te opereren en nog veel meer.
Gelukkig zijn er tools en technieken die je helpen om de veelvoorkomende uitdagingen aan te pakken die je aan het begin van je enterprise LLM-traject kunt tegenkomen.
