Een pilot voor agentic AI opstarten in tien stappen

Een pilot is ideaal om in een gecontroleerde omgeving te ontdekken wat de mogelijkheden van AI-agents zijn. Je kunt een agent ontwikkelen, testen en eventuele problemen verhelpen voordat je ‘m daadwerkelijk uitrolt. Het is dan wel zaak dat je zo’n pilot goed aanpakt. Volgens sommige schattingen mislukt meer dan 80% van de AI-projecten en dat is twee keer zoveel als het percentage bij techprojecten zonder kunstmatige intelligentie (AI). (Lees ons recente artikel waarin we uitleggen waarom zoveel pilots voor agentic AI mislukken voor tips om de pilot op koers te houden.)

Goede pilots worden ontwikkeld volgens een solide plan waarin staat hoe ze moeten worden ontworpen, uitgevoerd en opgeschaald. Maar dat hoef je niet allemaal zelf te bedenken. Bekijk hieronder ons tienstappenplan en krijg hulp en inzichten van bedrijven die het traject al hebben gevolgd, zoals Big Brothers Big Sisters of America, Engine en Salesforce.

1. Vind de juiste use case

Travis Gibson is chief technology officer bij Big Brothers Big Sisters of America (BBBSA). Zijn belangrijkste advies voor bedrijven die een pilot willen lanceren: “Begin met het probleem, niet met de technologie.” 

BBBSA wist precies waar de uitdaging zat. Al meer dan honderd jaar koppelt de non-profitorganisatie volwassenen (‘Bigs’) aan jonge mensen (‘Littles’) voor een mentorrelatie die beide ten goede komt. Ongeveer 135.000 kinderen hebben momenteel een Big, maar BBBSA heeft nog een wachtlijst van 30.000 Littles. 

Voorheen hadden matchingspecialisten zes tot acht weken nodig voor het bekijken van alle informatie over Bigs en Littles (zoals gemeenschappelijke interesses en achtergronden) om een match te maken. Gibson en zijn team realiseerden zich dat een AI-agent dit sneller kon doen. Daarom ontwikkelde BBBSA er een met Agentforce, het Salesforce-platform voor het bouwen van AI-agents.  

Het team maakte de agent in november en gaf in maart vijftien bureaus de gelegenheid om er een pilot mee uit te voeren. De agent analyseert de data en stelt acht tot tien potentiële matches voor elk kind voor, samen met een uitleg waarom elke match zou kunnen werken. Menselijke specialisten beoordelen de aanbevelingen vervolgens en nemen dan de uiteindelijke beslissing.   

2. Vraag je af of agentic AI de juiste keuze is

Als je eenmaal weet welk probleem je wilt oplossen, moet je jezelf afvragen wat de beste keuze is: generatieve AI, voorspellende AI, een chatbot of een agent. 

Generatieve AI is ideaal voor het creëren van content zoals rapporten of e-mails, terwijl voorspellende AI data en algoritmen gebruikt om resultaten en gebeurtenissen te voorspellen. Chatbots kunnen voorgeprogrammeerde taken zonder veel variabelen afhandelen, zoals een eenvoudige retourzending van een product. “Maar ze zijn niet bepaald flexibel en kunnen hun gedrag niet aanpassen, tenzij je de code verandert”, zegt Irina Gutman, regionaal vicepresident van het Agentforce-acceleratorteam van Salesforce Professional Services.

Als je een AI nodig hebt die zelfstandig beslissingen kan nemen, moet je een AI-agent kiezen. Deze kan data analyseren, redeneren, actie ondernemen en in natuurlijke taal communiceren. “Maar agentische technologie is van zichzelf variabel, dus je moet alles voortdurend monitoren”, aldus Gutman. 

3. Begin klein met een herhaalbare taak

“Klanten vragen vaak: ‘Kun je de meest sexy, complexe en geavanceerde agent voor me maken die je ooit hebt gebouwd?'”, zegt Gutman. “En dan antwoord ik: ‘Ja, dat kan ik wel doen. Maar waar je eigenlijk mee moet beginnen, is het laaghangende fruit: de saaiste en meest herhaalbare taken.'” 

Met andere woorden: hou het eenvoudig, praktisch en effectief. Dat is precies wat Engine, een platform voor het beheer van zakenreizen, deed met zijn Agentforce-pilot. Engine staat bekend om de uitstekende klantenservice, met altijd beschikbare chats en een goede telefonische bereikbaarheid. Elk jaar krijgt het bedrijf 550.000 vragen van klanten, waarvan 60% via de mobiele-chatfunctie wordt gesteld. 

Engine was in korte tijd flink gegroeid en moest opschalen, maar het bedrijf twijfelde over het uitbreiden van het personeelsbestand. Om de huidige klantenservicemedewerkers te ontlasten, besloot het bedrijf eenvoudig te beheren, herhaalbare taken over te laten aan een agent. 

“Tijdens gesprekken probeerden we te achterhalen waar het repetitieve werk zich bevond”, zegt Joshua Stern, directeur GTM-systemen van Engine. “Welke taken kun je automatiseren of door een agent laten afhandelen, zodat onze menselijke medewerkers hun tijd kunnen besteden aan de klantgerichte werkzaamheden?”

Het antwoord: een agent voor het afhandelen van het meest voorkomende verzoek van klanten: ‘Annuleer mijn reservering’. Het is een afgebakende, herhaalbare taak die perfect is voor een pilot, want het vereist de autonomie en besluitvaardigheden van een AI-agent. De agent moet bijvoorbeeld kunnen beslissenof het wel mogelijk is voor de klant om een reservering te annuleren.

Gebruik deze tips om je agent direct van waarde te laten zijn.

4. Definieer de rol van je agent duidelijk

Als je je pilot wilt laten slagen, moet je de AI-agent duidelijke instructies geven over hoe deze het werk moet doen.  

Engine omschreef de taken van zijn agent Eva (Engine Virtual Assistant) als volgt: 

1. Bevestig dat de klant in de chat bevoegd is om de reservering te wijzigen (of om dit namens het bedrijf te doen). 
2. Beoordeel alle huidige reisreserveringen.
3. Annuleer de reservering op verzoek van de klant. 
4. Synchroniseer de annulering met het interne reserveringsplatform van Engine, dat via een aangepaste API (Application Programming Interface) is verbonden met Agentforce. 

“We moesten er ook voor zorgen dat onze agent de juiste boodschappen kon uitdragen”, aldus Stern. “De agent moest dus de juiste dingen kunnen zeggen en de klant op de hoogte houden.” 

5. Zorg ervoor dat je je data op orde hebt

Ken je het gezegde ‘Soms is goed genoeg ook echt goed genoeg’? Dat geldt ook voor je data. Agents hebben deugdelijke data nodig om te trainen en te gebruiken voor hun werk. “Maar je hebt misschien niet de hele dataset nodig om aan de slag te gaan”, zegt Gutman. “Als je maar genoeg schone data en integraties hebt om mee te beginnen.”  

Voor BBBSA was dat niet moeilijk. De technologiestrategie voor werving, budgettering en matchmaking van de non-profitorganisatie was al opgebouwd rond het in hoge mate geünificeerde platform van Salesforce. De data verkeerde in goede staat en een groot deel ervan werd beheerd door Data Cloud, de grootschalige data-engine van Salesforce. “Een van de mooie aspecten van de agentic AI-oplossing was dat het veel van onze ongestructureerde data kon gebruiken om Bigs en Littles te matchen op basis van hun gemeenschappelijke voorkeuren en aversies”, zegt Gibson. 

6. Zorg voor de juiste vangrails

Een agent moet weten wat te doen, maar ook wat niet te doen. Als je Agentforce gebruikt, beschik je al over een deel van de juiste bescherming. De Einstein Trust Layer van Salesforce elimineert vertekening en toxiciteit, en zorgt ervoor dat het wel goed zit met de beveiliging en de naleving.  

Maar elke organisatie moet ook zijn eigen bescherming creëren. “Tijdens de voorbereiding op onze pilot besteedden we veel tijd aan onze werkstandaarden”, zegt Gibson. Hij verwijst daarmee naar de criteria van BBBSA voor de matching van Bigs en Littles, zoals gender, ervaringen, carrièreambities en hobby’s. De non-profitorganisatie trainde de agent met onderzoek dat onthulde welke kenmerken leiden tot de meest bestendige matches. 

BBBSA nam vervolgens verschillende maatregelen voor integriteitsbescherming. Zo moesten matches van hetzelfde gender zijn. Sommige bureaus die deelnamen aan de pilot, wilden kunnen filteren op leeftijd of religieuze achtergrond, dus nam de non-profitorganisatie die er ook in op. Maar de belangrijkste bescherming die BBBSA aanbracht, was dat de agent uitsluitend aanbevelingen kon doen. Bij het matchen van een Big en een Little neemt een mens dus altijd de definitieve beslissing. 

7. Hulp nodig? Werk samen met een Salesforce-partner

Je IT-team denkt misschien dat het al beschikt over alle trainingen, tools en support die nodig zijn om Agentforce zelf op te starten. Nieuw onderzoek toont immers aan dat bedrijven een AI-agent zestien keer sneller kunnen ontwikkelen met Agentforce dan als ze het helemaal zelf doen. Als je team echter wat meer hulp nodig heeft bij het lanceren van een pilot voor agentic AI, kun je contact opnemen met een Salesforce-partner.

Deze bedrijven maken deel uit van het Salesforce-ecosysteem en kunnen je helpen met het ontwikkelen van een AI-agent. Dat was ook een van de redenen waarom Engine en BBBSA zo succesvol waren met hun pilots: beide organisaties werkten samen met externe partners.  

Engine ging in oktober een partnerschap aan met Astound Digital voor de ontwikkeling van annuleringsagent Eva en implementeerde deze in minder dan twee weken.  

BBBSA schakelde Coastal Cloud in om zijn agent te ontwikkelen, een proces dat twee maanden duurde. “Dat was het mooie van de oplossing”, aldus Gibson. “We hoefden geen AI- of machine learning-developers in te huren.” BBBSA vertrouwde op de Salesforce-oplossingsarchitect en de Salesforce-beheerders van Coastal Cloud. “Daardoor konden we snel een kosteneffectieve oplossing ontwikkelen”, zegt Gibson. 

Neem om een partner voor je bedrijf te vinden contact op met het Salesforce Professional Services-team of volg deze instructies. 

8. Blijf schaven aan je agent

Voor een succesvolle pilot voor agentic AI moet je gaandeweg een aantal aanpassingen doorvoeren. 

Engine besteedde bijvoorbeeld een week aan het ontwikkelen van zijn agent met Astound Digital. “Toen hebben we misschien wel meer dan een week back-endtests uitgevoerd”, aldus Stern. “Daarbij probeerden we het te laten falen om vervolgens te achterhalen wat de oorzaak ervan was. Vervolgens zochten we een manier om de prompt te verbeteren.” 

Ook na die fase bleef Engine de prestaties van zijn agent monitoren. Het team ontdekte dat het de overdracht van agent naar mens moest verbeteren. Vooral omdat menselijke medewerkers er snel mee aan de slag moesten kunnen gaan om te voorkomen dat ze steeds dezelfde vragen stelden aan klanten. “We moesten dat blijven verbeteren om onze klanten de beste ervaring te kunnen bieden”, zegt Stern.

9. Meet de resultaten van je pilot voor agentic AI

Je kunt het succes van je pilot heel gemakkelijk bepalen: kijk gewoon naar de cijfers. “Soms moet je daarvoor wel wat verder kijken dan alleen naar wat je meteen kunt zien”, zegt Gutman. “Het gaat immers niet alleen om de directe cijfers, maar ook om wat het betekent voor je bedrijf.” 

Voor Engine was dit eenvoudig. Het bedrijf nam zijn agent binnen twee weken in gebruik en nu al handelt Eva dertig tot veertig annuleringen per week af. Dit zorgt voor een aanzienlijk lagere belasting van de menselijke medewerkers. 

BBBSA zit nog midden in zijn pilot van zes maanden en is nog bezig met het verzamelen van datapunten, ook omdat de beoordeling van sommige datapunten meer tijd kost. De non-profitorganisatie houdt bij of de agent minder stappen nodig heeft om potentiële matches te identificeren en evalueert de kwaliteit van de aanbevelingen van de agent. BBBSA meet tijdens de pilot ook de acceptatie- en betrokkenheidscijfers van bureaus. 

Gibson zegt dat de organisatie ernaar streeft om matches twee keer zo snel te voltooien. “Maar we moeten deze oplossing nog wat langer gebruiken om te zien of ook de matchretentie toeneemt.” Met andere woorden: het gaat niet alleen om de snelheid waarmee de agent werkt. De kwaliteit van de matches is minstens zo belangrijk. 

10. Bereid je voor om op te schalen

Als de pilot een succes is gebleken, hoe schaal je dan op? Meestal moet je dat stap voor stap doen. 

Zodra BBBSA klaar is met de pilot, wil de organisatie zijn agent over een periode van zes maanden geleidelijk uitrollen naar tien tot twintig bureaus per maand.

Engine bouwt zijn agentische capaciteiten gefaseerd op. Nadat Eva met succes was uitgerold als annuleringsagent, liet het bedrijf de agent ook veelgestelde vragen afhandelen. Deze nieuwe functie werd in april in gebruik genomen en inmiddels beantwoordt Eva eenvoudige vragen waarvoor voorheen een mens nodig was. 

Engine lanceerde ook nog een andere pilot: een tweede AI-agent die Eva’s werk analyseert. De nieuwe agent bekijkt welke prompts het beste werken, hoe snel Eva reageert en of er in bepaalde opzichten verbetering nodig is. Dit alles geeft aan dat agentic AI in de toekomst een veel grotere rol gaat spelen. “Als we het over dit soort dingen hebben, moeten we niet vergeten dat dit nog maar het begin is”, zegt Stern. “We testen nu alleen de basistaken en Engine bevindt zich hiermee nog in een zeer vroeg stadium.”

Stap voor stap op weg naar een succesvolle pilot voor agentic AI

Hoewel je misschien zo snel mogelijk met je pilot wilt beginnen, heb je meer kans van slagen als je het stap voor stap doet. Met ons plan van aanpak voor het ontwerpen, uitvoeren en opschalen van een pilot kun je je beter focussen op het probleem dat je wilt aanpakken en je agent op een slimme manier implementeren.