Hoe Salesforce de kwaliteit van antwoorden meet voor Agentforce op Salesforce Help

door Zachary Stauber , Senior Director Digital Success, AI

Het doel van selfservice is altijd geweest om klanten te helpen snel antwoorden te vinden. Maar we wilden verder gaan. Vijf jaar geleden hebben we onszelf voorgenomen om selfservice opnieuw vorm te geven, niet alleen om het sneller te maken, maar ook om klanten zelfverzekerd en geëmpowerd te laten voelen. Wij vonden dat mensen zich ondersteund moesten voelen, zelfs zonder hulp van een medewerker. Die overtuiging leidde tot de oprichting van ons Digital Success-team.

Toen we voor het eerst Agentforce op Salesforce Help lanceerden, waren we enthousiast over het potentieel ervan. We zagen het als een kans om de selfservice-ervaring meer autonomie te geven, iets waar we al jaren naar toe werkten. Voor degenen onder ons die talloze uren hadden besteed aan het ontwikkelen van chatbot-dialogen, voelden generatieve AI en grote taalmodellen als een doorbraak. Het was een gamechanger.

Maar toen kwam dag 2. Het enthousiasme nam een beetje af en de lastige vragen begonnen, vooral deze:

Die vraag zorgde voor flinke druk. We zagen het als een kans om voorop te lopen, maar we hadden een gedegen plan nodig: een plan waarmee we konden groeien, leren en Agentforce konden verbeteren op een manier die de klanten ten goede kwam en meetbaar was.

Het is een zinvolle reis geweest. Hoewel er nog veel moet gebeuren, ben ik ontzettend trots op ons team en de vooruitgang die we hebben geboekt bij het stimuleren en begrijpen van de kwaliteit van antwoorden voor Agentforce op Help.

De kwaliteit van antwoorden is simpelweg het percentage antwoorden van Agentforce dat voldoet aan onze acceptatiecriteria nadat een individuele vraag is gesteld. We noemen dit een 'beurt' in het gesprek, en onze beoordeling van de kwaliteit van antwoorden is momenteel geoptimaliseerd voor de eerste beurt van een gesprek. Later zal ik wat dieper ingaan op hoe we onze aanpak verder willen ontwikkelen, maar deze eerste methode is een eenvoudige geslaagd/mislukt-controle. Een antwoord voldoet aan de criteria of niet. En ja, we gebruiken Agentforce zelf om dit te meten.

Als je bijvoorbeeld 100 vragen stelt en 50 van de antwoorden bij de eerste poging aan je criteria voldoen, is dat een antwoordkwaliteit van 50%.

Dat betekent niet dat de andere 50 antwoorden helemaal verkeerd waren. Ze voldeden gewoon niet volledig aan de norm die je hebt gesteld voor een hoogwaardig antwoord. In werkelijkheid zijn je antwoorden waarschijnlijk 'correcter', maar wij vinden het belangrijk om de lat hoog te leggen op basis van wat volgens ons een uitstekend antwoord is.

Daarom is de kwaliteit van antwoorden op zich niet voldoende om de effectiviteit te bepalen. We moeten dieper op de materie ingaan en ook aandacht besteden aan belangrijke meetgegevens zoals het oplossingspercentage en het escalatiepercentage. Zo was onze benchmark voor de kwaliteit van de antwoorden in oktober 2025 bijvoorbeeld 60%, met als doel om aan het eind van dit jaar op 75% uit te komen. Dat klinkt misschien laag, maar als je rekening houdt met variabiliteit in vragen, vragen die niet ter zake doen of 'small talk', en klanten die bij de eerste beurt in het gesprek al een ticket willen aanmaken, is dat percentage eigenlijk vrij hoog. Dit totaalplaatje – de kwaliteit van antwoorden, het oplossingspercentage en het escalatiepercentage – gaf ons het vertrouwen dat we goed op weg waren om belangrijke bedrijfsresultaten te behalen.

Nadat we ons vertrouwd hadden gemaakt met de data, hebben we ons ten doel gesteld om dit jaar een antwoordkwaliteit van 75% te behalen. Ik ben verheugd om te kunnen melden dat we in onze meest recente test 76% hebben behaald. We hebben dit bereikt door ons framework te versterken, de content en strategie te verbeteren en optimaal gebruik te maken van onze AI-tools zoals Retrieval Augmented Generation (RAG), embeddings en metadata.

Meer zit er eigenlijk niet achter. Ik zal dieper ingaan op hoe we de kwaliteit van antwoorden beoordelen, maar de vraag "Wat maakt een antwoord goed?" hoeft geen vaag en overweldigend vraagstuk te zijn.

Als je aan de slag gaat met de kwaliteit van antwoorden, is het gemakkelijk om het proces te ingewikkeld te maken, te veel meetcriteria toe te voegen en uit het oog te verliezen wat er echt toe doet. Dit kan leiden tot verwarring, eindeloze discussies en een gebrek aan een duidelijk plan.

Het komt erop aan om gefocust te blijven op één duidelijk doel waar iedereen naartoe kan werken.

Voor ons was dat doel: Klanten 24/7 helpen bij het vinden van antwoorden op hun vragen, met een eenvoudige manier om indien nodig met een medewerker te spreken.

Toen we daar eenmaal duidelijkheid over hadden, hebben we dat doel gekoppeld aan twee meetbare resultaten:

1. Verhogen van het Agentforce-oplossingspercentage
2. Verlagen van het totale aantal supportcases

De formule was simpel:

Vervolgens stelden we de vraag: Wat is een antwoord van goede kwaliteit?

Na het analyseren van echte gesprekken, het spreken met teams en klanten en het bestuderen van best practices, zijn we tot deze eenvoudige definitie gekomen:

We wilden een definitie die iedereen, ongeacht functie of achtergrond, kon begrijpen en gebruiken. Hoewel AI-meetgegevens zoals RAG of cosinusgelijkenis belangrijk zijn, zijn ze niet altijd even veelzeggend voor bedrijfsleiders.

In het begin, toen ik iets zei als: 'Je cosinusgelijkenis is 0,86', leverde dat alleen maar verbijsterde blikken op. Toen beseften we dat we kwaliteit op een begrijpelijkere manier moesten uitleggen.

Daarom hebben we ons systeem gebouwd rond een duidelijk, gedeeld uitgangspunt: Een goed antwoord is relevant, correct en volledig.

Toen we eenmaal een helder concept en een duidelijke definitie van de kwaliteit van antwoorden hadden, hadden we iemand nodig om het proces te managen, tekortkomingen op te sporen en verbeteringen aan te brengen.

Daar kwam de functie van Evaluation Manager om de hoek kijken. Een nieuwe functie die we binnen onze organisatie hebben bedacht, gericht op de kwaliteit van antwoorden en het beheer daarvan voor onze Agent voor Help.

Deze medewerkers zijn verantwoordelijk voor het onderhouden van het volledige framework voor de kwaliteit van antwoorden, het uitvoeren van tests, het analyseren van resultaten en het delen van insights. Ze moeten complexe ideeën op een eenvoudige manier uitleggen en ontwerptests uitvoeren die nuttig zijn voor zowel engineers als leidinggevenden.

Net als velen van jullie hadden wij geen onbeperkt budget om een team van gespecialiseerde AI-beoordelaars in te huren. Daarom zijn we intern gaan zoeken. We vonden mensen die een passie voor AI hebben, leergierig zijn en zich op hun gemak voelen bij het experimenteren en snel leren. Ik ben trots op het team dat we hebben opgebouwd en op deze nieuwe functie. Naar mijn mening zal de Evaluation Manager een cruciale rol gaan spelen in elke organisatie die werkt met AI-agents op het gebied van service en support.

Deze mensen zijn waarschijnlijk al in je organisatie te vinden. Dit kunnen supporttechnici, programmamanagers of data-analisten zijn. Dus als je je strategie voor de kwaliteit van antwoorden gaat ontwikkelen, raad ik je aan om binnen je huidige team op zoek te gaan naar talent dat al een positieve bijdrage wil leveren aan je AI-verhaal.

Ongeveer een maand na onze lancering groeide het aantal gesprekken tot in de duizenden per week. Naarmate het gebruik van Agentforce op Help toenam, moest ons evaluatiesysteem meegroeien.

Om dit te realiseren, hebben we een systeem ontwikkeld dat is gebaseerd op het principe van 'agents die agents testen', waarbij AI wordt gebruikt om de antwoorden van Agentforce te toetsen aan de hand van duidelijke acceptatiecriteria: het antwoord moet relevant, correct en volledig zijn.

Het is echter moeilijk om echte klantgesprekken op grote schaal te analyseren. Er is te veel variatie en onvoldoende controle om prestaties op betrouwbare wijze te meten. Daarom hebben we een beter beheerbare, schaalbare aanpak ontwikkeld met behulp van wat we synthetische uitspraken noemen.

Synthetische uitspraken zijn realistische maar verzonnen vragen van klanten, gebaseerd op daadwerkelijke supportdata. Denk hierbij aan casuslogboeken, zoekopdrachten op internet en feedbackkanalen. Deze vertegenwoordigen de belangrijkste problemen van klanten en we werken de lijst regelmatig bij om een goed beeld te krijgen van de huidige behoeften.

Tijdens onze lancering in oktober hadden we ongeveer honderd synthetische uitspraken. Vandaag de dag hebben we er enkele honderden, en we streven ernaar om binnenkort de duizend te bereiken — genoeg om de behoeften van klanten op grote schaal betrouwbaar weer te geven, maar op een manier die een gecontroleerde testomgeving mogelijk maakt.

Voor elke vraag hebben we samen met supporttechnici en productexperts specifieke acceptatiecriteria vastgesteld, oftewel de specifieke vereisten waaraan een goed antwoord op die vraag moet voldoen. Deze zijn vastgelegd in wat we LLM-Judge Prompts noemen, waarmee AI de antwoorden van Agentforce automatisch kan beoordelen op relevantie, juistheid en volledigheid.

Hier volgen enkele voorbeelden van veelvoorkomende use cases.

Gewapend met deze synthetische uitspraken, die de vragen van onze klant weergeven, en met door vakexperts getoetste acceptatiecriteria, gingen we vervolgens over naar de volgende fase van ons project: het ontwikkelen van de tools.

In de beginperiode van Agentforce lazen we elk chattranscript handmatig door. Echt waar. Het was een rommelig en tijdrovend karwei. Naarmate het aantal gesprekken toenam, werd het al snel onmogelijk om dit bij te houden.

Daarom werden synthetische uitspraken en acceptatiecriteria van cruciaal belang. Hierdoor konden we Agentforce testen zonder afhankelijk te zijn van live interacties met klanten. Maar we hadden nog steeds een tool nodig om agents te laten testen door andere agents.

Gelukkig schoot ons geweldige engineeringteam bij Salesforce ons te hulp. We deelden de vereisten met hen, en zij bouwden een tool met behulp van Salesforce-apps en openbare Agentforce-API's. We noemden dit principe 'agents die agents testen'.

Dit werkt als volgt:

1. We voeren onze opslagplaats van synthetische uitspraken (testvragen) en acceptatiecriteria in de tool in.
2. De tool stelt Agentforce die vraag in onze live omgeving
3. Agentforce reageert en de tool controleert het antwoord aan de hand van onze acceptatiecriteria.
4. Het resultaat (geslaagd/mislukt) wordt weergegeven in een Salesforce-rapport, dat we kunnen exporteren naar tools zoals Sheets, Excel of Tableau.

Dit proces geeft ons onze score voor de kwaliteit van antwoorden.

Vervolgens beoordelen onze Evaluation Managers eventuele mislukte antwoorden en taggen ze deze met een probleemclassificatie: een label dat aangeeft waarom het antwoord niet aan de criteria voldoet.

Deze classificaties helpen onze AI-experts op het gebied van strategie, engineering en datawetenschap om problemen te onderzoeken en op te lossen. Enkele veelvoorkomende classificatietypen zijn (maar zijn niet beperkt tot):

Onze probleemclassificaties zijn nog steeds in ontwikkeling. Naarmate we meer leerden, realiseerden we ons dat sommige zaken die we vroeger bijhielden niet zo nuttig waren als we dachten, en we hebben onze strategie in de loop van de tijd aangepast. Zo stond er in onze oorspronkelijke lijst bijvoorbeeld een oplossing als Opvragingsprobleem. We kwamen erachter dat een taxonomie voor probleemclassificatie waarin oplossingen waren opgenomen, ons vaak op het verkeerde spoor zette. De conclusie: door je te concentreren op de onderliggende oorzaak, boek je sneller vooruitgang bij het analyseren van de oorzaak en het oplossen van het echte probleem.

Bovendien ontdekten we tijdens ons werk dat we soms te maken hadden met 'valse fouten': scenario's waarin Agentforce de vraag in feite correct beantwoordde, maar waarin onze acceptatiecriteria, onze tools of zelfs onze eigen, niet-gekalibreerde percepties als mensen die antwoorden beoordelen, ons oordeel mogelijk beïnvloedden. Door open te staan voor dit soort kwesties konden we een sterker draaiboek opstellen en de twijfels over de betrouwbaarheid van onze bevindingen en insights wegnemen.

We richten ons ook op opschaling en het verlagen van de werkdruk van onze Evaluation Managers. Om dat mogelijk te maken, zijn we begonnen met het testen van AI om automatisch vast te stellen waarom een antwoord is afgekeurd, op basis van de definities van onze probleemclassificaties. De eerste resultaten zijn veelbelovend, en nu het aantal synthetische uitspraken op schema ligt om de grens van 1.000 te overschrijden, heb ik er alle vertrouwen in dat ons team met behulp van AI de vraag kan bijhouden.

We zijn ook enthousiast over nieuwe tools voor het Agentforce-observatiecentrum. Als Agentforce Customer Zero werken we nauw samen met het productteam om functies zoals het testcentrum, sessietracking en meer te testen. Deze ingebouwde tools worden een essentieel onderdeel van onze strategie en we bereiden ons voor op de overstap naar deze tools zodra ze algemeen beschikbaar zijn. Ze zullen ons verhaal over de kwaliteit van onze antwoorden veel levendiger maken, zodat het makkelijker te begrijpen en over te brengen is. Eerlijk gezegd zou ik willen dat we deze tools al hadden gehad toen we Agentforce voor het eerst lanceerden!

Laten we even samenvatten. We beschikken over een reeks synthetische uitspraken die de belangrijkste problemen van onze klanten bestrijken. Onze experts hebben de acceptatiecriteria voor goede antwoorden goedgekeurd en we hebben een tool om deze antwoorden op grote schaal te controleren. Het laatste stukje van de puzzel is een team van Evaluation Managers die de resultaten beoordelen om vervolgens actie te ondernemen.

Dus, wanneer test je dan? Hoe vaak? Wat voor soort tests?

Als AI Operations-team voeren we drie soorten evaluaties uit: synthetisch referentiepunt, nieuwe functie en on-demand.

Dit is onze belangrijkste en meest voorkomende evaluatie.

Het synthetische referentiepunt houdt de kwaliteit van onze antwoorden in de loop van de tijd bij. Wanneer we nieuwe functies, content of data uitbrengen, testen we regelmatig hoe die veranderingen de prestaties beïnvloeden, aan de hand van onze reeks synthetische vragen en acceptatiecriteria.

Zo ontstaat een referentiepunt waaraan alle nieuwe updates voor Agentforce moeten voldoen of dat moeten overtreffen voordat ze live gaan. Dit zorgt ervoor dat we vooruitgang boeken en niet achterblijven.

We voeren deze evaluaties twee keer per maand uit, afgestemd op onze sprint-cycli. Vervolgens combineren we de resultaten in een maandelijkse kwaliteitsscore voor antwoorden, die we delen in scorekaarten, bedrijfsbeoordelingen en meer.

Dit proces vormt de basis van onze AI-strategie voor de kwaliteit van antwoorden.

Naast onze regelmatige basistests evalueren we ook nieuwe functies, data of technologie gedurende hun hele ontwikkeling. We noemen deze benadering Evaluation-Driven Development. Het zorgt ervoor dat alles wat we op de markt brengen voldoet aan ons vastgestelde synthetische referentiepunt of dit zelfs overtreft.

Het belangrijkste verschil is dat bij evaluaties van nieuwe functies gebruik wordt gemaakt van een kleinere, gerichte reeks synthetische uitspraken die specifiek zijn voor de wijziging die wordt getest. Deze tests worden, indien nodig, tijdens de ontwikkeling uitgevoerd en de resultaten worden gedeeld met de engineering-, content- of datateams om verbeteringen te sturen, van de ontwikkelingsfase tot en met de kwaliteitscontrole en de gebruikersacceptatietests.

Zodra de functie live gaat, worden de testvragen die we hebben gebruikt toegevoegd aan onze hoofdopslagplaats en opgenomen in toekomstige basistests.

Toen we bijvoorbeeld de Help Agent op het Slack Help-portal lanceerden, stelde onze Evaluations Manager 96 op maat gemaakte synthetische uitspraken en acceptatiecriteria op. De functie scoorde hoger dan het referentiepunt en werd vrijgegeven voor productie. Die 96 vragen maken nu deel uit van onze doorlopende tests.

We moeten ook on-demand specifieke tests uitvoeren om te controleren op bugs, onverwachte problemen, problemen met de gebruikservaring of last-minute wijzigingen, om zo te zien hoe Agent voor Help presteert. Het gaat hierbij om zaken als onjuiste antwoorden over nieuwe functies of producten, onduidelijke antwoorden of een over het algemeen slechte gebruikerservaring met Agent voor Help. Aangezien we al evaluaties met een referentiepunt en evaluaties van nieuwe functies hebben, was het toevoegen van on-demand-tests een logische stap.

Daarnaast fungeren veel teams binnen Salesforce als 'onafhankelijke auditors' en helpen ze ons om hiaten of inzichten te ontdekken die buiten onze gebruikelijke tests vallen. Tot deze teams behoren onder meer Accessibility, Legal en andere teams zoals Certifications of Trailhead. Hoewel zij misschien niet de grootste klantproblemen behandelen, is hun werk toch erg belangrijk om ons te helpen aan onze schaalvereisten te voldoen en ervoor te zorgen dat we zoveel mogelijk klantscenario's evalueren.

We geven deze teams toegang tot onze tools en ons framework, zodat ze hun eigen tests kunnen uitvoeren. Als leider van het AI Ops-team vormt dit een belangrijk onderdeel van mijn groeiplan. Het gaat erom ons evaluatieproces te delen om beter aan de behoeften van al onze klanten te voldoen.

De belangrijkste les: maak gebruik van je partners!

De toekomst van de kwaliteit van antwoorden biedt talloze mogelijkheden. Naarmate er nieuwe tools bij komen, zullen we de manier waarop we de prestaties van onze agents meten en analyseren, blijven verbeteren.

Op dit moment houdt antwoordkwaliteit slechts rekening met één antwoord op de vraag van een klant. Hoewel dit nuttig is, willen we overstappen op gesprekskwaliteit: het meten van het hele gesprek, niet alleen één antwoord.

We onderzoeken twee ideeën:

1. Van antwoordkwaliteit tot gesprekskwaliteit:
   We willen hele gesprekken beoordelen, niet alleen afzonderlijke antwoorden. Eén goed antwoord kan een reeks slechte antwoorden niet goedmaken. Dit is zo'n belangrijk aandachtspunt en een echte passie voor ons dat we nieuwe en verschillende manieren onderzoeken om ons huidige model uit te breiden en verder te ontwikkelen, zodat we het gesprek in zijn geheel kunnen beoordelen. Ons idee is om een samengesteld beoordelingssysteem voor afzonderlijke beurten te ontwikkelen, dat vervolgens kan worden weergegeven als een kwaliteit die op meerdere beurten is gebaseerd. Met andere woorden: veel antwoorden zorgen samen voor een goed gesprek.
2. Echte gespreksevaluatie aan de hand van acceptatiecriteria:
   We zijn van plan om een reeks algemene normen, zoals toon, empathie en gespreksverloop, toe te passen op echte chats met klanten. Dit zal ons helpen om echte gesprekken op grote schaal te meten. Dit concept is echter niet van toepassing op criteria voor de juistheid van antwoorden. Dus...

Om te beoordelen of de antwoorden nauwkeurig zijn, creëren we uitspraakclusters: groepen met vergelijkbare vragen. Zo kunnen we acceptatiecriteria toepassen op groepen vragen in plaats van op slechts één vraag.

We werken er ook aan om de manier waarop Support Engineers en Customer Success Managers problemen oplossen te gebruiken als een 'correct' model om antwoorden te beoordelen. Zo kunnen we op grote schaal grondig getoetste, gedemocratiseerde acceptatiecriteria opstellen voor meerdere clusters van vragen. Best wel gaaf.

Uiteindelijk is AI slechts zo krachtig als de antwoorden die het geeft. Daarom zal de kwaliteit van onze antwoorden altijd ons kompas blijven, dat ons leidt bij het ontwikkelen, meten en verbeteren van Agentforce voor elke klant die we bedienen. Deze inspanning om de kwaliteit van de antwoorden te beoordelen en te verbeteren is een passie voor mijn team. Ik moedig iedereen aan om groots te denken en iets te proberen dat ongemakkelijk of intimiderend aanvoelt. Omarm de geest van een futurist die nadenkt over wat er allemaal mogelijk is. Met dat in gedachten sluit ik af met het motto en de mantra van mijn team:

"Experimenteer en ontdek."