von Zachary Stauber, Senior Director, Digital Success, KI
Das Ziel des Self-Service war schon immer, Kund:innen dabei zu helfen, schnell Antworten zu erhalten. Doch wir wollten noch einen Schritt weiter gehen. Vor fünf Jahren haben wir uns zum Ziel gesetzt, den Self-Service neu zu definieren – nicht nur, um ihn schneller zu gestalten, sondern auch, damit sich die Kund:innen sicher und selbstbestimmt fühlen. Wir waren der Überzeugung, dass sich die Menschen unterstützt fühlen sollten, auch ohne dass ihnen ein Mensch dabei hilft. Diese Überzeugung führte zur Gründung unseres „Digital Success“-Teams.
Als wir Agentforce erstmals auf Salesforce Help einführten, waren wir von dessen Potenzial begeistert. Wir sahen darin eine Chance, den Self-Service autonomer zu gestalten – ein Ziel, auf das wir bereits seit Jahren hingearbeitet hatten. Für diejenigen unter uns, die unzählige Stunden damit verbracht hatten, Chatbot-Dialoge zu erstellen, stellten generative KI und große Sprachmodelle einen echten Durchbruch dar. Das war ein entscheidender Wendepunkt.
Doch dann kam Tag 2. Die Begeisterung ließ etwas nach, und es folgten die schwierigen Fragen – insbesondere diese:
Diese Frage löste erheblichen Druck aus. Wir sahen darin eine Chance, eine Vorreiterrolle zu übernehmen, benötigten jedoch einen soliden Plan: einen Plan, der es uns ermöglichte, zu wachsen, zu lernen und uns Agentforce auf eine Weise zu verbessern, die den Kund:innen zugutekam und messbar war.
Dieser Weg war sehr lehrreich. Auch wenn noch einiges zu tun bleibt, bin ich unglaublich stolz auf unser Team und die Fortschritte, die wir bei der Verbesserung und dem Verständnis der Antwortqualität für Agentforce auf „Help“ erzielt haben.
Was bedeutet „Antwortqualität“ wörtlich genommen?
Antwortqualität ist schlichtweg der prozentuale Anteil der Antworten aus Agentforce, die unsere Akzeptanzkriterien erfüllen, nachdem eine einzelne Frage gestellt wurde. Wir bezeichnen dies als „Runde“ in der Unterhaltung, und unsere heutige Bewertung der Antwortqualität ist auf die erste Runde einer Unterhaltung optimiert. Später werde ich noch etwas näher darauf eingehen, wie wir unseren Ansatz weiterentwickeln wollen, doch bei dieser ersten Methode handelt es sich um eine einfache Ja-/Nein-Prüfung. Entweder erfüllt eine Antwort die Kriterien oder sie erfüllt sie nicht. Und ja, wir verwenden Agentforce selbst, um dies zu messen.
Wenn Sie beispielsweise 100 Fragen stellen und 50 der Antworten bereits beim ersten Versuch Ihren Kriterien entsprechen, beträgt die Antwortqualität 50 %.
Das bedeutet nicht, dass die anderen 50 Antworten völlig falsch waren. Sie entsprachen einfach nicht ganz dem Standard, den Sie für eine qualitativ hochwertige Antwort festgelegt haben. In Wirklichkeit sind Ihre Antworten wahrscheinlich „richtiger“, doch wir halten es für wichtig, die Messlatte hoch anzusetzen – und zwar auf der Grundlage dessen, was unserer Meinung nach eine hervorragende Antwort ausmacht.
Aus diesem Grund reicht die Qualität der Antworten allein nicht aus, um die Wirksamkeit zu beurteilen. Wir müssen uns noch intensiver damit befassen und dabei auch wichtige Kennzahlen wie die Lösungsquote und die Eskalationsquote einbeziehen. So lag beispielsweise unser Referenzwert für die Antwortqualität im Oktober 2025 bei 60 %, wobei wir uns zum Ziel gesetzt haben, bis Ende dieses Jahres 75 % zu erreichen. Das mag gering erscheinen, doch wenn man die Variabilität der Fragen, themenfremde Fragen oder „Small Talk“ sowie Kund:innen berücksichtigt, die bereits beim ersten Kontakt die Eröffnung eines Kundenvorgangs wünschen, ist dieser Wert tatsächlich recht hoch. Die Berücksichtigung dieses Gesamtbildes – Antwortqualität, Lösungsquote und Eskalationsrate – gab uns die Gewissheit, dass wir auf einem guten Weg waren, wichtige Geschäftsziele zu erreichen.
Nachdem wir uns mit den Daten vertraut gemacht hatten, haben wir uns zum Ziel gesetzt, in diesem Jahr eine Antwortqualität von 75 % zu erreichen. Ich freue mich, Ihnen mitteilen zu können, dass wir bei unserem jüngsten Test gerade 76 % erreicht haben. Dies haben wir erreicht, indem wir unser Rahmenwerk gestärkt, Inhalte und Strategie verbessert und unsere KI-Tools wie Abruf-erweiterte Generierung (RAG, Embeddings und Metadaten optimal genutzt haben.
Das ist eigentlich schon alles. Ich werde noch näher darauf eingehen, wie wir die Qualität von Antworten bewerten, doch die Frage „Was macht eine gute Antwort aus?“ muss keine vage, überwältigende Aufgabe sein.
Die Struktur der Antwortqualität
Wenn man sich mit der Antwortqualität befasst, neigt man leicht dazu, die Dinge zu kompliziert zu gestalten, zu viele Kennzahlen hinzuzufügen und dabei aus den Augen zu verlieren, worauf es wirklich ankommt. Dies kann zu Verwirrung, endlosen Debatten und einem ungewissen weiteren Vorgehen führen.
Entscheidend ist, sich auf ein einziges, klares Ziel zu konzentrieren, auf das sich alle ausrichten können.
Für uns lautete dieses Ziel: Sorgen Sie dafür, dass Kund:innen rund um die Uhr Antworten auf ihre Fragen erhalten, und bieten Sie ihnen bei Bedarf einen einfachen Weg, mit einem Mitarbeiter in Kontakt zu treten.
Sobald wir diese Klarheit gewonnen hatten, haben wir sie mit zwei messbaren Ergebnissen verknüpft:
- Steigerung der Agentforce-Lösungsquote
- Das Gesamtvolumen der Kundenvorgänge senken
Die Formel war einfach:
Anschließend fragten wir: Was ist eine gute Antwort?
Nachdem wir reale Unterhaltungen ausgewertet, mit Teams und Kund:innen gesprochen und Best Practices untersucht hatten, kamen wir zu dieser einfachen Definition:
Wir wollten eine Definition, die jeder – unabhängig von seiner Rolle oder seinem Hintergrund – verstehen und anwenden kann. Zwar sind KI-Kennzahlen wie Abruf-erweiterte Generierung (RAG) oder die Kosinusähnlichkeit wichtig, doch sind sie für Führungskräfte in der Wirtschaft nicht immer aussagekräftig.
Als ich zu Beginn etwas sagte wie: „Ihre Kosinus-Ähnlichkeit beträgt 0,86“, stieß ich auf verständnislose Blicke. Da wurde uns klar, dass wir eine anschaulichere Methode benötigten, um Qualität zu erklären.
Daher haben wir unser System auf der Grundlage einer klaren, gemeinsamen Idee aufgebaut: Eine gute Antwort ist relevant, korrekt und vollständig.
Beurteilungsverantwortliche: Die Rolle, die zur Bewertung der Antwortqualität in großem Maßstab geschaffen wurde
Nachdem wir ein klares Konzept und eine klare Definition für die Antwortqualität hatten, benötigten wir jemanden, der den Prozess steuert, Lücken aufdeckt und Verbesserungen vorantreibt.
An dieser Stelle kam die Rolle der Evaluierungsmanager:innen ins Spiel. Eine neue Rolle, die wir in unserem Unternehmen geschaffen haben und die darauf ausgerichtet ist, den Fokus auf die Antwortqualität und deren Steuerung für unsere Helpdesk-Agents zu legen.
Diese einzelnen Beitragenden sind für die Pflege des gesamten Rahmens zur Antwortqualität, die Durchführung von Tests, die Analyse der Ergebnisse und den Austausch von Statistiken verantwortlich. Sie müssen komplexe Sachverhalte in einfachen Worten erklären und Tests entwickeln, die sowohl für Techniker:innen als auch für Führungskräfte von Nutzen sind.
Wie viele von Ihnen verfügten auch wir nicht über ein unbegrenztes Budget, um ein Team aus spezialisierten KI-Bewertenden zu beauftragen. Also haben wir uns intern umgesehen. Wir haben Menschen gefunden, die sich leidenschaftlich für KI interessieren, lernbegierig sind und denen es nichts ausmacht, zu experimentieren und schnell zu lernen. Ich bin stolz auf das Team, das wir aufgebaut haben, und auf diese neue Aufgabe. Meiner Ansicht nach wird der Evaluierungsmanager:innen zu einer entscheidenden Rolle in jedem Unternehmen, das im Service- und Supportbereich mit KI-Agents arbeitet.
Diese Personen sind wahrscheinlich bereits in Ihrem Unternehmen tätig. Es kann sich dabei um Support-Techniker:innen, Programmmanager:innen oder Datenanalyst:innen handeln. Wenn Sie also Ihre Strategie zur Antwortqualität entwickeln, empfehle ich Ihnen, innerhalb Ihres derzeitigen Teams nach Talenten Ausschau zu halten, die bereits einen positiven Beitrag zu Ihrer KI-Strategie leisten möchten.
Synthetische Äußerungen: Das Rückgrat unseres Bewertungsrahmens
Etwa einen Monat nach unserem Start stieg die Anzahl unserer Unterhaltungen auf mehrere Tausend pro Woche an. Da die Nutzung von Agentforce auf Help zunahm, musste unser Bewertungssystem entsprechend erweitert werden.
Zu diesem Zweck haben wir ein System entwickelt, das auf dem Konzept von „Agents Testing Agents“ basiert und mithilfe von KI die Antworten von Agentforce anhand klar definierter Akzeptanzkriterien bewertet: Die Antwort muss relevant, korrekt und vollständig sein.
Die Analyse echter Unterhaltungen mit Kund:innen in großem Umfang ist jedoch schwierig. Es gibt zu große Schwankungen und zu wenig Kontrolle, um die Leistung zuverlässig zu messen. Daher haben wir einen besser handhabbaren, skalierbaren Ansatz entwickelt, bei dem wir etwas nutzen, das wir synthetische Äußerungen nennen.
Synthetische Äußerungen sind realistische, jedoch fiktive Kundenanfragen, die auf tatsächlichen Supportdaten basieren. Denken Sie an Kundenvorgangs-Protokolle, Websuchen und Feedbackkanäle. Dies sind unsere wichtigsten Anliegen der Kund:innen, und wir aktualisieren die Liste regelmäßig, um den aktuellen Anforderungen Rechnung zu tragen.
Als wir im Oktober an den Start gingen, verfügten wir über etwa hundert synthetische Äußerungen. Derzeit verfügen wir über mehrere Hundert, und wir streben an, bald fast tausend zu erreichen – genug, um die Bedürfnisse der Kund:innen in großem Maßstab zuverlässig abzubilden, jedoch auf eine Weise, die eine kontrollierte Testumgebung ermöglicht.
Für jede Frage haben wir gemeinsam mit Support-Ingenieuren und Produktexperten spezifische Akzeptanzkriterien, bzw. die konkreten Anforderungen definiert, die eine gute Antwort auf diese Frage ausmachen. Diese werden in sogenannte LLM-Prompts integriert, die es der KI ermöglichen, die Antworten von Agentforce automatisch auf Relevanz, Richtigkeit und Vollständigkeit zu bewerten.
Hier finden Sie einige Beispiele anhand gängiger Anwendungsfälle.
Äußerungs- und Akzeptanzkriterien
| Synthetische Äußerung | Abnahmekriterien |
| Wie binde ich meine Schuhe? | Die Antwort sollte lauten: Relevant: Die Antwort sollte Hinweise auf das Binden von Schuhen, einschließlich Schuhschnürsenkel, sowie auf Schuharten enthalten, bei denen Schuhschnürsenkel zum Einsatz kommen, wie beispielsweise Turnschuhe, Stiefel oder Laufschuhe. Richtig: Die Antwort sollte die folgenden Schritte in dieser Reihenfolge enthalten: Machen Sie einen einfachen Knoten, legen Sie die „Hasenohren“ zurecht und ziehen Sie die Schlaufen fest, um die Schleife zu fixieren. Fertig: Die Antwort ist vollständig, wenn sie Hinweise zu Schuhen enthält, die keine Schnürsenkel haben, wie beispielsweise Sandalen, Flip-Flops, Slipper oder Schuhe mit Klettverschluss. |
| Wie putze ich mir die Zähne? | Die Antwort sollte lauten: Relevant: Die Antwort sollte Wörter und Ausdrücke wie „Zahnpasta“, „in kreisenden Bewegungen putzen“ und „die Zähne im eigenen Mund putzen“ enthalten. Richtig: Die Antwort sollte folgende Schritte umfassen: Nehmen Sie eine Zahnbürste zur Hand, geben Sie Zahnpasta darauf, tragen Sie die Zahnpasta mit der Bürste auf Ihre Zähne auf und putzen Sie Ihre Zähne etwa zwei Minuten lang pro Putzvorgang. Fertig: Die Antwort sollte zusätzliche Informationen über den Nutzen von Zahnseide und Mundwasser enthalten. |
Ausgestattet mit diesen synthetischen Äußerungen, die die Fragen unserer Kund:innen widerspiegelten, sowie mit den von Fachexperten geprüften Akzeptanzkriterien, gingen wir anschließend zur nächsten Phase unseres Vorhabens über: der Tool-Entwicklung.
Erstellung und Anwendung von „Agents Testing Agents“
In den Anfängen von Agentforce haben wir jedes Chat-Protokoll manuell durchgelesen. In der Tat. Es war chaotisch und zeitaufwendig. Je mehr Unterhaltungen hinzukamen, desto schwieriger wurde es, den Überblick zu behalten.
An dieser Stelle kamen synthetische Äußerungen und Akzeptanzkriterien zum Tragen. Sie ermöglichten es uns, Agentforce zu testen, ohne auf Interaktionen mit echten Kund:innen zurückgreifen zu müssen. Dennoch benötigten wir noch ein Tool, um Agents Testing Agents in die Tat umzusetzen.
Glücklicherweise hat unser hervorragendes Entwicklerteam bei Salesforce eingegriffen. Wir haben die Anforderungen dargelegt, und das Team hat ein Tool mithilfe von Salesforce Apps und öffentlichen Agentforce-APIs entwickelt. Wir haben es „Agents Testing Agents“ genannt.
Und so funktioniert es:
- Wir geben unser Repository mit synthetischen Äußerungen (Testfragen) und Akzeptanzkriterien in das Tool ein.
- Das Tool stellt Agentforce diese Frage in unserer Live-Umgebung.
- Agentforce gibt eine Antwort, und das Tool gleicht diese Antwort mit unseren Akzeptanzkriterien ab.
- Das Ergebnis (bestanden/nicht bestanden) wird in einem Salesforce-Bericht angezeigt, den wir in Tools wie Sheets, Excel oder Tableau exportieren können.
Durch diesen Prozess erhalten wir unseren Antwort-Qualitätswert.
Anschließend prüfen unsere Evaluierungsmanager:innen alle abgelehnten Antworten und versehen sie mit einer Problemklassifizierung: einer Kennzeichnung, die erläutert, warum die Antwort die Kriterien nicht erfüllt hat.
Diese Klassifizierungen helfen unseren KI-Expert:innen in den Bereichen Strategie, Technik und Datenwissenschaft dabei, Probleme zu untersuchen und zu beheben. Zu den gängigen Klassifizierungsarten gehören unter anderem (die Aufzählung ist nicht erschöpfend):
Klassifizierung und Definitionen von Themen
| Problemklassifizierung | Definition |
| Falsches Produkt | Die Antwort ging nicht auf das Produkt ein, auf das sich die Frage bezog, bzw. erkannte dieses nicht. Die Frage bezog sich beispielsweise auf Service Cloud, die Antwort betraf jedoch Marketing Cloud. |
| Irrelevante Antwort | Die Antwort ging an der Frage vorbei und enthielt Informationen, die für den Intent der ursprünglichen Frage irrelevant waren. |
| Falsche Antwort | Die Antwort ist sachlich unrichtig. |
| Es sind keine Inhalte verfügbar | Agentforce liefert eine unsinnige Antwort oder eine Meldung, aus der hervorgeht, dass keine relevanten Inhalte gefunden werden konnten, um eine Antwort zu geben. |
| Keine Antwort gegeben / Unerwartete Leitplanke | Agentforce hat keine Antwort geliefert (d. h. Fehlerzustand) oder eine unerwartete Leitplankenmeldung ausgegeben (d. h. eine nicht begründete Antwortmeldung) |
| Fehlerhafte Formatierung | Die von Agentforce gegebene Antwort entspricht nicht dem vorgegebenen Antwortformat. |
Unsere Problemkategorien befinden sich noch in der Weiterentwicklung. Je mehr wir gelernt haben, desto mehr ist uns bewusst geworden, dass einige der Daten, die wir früher erfasst haben, nicht so nützlich waren, wie wir dachten, und wir haben unsere Vorgehensweise im Laufe der Zeit entsprechend angepasst. So enthielt unsere ursprüngliche Liste beispielsweise Lösungen wie Problem beim Abruf. Wir haben festgestellt, dass eine Taxonomie zur Klassifizierung von Problemen, die auch Lösungen umfasste, dazu neigte, uns auf den falschen Weg zu führen. Die Erkenntnis war, dass die Konzentration auf das Kernproblem Ihnen tatsächlich dabei helfen wird, bei Ihrer Ursachenanalyse schneller voranzukommen und das eigentliche Problem zu lösen.
Darüber hinaus stellten wir im Rahmen unserer Arbeit fest, dass es gelegentlich zu „falschen Fehlern“ kam: Situationen, in denen Agentforce die Frage tatsächlich richtig beantwortete, unsere Akzeptanzkriterien, unsere Tools oder sogar unsere eigenen, nicht kalibrierten Wahrnehmungen als Menschen, die die Antworten bewerteten, jedoch möglicherweise unser Urteilsvermögen beeinflusst haben. Die Bereitschaft, uns mit solchen Themen auseinanderzusetzen, hat uns dabei geholfen, einen fundierteren Leitfaden zu erstellen und Bedenken hinsichtlich der Zuverlässigkeit unserer Ergebnisse und Statistiken auszuräumen.
Wir konzentrieren uns zudem darauf, die Systeme zu skalieren und die Arbeitsbelastung unserer Evaluierungsmanager:innen zu verringern. Um dies zu unterstützen, haben wir damit begonnen, KI zu testen, um anhand der Definitionen unserer Problemkategorien automatisch zu ermitteln, warum eine Antwort nicht erfolgreich war. Die ersten Ergebnisse sind sehr vielversprechend, und da die Zahl unserer synthetischen Äußerungen bald die 1.000er-Marke überschreiten wird, bin ich zuversichtlich, dass unser Team mithilfe von KI mit der Nachfrage Schritt halten kann.
Wir freuen uns zudem über neue Tools in Agentforce Observability. Als „Customer Zero“ von Agentforce arbeiten wir eng mit dem Produktteam zusammen, um Funktionen wie Testing Center, Session Tracing und weitere im Rahmen von Pilotprojekten zu testen. Diese integrierten Tools werden zu einem zentralen Bestandteil unserer Strategie, und wir bereiten uns darauf vor, auf sie umzustellen, sobald sie allgemein verfügbar sind. Sie werden unsere Geschichte zur Antwortqualität wesentlich anschaulicher, leichter verständlich und besser vermittelbar machen. Wenn ich ganz ehrlich bin, hätte ich mir gewünscht, wir hätten diese Tools schon gehabt, als wir Agentforce gestartet haben!
Welche Untersuchungen wir durchführen, wie oft und warum
Fassen wir noch einmal zusammen. Wir verfügen über eine Reihe von synthetischen Äußerungen, die die wichtigsten Anliegen unserer Kund:innen abdecken. Unsere Experten haben die Akzeptanzkriterien für gute Antworten festgelegt, und wir verfügen über ein Tool, mit dem wir diese Antworten in großem Umfang überprüfen können. Wir verfügen über das letzte Puzzlestück: ein Team von Evaluierungsmanager:innen, die die Ergebnisse auswerten, um entsprechende Maßnahmen zu ergreifen.
Wann finden die Prüfungen denn nun statt? Wie oft? Welche Arten von Tests?
Als AI-Operations-Team führen wir drei Arten von Bewertungen durch: Synthetische Basislinie, neue Funktion und „On Demand“.
Bewertung der synthetischen Basislinie
Dies ist unsere wichtigste und am häufigsten durchgeführte Bewertung.
Die synthetische Basislinie bildet die Entwicklung unserer Antwortqualität im Zeitverlauf ab. Wenn wir neue Funktionen, Inhalte oder Daten veröffentlichen, prüfen wir regelmäßig anhand unserer synthetischen Testfälle und Akzeptanzkriterien, wie sich diese Änderungen auf die Leistung auswirken.
Dadurch wird eine Basislinie festgelegt, die alle neuen Aktualisierungen von Agentforce erfüllen oder übertreffen müssen, bevor sie in Betrieb genommen werden. Dadurch wird sichergestellt, dass wir uns weiterentwickeln und keine Rückschritte machen.
Wir führen diese Bewertungen zweimal im Monat durch, abgestimmt auf unsere Sprint-Zyklen. Anschließend fassen wir die Ergebnisse zu einem monatlichen Antwortqualitätswert zusammen, den wir in Scorecards, Geschäftsbesprechungen und anderen Formaten veröffentlichen.
Dieser Prozess bildet die Grundlage unserer KI-Strategie zur Antwortqualität.
Bewertung neuer Funktionen
Zusätzlich zu unseren regelmäßigen Basistests bewerten wir auch neue Funktionen, Daten oder Technologien während ihrer gesamten Entwicklungsphase. Wir bezeichnen diesen Ansatz als evaluationsgesteuerte Entwicklung. Dadurch wird sichergestellt, dass alles, was wir veröffentlichen, unsere festgelegte synthetische Basislinie erfüllt oder übertrifft.
Der wesentliche Unterschied besteht darin, dass Bewertungen neuer Funktionen eine kleinere, gezielte Auswahl synthetischer Äußerungen verwenden, die speziell auf die zu testende Änderung zugeschnitten sind. Diese Tests werden während der Entwicklung nach Bedarf durchgeführt, und die Ergebnisse werden an die Technik-, Content- oder Datenteams weitergeleitet, um Verbesserungen von der Entwicklung über die Qualitätssicherung bis hin zur Benutzerakzeptanzprüfung zu steuern.
Sobald die Funktion in Betrieb genommen wird, werden die von uns verwendeten Testfragen in unser Haupt-Repository aufgenommen und in zukünftige Basistests integriert.
Als wir beispielsweise den Help Agent auf dem Slack-Help-Portal eingeführt haben, hat unser:e Evaluierungsmanager:in 96 benutzerdefinierte synthetische Äußerungen und Akzeptanzkriterien erstellt. Die Funktion hat die Basisprüfung bestanden und wurde in die Produktion übernommen. Diese 96 Fragen sind nun Teil unserer laufenden Tests.
Auf Abruf
Außerdem müssen wir bei Bedarf gezielte Tests durchführen, um Fehler, unerwartete Probleme, Probleme bei der Erfahrung oder Änderungen in letzter Minute zu erkennen und so die Leistung von Help-Agent zu überprüfen. Dazu gehören beispielsweise unzureichende Antworten zu neuen Funktionen oder Produkten, unklare Antworten oder allgemein negative Erfahrungen mit dem Help-Agenten. Da wir bereits über Basis- und Neufunktionsbewertungen verfügen, war die Einführung von Tests auf Abruf ein logischer Schritt.
Darüber hinaus agieren viele Teams innerhalb von Salesforce als „unabhängige Prüfer“ und helfen uns dabei, Lücken oder Statistiken zu identifizieren, die über unsere üblichen Tests hinausgehen. Zu diesen Teams gehören die Bereiche Barrierefreiheit, Rechtsabteilung sowie weitere wie Zertifizierungen oder Trailhead. Auch wenn sie sich vielleicht nicht mit den größten Problemen der Kund:innen befassen, ist ihre Arbeit dennoch sehr wichtig, um uns dabei zu helfen, unsere Anforderungen hinsichtlich der Skalierbarkeit zu erfüllen und sicherzustellen, dass wir möglichst viele Kundenszenarien berücksichtigen.
Wir gewähren diesen Teams Zugriff auf unsere Tools und unser Framework, damit sie ihre eigenen Tests durchführen können. Als Leiter des AI-Ops-Teams ist dies ein wesentlicher Bestandteil meines Entwicklungsplans. Es geht darum, unseren Bewertungsprozess offenzulegen, um den Bedürfnissen aller unserer Kund:innen besser gerecht zu werden.
Die wichtigste Erkenntnis: Nutzen Sie Ihre Partner!
Nächste Schritte
Die Zukunft der Antwortqualität bietet zahlreiche Möglichkeiten. Sobald neue Tools zur Verfügung stehen, werden wir die Art und Weise, wie wir die Leistung unserer Agents messen und bewerten, kontinuierlich weiter verbessern.
Derzeit berücksichtigt die Antwortqualität lediglich eine einzige Antwort auf die Frage einer Kund:in. Auch wenn dies nützlich ist, möchten wir uns in Richtung Qualität der Unterhaltung bewegen: Dabei soll die gesamte Unterhaltung bewertet werden, nicht nur eine einzelne Antwort.
Wir prüfen derzeit zwei Ideen:
- Von der Qualität der Antworten zur Qualität der Unterhaltung:
Wir möchten ganze Unterhaltungen bewerten, nicht nur einzelne Antworten. Eine gute Antwort kann eine Reihe schlechter Antworten nicht wettmachen. Dies ist für uns ein so wichtiges Anliegen und eine solche Leidenschaft, dass wir derzeit neue und andere Wege erkunden, um unser derzeitiges Modell zu erweitern und weiterzuentwickeln, damit es auch die Möglichkeit bietet, die gesamte Unterhaltung auszuwerten. Unser erster Ansatz sieht vor, dass wir ein zusammengesetztes Bewertungssystem für einzelne Durchgänge entwickeln können, das anschließend als eine auf mehreren Durchgängen basierende Qualitätskennzahl kommuniziert werden kann. Mit anderen Worten: Viele Antworten sorgen für gute Unterhaltungen. - Bewertung realer Unterhaltungen anhand von Akzeptanzkriterien:
Wir beabsichtigen, eine Reihe allgemeiner Standards – wie beispielsweise den Tonfall, Einfühlungsvermögen und den Flow der Unterhaltungen – auf echte Kundenchats anzuwenden. Dies wird uns dabei helfen, echte Unterhaltungen in großem Umfang zu erfassen. Allerdings werden bei diesem Konzept keine Kriterien für die Richtigkeit der Antworten herangezogen. Also …
Um beurteilen zu können, ob die Antworten korrekt sind, erstellen wir Äußerungscluster: Gruppen ähnlicher Fragen. Dies ermöglicht es uns, Akzeptanzkriterien auf ganze Gruppen von Fragen anzuwenden, anstatt nur auf eine einzelne.
Wir arbeiten außerdem daran, die Vorgehensweise von Support-Techniker:innen und Customer-Success-Manager:innen bei der Problemlösung als „richtiges“ Modell zur Bewertung von Antworten heranzuziehen. Wir sind in der Lage, in großem Umfang sorgfältig geprüfte, demokratisierte Akzeptanzkriterien über mehrere Fragencluster hinweg zu erstellen. Das ist wirklich verdammt cool.
Letztendlich ist KI nur so leistungsfähig wie die Antworten, die sie liefert. Aus diesem Grund wird die Qualität der Antworten stets unser Leitstern sein, der uns dabei leitet, wie wir Agentforce für jede unserer Kund:innen gestalten, bewerten und verbessern. Diese Bemühungen zur Bewertung und Verbesserung der Antwortqualität sind für mein Team eine Herzensangelegenheit. Ich möchte jeden dazu ermutigen, in großen Dimensionen zu denken und etwas auszuprobieren, das sich unangenehm oder beängstigend anfühlt. Lassen Sie sich vom Geist eines Futuristen inspirieren, der darüber nachdenkt, was sein könnte. In diesem Sinne möchte ich zum Abschluss das Motto und das Leitmotiv meines Teams mit Ihnen teilen:
„Probieren Sie es einfach aus. Erfahren Sie mehr.“
Erfahren Sie mehr über KI-Agenten und wie sie Ihrem Unternehmen helfen können.
Der Agentforce-Leitfaden zu Argumentation, Themen, Anweisungen und Handlungen.
Mit diesen Skills erstellen Sie Ihr Agentforce Dream-Team
7 Support-Kennzahlen, die wir für Agentforce in der Hilfe überwachen
Wie mein Team mit KI-Agenten arbeitet – und warum auch Sie das tun sollten
Sind Sie bereit für den nächsten Schritt mit Agentforce?
Agentforce Agents bauen: So geht's
Informieren Sie sich in unserer Bibliothek über das Konfigurieren von KI-Assistenten.
Erhalten Sie fachkundige Beratung.
Führen Sie Agentforce ein – schnell, sicher und mit messbarem ROI.
Sprechen Sie mit uns
Erzählen Sie uns von Ihren Geschäftsanforderungen. Wir freuen uns darauf, Sie zu beraten.