Was ist Retrieval Augmented Generation (RAG)?

Das kanadische Unternehmen Algo Communications stand 2023 vor einer Herausforderung: Die Einarbeitung der Kundenservicemitarbeiter:innen konnte nicht mit dem rasanten Wachstum Schritt halten. Um diese Herausforderung zu meistern, entschied sich das Unternehmen für generative KI als Grundlage einer ganz neuartigen Lösung.

Mit einem großen Sprachmodell (Large Language Model, LLM) beschleunigt Algo das Onboarding neuer Kundenservicemitarbeiter:innen. Herkömmliche LLM werden mit Daten aus dem öffentlichen Internet trainiert und verfügen daher nicht über den geschäftsspezifischen Kontext zum nahtlosen und korrekten Beantworten komplexer Kundenfragen, den Algo benötigt. Hier kommt abrufaugmentierte Generierung (Retrieval Augmented Generation oder RAG) ins Spiel.

Viele von uns haben bereits über Chat-Apps wie ChatGPT von OpenAI oder Gemini von Google (ehemals Bard) ein generatives KI-LLM verwendet, um eine E-Mail zu schreiben oder clevere Social-Media-Texte zu erstellen. Die Ergebnisse sind erfahrungsgemäß durchwachsen – umso mehr, wenn Sie die hohe Kunst und Wissenschaft der Prompt-Erstellung noch nicht gemeistert haben.

Das hat einen guten Grund: Ein KI-Modell ist nur so gut wie das, was ihm beigebracht wird. Um sein ganzes Potenzial zu entfalten, braucht es nicht generische Informationen, sondern den richtigen Kontext und Unmengen von Fakten. Ein LLM von der Stange ist nicht immer auf dem neuesten Stand, hat keinen verlässlichen Zugang zu Ihren Daten und keinen Einblick in Ihre Kundenbeziehungen. RAG schafft Abhilfe.

RAG ist eine KI-Methodik, mit der Unternehmen ihre aktuellsten und relevantesten proprietären Daten automatisch direkt in ihre LLM-Prompts integrieren. Das umfasst nicht nur strukturierte Daten aus einer Tabellenkalkulation oder einer relationalen Datenbank. Abgerufen werden alle verfügbaren Daten, einschließlich unstrukturierter Daten: E-Mails, PDFs, Chat-Protokolle, Social-Media-Posts und andere Arten von Informationen. Das Ergebnis ist ein optimiertes KI-Output.

Kurz gesagt: RAG hilft Unternehmen, ihre Daten aus verschiedenen internen Quellen abzurufen und zu nutzen, um bessere Ergebnisse mit generativer KI zu erzielen. Da das Ausgangsmaterial aus Ihren eigenen vertrauenswürdigen Daten stammt, werden Halluzinationen reduziert oder sogar eliminiert, ebenso wie anderes inkorrektes Output. Das bedeutet: Sie können sich darauf verlassen, dass die Antworten relevant und korrekt sind.

Um diese erhöhte Genauigkeit zu erreichen, arbeitet RAG mit einer speziellen Art von Datenbank zusammen, der sogenannten Vektordatenbank. Daten werden darin in einem numerischen Format gespeichert, das für KI optimiert und auf Abruf (per Prompt) verfügbar ist.

„RAG funktioniert nur so gut wie die Vektordatenbank“, erklärt Ryan Schellack, Director of AI Product Marketing bei Salesforce. „Beides geht Hand in Hand. Die Unterstützung von Retrieval Augmented Generation umfasst mindestens zwei Aspekte: einen Vektorspeicher zum Speichern von Informationen und einen Suchmechanismus für maschinelles Lernen, der für diese Art von Daten konzipiert ist.“

In Kombination mit einer Vektordatenbank kann RAG ein leistungsstarkes Tool zum Erzielen besserer LLM-Ergebnisse sein. Eine Wunderwaffe ist sie allerdings nicht. Benutzer:innen müssen weiterhin das Verfassen klarer Prompts beherrschen.

Chat-Protokolle, zwei Jahre E-Mail-Verlauf und mehr: Nach dem Einspeisen enormer Mengen unstrukturierter Daten in die Vektordatenbank, begannen ein paar Servicemitarbeiter:innen bei Algo Communications im Dezember 2023 mit dem Testen dieser Technologie. Sie arbeiteten mit einer kleinen Stichprobe von rund 10 % der Unternehmensprodukte. Es dauerte etwa zwei Monate, bis sich die Servicemitarbeiter:innen mit dem Tool vertraut gemacht hatten. Die Implementierungsphase beeindruckte die Unternehmensführung, weil die Servicemitarbeiter:innen dank der Unterstützung durch RAG mehr Vertrauen in die Beantwortung komplexer Fragen gewannen. Das gab den Anstoß zur unternehmensweiten Bereitstellung von RAG.

„Das Experimentieren mit RAG zeigte uns, dass wir damit weitaus mehr Daten einbeziehen können“, erklärt Ryan Zoehner, Vice President, Commercial Operations bei Algo Communications. „Wir können damit viele dieser hochkomplexen Antworten komplexen Antworten in fünf oder sechs Schritte aufschlüsseln. Das gibt Kund:innen die Gewissheit, dass Ihre Fragen technisch versiert beantwortet werden.“

Bereits zwei Monate nach der Einführung von RAG konnte das Kundenserviceteam von Algo Vorgänge schneller und effizienter abschließen und neue Anfragen um 67 % schneller bearbeiten. RAG umfasst mittlerweile 60 % der Produkte an expandiert weiter. Das Unternehmen hat auch damit begonnen, neue Chat-Protokolle und Konversationen in die Datenbank aufzunehmen, um seine Lösung mit noch relevanterem Kontext zu untermauern. Durch den Einsatz von RAG konnte Algo die Onboarding-Zeit halbieren und das Wachstum beschleunigen.

„RAG macht uns effizienter“, sagt Zoehner. „Die Zufriedenheit der Mitarbeiter:innen steigt, und das Onboarding geht schneller. Der große Unterschied zu allem anderen, was wir zuvor mit LLMs versucht haben, ist jedoch, dass wir mit RAG unsere Marke, unsere Identität und unser Ethos als Unternehmen schützen.“

Da RAG die Kundenservicemitarbeiter:innen von Algo mit KI unterstützt, kann das Team mehr Zeit darauf verwenden, Kundeninteraktionen menschlicher zu gestalten.

„Es gibt unserem Team das bisschen mehr Luft, um sicherzustellen, dass die Antwort richtig ankommt“, so Zoehner. „Diese Menschlichkeit ermöglicht es uns, unsere Marke konsequent zu vermitteln. Außerdem verfügen wir nun über durchgängige Qualitätssicherung.“