Vad är Retrieval Augmented Generation (RAG)?

2023 stod Kanada-baserade Algo Communications inför en utmaning. Företaget var redo för snabb tillväxt, men det kunde inte utbilda kundtjänstrepresentanter (CSR) tillräckligt snabbt för att hänga med i sin expansion. För att tackla denna utmaning vände sig företaget till en ny lösning: generativ AI.

Algo antog en stor språkmodell (LLM) för att hjälpa nya CSRs snabbare. För att utbilda dem att svara på komplexa kundfrågor med noggrannhet och flyt, visste Algo att det behövde något mer robust än en färdig LLM, som vanligtvis utbildas på det offentliga internet, och saknar det specifika affärssammanhang som behövs för att svara på frågor exakt. Gå in i utökad generation för hämtning, bättre känd som RAG.

Vid det här laget har många av oss redan använt en generativ AI LLM genom chattappar som OpenAIs ChatGPT eller Googles Gemini (tidigare Bard) för att hjälpa till att skriva ett e-postmeddelande eller skapa en smart kopia på sociala medier. Men att få de bästa resultaten är inte alltid lätt - särskilt om du inte har spikat konsten och vetenskapen om att skapa en fantastisk prompt.

Här är anledningen: En AI-modell är bara så bra som den lärs ut. För att den ska trivas behöver den rätt sammanhang och mängder av faktadata – och inte generisk information. En färdig LLM är inte alltid uppdaterad och kommer inte heller att ha pålitlig tillgång till dina data eller förstå dina kundrelationer. Det är där RAG kan hjälpa till.

RAG är en AI-teknik som gör att företag automatiskt kan bädda in sina mest aktuella och relevanta proprietära data direkt i sin LLM-prompt. Och vi pratar inte bara om strukturerad data som ett kalkylblad eller en relationsdatabas. Vi menar att hämta all tillgänglig data, inklusive ostrukturerad data: e-postmeddelanden, PDF-filer, chattloggar, inlägg på sociala medier och annan typ av information som kan leda till bättre AI-utdata.

I ett nötskal hjälper RAG företag att hämta och använda sin data från olika interna källor för bättre generativa AI-resultat. Eftersom källmaterialet kommer från dina egna betrodda data, hjälper det till att minska eller till och med eliminera hallucinationer och andra felaktiga utdata. Sammanfattning: Du kan lita på att svaren är relevanta och korrekta.

För att uppnå denna förbättrade noggrannhet arbetar RAG tillsammans med en specialiserad typ av databas – kallad vektordatabas – för att lagra data i ett numeriskt format som är vettigt för AI, och hämta det när du uppmanas.

"RAG kan inte göra sitt jobb utan att vektordatabasen gör sitt jobb", säger Ryan Schellack, chef för AI-produktmarknadsföring på Salesforce. "De två går hand i hand. När du ser ett företag prata om att stödja utökad generering för hämtning, stöder de åtminstone två saker: ett vektorlager för att lagra information och sedan någon typ av maskinlärande sökmekanism utformad för att arbeta mot den typen av data."

Genom att arbeta tillsammans med en vektordatabas kan RAG vara ett kraftfullt verktyg för att generera bättre LLM-utdata, men det är inte en silverkula. Användare måste fortfarande förstå grunderna för att skriva en tydlig uppmaning.

Efter att ha lagt till en enorm mängd ostrukturerad data till sin vektordatabas, inklusive chattloggar och två års e-posthistorik, började Algo Communications testa denna teknik i december 2023 med några av sina CSR:er. De arbetade på ett litet urval: cirka 10 % av företagets produktbas. Det tog ungefär två månader för CSR:erna att bli bekväma med verktyget. Under implementeringen var företagsledningen glada över att se CSR:er få större förtroende för att svara på djupgående frågor med hjälp av RAG. Vid denna tidpunkt började företaget rulla ut RAG bredare över hela företaget.

"Att utforska RAG hjälpte oss att förstå att vi skulle kunna ta in så mycket mer data", säger Ryan Zoehner, vice president, kommersiell verksamhet för Algo Communications. "Det skulle tillåta oss att bryta ner många av dessa riktigt komplexa svar och leverera fem- och sexdelade svar på ett sätt som kunderna visste att [det] fanns någon tekniskt kunnig som svarade dem."

På bara två månader efter att RAG lade till kunde Algos kundserviceteam snabbare och effektivare slutföra ärenden, vilket hjälpte dem att gå vidare till nya förfrågningar 67 % snabbare. RAG berör nu 60 % av sina produkter och kommer att fortsätta expandera. Företaget började också lägga till nya chattloggar och konversationer i databasen, vilket förstärkte sin lösning med ännu mer relevant sammanhang. Användningen av RAG har också gjort det möjligt för Algo att halvera sin onboarding-tid, vilket gör det möjligt för den att växa snabbare.

"RAG gör oss mer effektiva," sa Zoehner. "Det gör våra anställda nöjdare med sitt jobb och hjälper oss att gå ombord allt snabbare. Det som har gjort det här annorlunda från allt annat vi försökt göra med LLM är att det tillät oss att behålla vårt varumärke, vår identitet och etiken för vem vi är som företag."

Med RAG som ger Algos CSR:er en AI-assistans, har teamet kunnat ägna mer tid åt att lägga till en mänsklig touch till kundinteraktioner.

"Det gör att vårt team kan spendera lite extra på att se till att responsen landar på rätt sätt," sa Zoehner. "Den mänskligheten tillåter oss att föra vårt varumärke över allt. Det ger oss också kvalitetssäkring över hela linjen.”