검색 증강 생성(RAG)이란 무엇인가요?

2023년 캐나다에 본사를 둔 Algo Communications는 도전에 직면했습니다. 이 회사는 빠르게 성장할 준비가 되어 있었지만 고객 서비스 담당자(CSR)를 빠르게 교육하지 못해 사업 확장에 발맞추지 못했습니다. 이 문제를 해결하기 위해 이 회사는 새로운 솔루션인 제너레이티브 AI로 눈을 돌렸습니다.

Algo는 새로운 CSR을 더 빠르게 온보딩할 수 있도록 대규모 언어 모델 (LLM)을 채택했습니다. 복잡한 고객 질문에 정확하고 유창하게 답변하도록 훈련시키기 위해서는 일반적으로 공개 인터넷에서 훈련되고 질문에 정확하게 답변하는 데 필요한 특정 비즈니스 컨텍스트가 부족한 기성품 LLM보다 더 강력한 것이 필요하다는 것을 알고 있었습니다. 검색 증강 생성(간단히 RAG라고도 함)을 입력합니다.

지금쯤이면 이미 많은 사람들이 OpenAI의 ChatGPT나 Google의 Gemini(구 Bard)와 같은 채팅 앱을 통해 생성형 AI LLM을 사용하여 이메일을 작성하거나 멋진 소셜 미디어 카피를 작성하는 데 도움을 받고 있을 것입니다. 하지만 최상의 결과를 얻는 것이 항상 쉬운 것은 아니며, 특히 훌륭한 프롬프트를 만드는 데 필요한 예술과 과학적 기술을 익히지 못했다면 더욱 그렇습니다.

그 이유는 다음과 같습니다: AI 모델은 학습한 만큼만 성능이 향상됩니다. 이를 성공시키기 위해서는 일반적인 정보가 아닌 적절한 맥락과 사실적인 데이터가 필요합니다. 기성 LLM은 항상 최신 상태인 것은 아니며, 데이터에 대한 신뢰할 수 있는 액세스 권한이나 고객 관계를 파악할 수 없습니다. RAG가 도와드릴 수 있는 곳입니다.

RAG는 기업이 가장 최신의 관련성 높은 독점 데이터를 LLM 프롬프트에 직접 자동으로 삽입할 수 있는 AI 기술입니다. 스프레드시트나 관계형 데이터베이스와 같은 구조화된 데이터만 말하는 것이 아닙니다. 이메일, PDF, 채팅 로그, 소셜 미디어 게시물, 기타 더 나은 AI 결과물로 이어질 수 있는 기타 유형의 정보 등 비정형 데이터를 포함하여 사용 가능한 모든 데이터를 검색하는 것을 의미합니다.

간단히 말해, RAG는 기업이 다양한 내부 소스에서 데이터를 검색하고 사용하여 더 나은 AI 결과를 생성할 수 있도록 지원합니다. 소스 자료는 신뢰할 수 있는 자체 데이터에서 가져오기 때문에 환각이나 기타 잘못된 출력을 줄이거나 없애는 데 도움이 됩니다. 결론: 관련성 있고 정확한 답변을 신뢰할 수 있습니다.

이렇게 향상된 정확도를 달성하기 위해 RAG는 벡터 데이터베이스라는 특수한 유형의 데이터베이스와 함께 작동하여 AI에 적합한 숫자 형식으로 데이터를 저장하고 메시지가 표시될 때 데이터를 검색합니다.

"벡터 데이터베이스가 제 역할을 하지 않으면 RAG는 제 역할을 할 수 없습니다."라고 Salesforce의 AI 제품 마케팅 디렉터인 Ryan Schellack은 말합니다. "이 두 가지는 서로 밀접한 관련이 있습니다. 검색 증강 생성을 지원한다고 말하는 회사를 보면 최소한 두 가지, 즉 정보를 저장하는 벡터 저장소와 해당 유형의 데이터에 대해 작동하도록 설계된 일종의 머신 러닝 검색 메커니즘을 지원하는 것입니다."

벡터 데이터베이스와 함께 사용하면 RAG는 더 나은 LLM 결과물을 생성하는 강력한 도구가 될 수 있지만, 만병통치약은 아닙니다. 사용자는 여전히 명확한 프롬프트 작성의 기본 사항을 이해해야 합니다.

채팅 로그와 2년간의 이메일 기록 등 엄청난 양의 비정형 데이터를 벡터 데이터베이스에 추가한 Algo Communications는 2023년 12월부터 몇몇 CSR을 대상으로 이 기술을 테스트하기 시작했습니다. 그들은 회사 제품 기반의 약 10%에 해당하는 소규모 샘플 세트를 대상으로 작업했습니다. CSR 담당자가 이 도구에 익숙해지는 데는 약 두 달이 걸렸습니다. 실행 과정에서 회사 경영진은 CSR 담당자가 RAG의 도움을 받아 심도 있는 질문에 답할 수 있는 자신감을 얻게 된 것을 보고 매우 기뻐했습니다. 이 시점에서 회사는 회사 전체에 RAG를 더 광범위하게 배포하기 시작했습니다.

"RAG를 살펴본 결과 훨씬 더 많은 데이터를 가져올 수 있다는 것을 알게 되었습니다."라고 Algo Communications의 상업 운영 담당 부사장인 Ryan Zoehner는 말합니다. "정말 복잡한 답변을 세분화하여 고객이 기술적으로 정통한 답변자가 있다는 것을 알 수 있는 방식으로 5-6개 부분으로 구성된 답변을 제공할 수 있게 되었습니다."

RAG를 추가한 지 불과 두 달 만에 Algo의 고객 서비스 팀은 케이스를 더 빠르고 효율적으로 완료할 수 있었고, 이를 통해 새로운 문의를 67% 더 빨리 처리할 수 있었습니다. RAG는 현재 자사 제품의 60%에 적용되고 있으며 계속 확장할 예정입니다. 또한 새로운 채팅 로그와 대화를 데이터베이스에 추가하기 시작하여 더욱 관련성 높은 맥락으로 솔루션을 강화했습니다. 또한 RAG를 사용함으로써 Algo는 온보딩 시간을 절반으로 단축하여 더 빠르게 성장할 수 있었습니다.

"RAG는 저희의 효율성을 높여주고 있습니다."라고 조너는 말합니다. "직원들이 업무에 더 만족하고 모든 것을 더 빠르게 온보딩하는 데 도움이 되고 있습니다. LLM을 통해 우리가 시도했던 다른 모든 것과 다른 점은 브랜드, 정체성, 회사로서의 정신을 유지할 수 있었다는 점입니다."

RAG가 Algo의 CSR에 AI 어시스턴트를 제공한 덕분에 팀은 고객과의 상호작용에 인간적인 감성을 더하는 데 더 많은 시간을 할애할 수 있게 되었습니다.

조너는 "이를 통해 우리 팀은 대응이 제대로 이루어지고 있는지 확인하는 데 조금 더 시간을 할애할 수 있습니다."라고 말합니다. "이러한 인간애를 바탕으로 모든 분야에 걸쳐 브랜드를 알릴 수 있었습니다. 또한 전반적으로 품질 보증을 받을 수 있습니다."