볼거리와 즐길 거리가 가득한 Dreamforce는 참가자와 직원 모두에게 정보 과부하를 초래했습니다.
Dreamforce는 매년 열리는 세계 최대 규모의 기업 기술 행사입니다. 3일 동안 1,500개 이상의 세션을 통해 비즈니스와 커리어의 성장을 모색하는 4만 명 이상의 참가자들에게는 선택의 폭이 너무나 넓었습니다. 행사 세부 정보가 PDF, 웹사이트, 사전 안내 메일, Dreamforce 이벤트 앱 등에 흩어져 있었기 때문에, 참가자들이 자신에게 꼭 필요한 사람을 만나거나 적합한 세션을 찾는 것은 매우 까다로운 일이었습니다.
지난 몇 년간의 참가자 피드백에 따르면, 이벤트 앱에서 제공하는 로직 기반의 퀴즈 기능을 통한 일정 추천은 유용했지만, 일반적인 질문에 대한 답을 찾는 것은 여전히 어려웠습니다. 퀴즈는 사용자의 관심사에 따라 세션을 추천해 줄 수는 있었지만, 출입증 뱃지를 어디서 받는지나 행사장 Wi-Fi에 연결하는 방법 등 구체적인 운영 정보를 안내하는 데는 한계가 있었습니다.
행사 세부 정보를 찾아야 하는 장소가 너무 다양하다는 점은 현장 직원들에게도 큰 걸림돌이었습니다. 직원들 역시 참가자들과 마찬가지로 여러 문서를 일일이 뒤져야 했으며, 그중 상당수는 마지막에 변경된 사항이 실시간으로 반영되지 않은 문서들이었습니다. 중앙 집중화된 사용하기 쉬운 시스템이 부재했기에 정보 전달이 지연되거나 부정확한 경우가 발생했고, 이는 참가자와 직원 모두가 Dreamforce에서의 시간을 최대한으로 활용하는 데 어려움을 주었습니다.
Salesforce 이벤트 팀은 이벤트 앱에 직접 구축된 효율적인 솔루션을 통해 참가자 지원 서비스를 개선할 기회를 포착했습니다. 이 솔루션은 정확한 정보에 빠르고 신뢰할 수 있는 접근을 제공하며, 현장 직원들이 문의 사항을 즉각적으로 처리할 수 있는 역량을 강화해 줄 것입니다.
Agentforce가 Dreamforce의 복잡함을 해결합니다.
이벤트 팀은 Agentforce가 진정한 개인화와 상황 맞춤형 지원을 제공하는 자율형 AI 에이전트를 구축할 완벽한 기회라는 것을 즉시 깨달았습니다. Agentforce는 Salesforce 플랫폼 위에 구축된 새로운 에이전틱(Agentic) 계층입니다. 팀은 미리 프로그래밍된 질문에 시나리오대로만 답변하는 기존의 기본적인 봇으로는 Dreamforce의 방대하고 다양한 세션과 경험을 고려한 참가자들의 니즈를 충족할 수 없다는 점을 잘 알고 있었습니다.
Dreamforce 2024 참가자들의 정보 과부하를 덜어주기 위해, Salesforce 팀은 이벤트 앱에 통합된 자율형 에이전트인 Ask Astro를 구축했습니다. Ask Astro는 행사장에서 어디로 가야 할지, 무엇을 해야 할지에 대한 고민을 덜어주도록 설계되었습니다. 참가자가 자연어로 질문을 던지면, Ask Astro는 행사장, 연사, 세션에 대한 정확하고 최신 정보를 제공합니다. 심지어 참가자들이 Dreamforce에서의 시간을 최대한 활용할 수 있도록 개인화된 추천을 곁들인 일정을 직접 짜주기도 합니다.
Dreamforce 2024의 한 참가자는 "이 앱이 저를 살렸어요. 이게 없었다면 행사를 제대로 즐기지 못했을 거예요"라고 소감을 밝히기도 했습니다.
Agentforce를 통해 단 2주 만에 서비스 에이전트 배포 완료
Salesforce 플랫폼을 활용하여 팀은 단 2주 만에 Ask Astro의 첫 번째 버전을 출시했습니다. 이는 Microsoft Azure에서 OpenAI를 사용했을 때보다 무려 190%나 빠른 속도입니다. 에이전트 빌더(Agent Builder)의 간편한 로우코드(low-code) 도구 덕분에 에이전트를 쉽게 구축, 구성, 테스트 및 개선하여 Dreamforce 일정에 맞춰 준비할 수 있었습니다.
엔지니어들은 Ask Astro가 수행하기를 원하는 작업을 설정하고, 자연어 지침을 사용하여 에이전트가 올바른 정보로 안내받도록 했으며, 에이전트가 호출할 수 있는 액션 라이브러리를 생성했습니다. 그 후, 에이전트가 제대로 작동하는지 확인하기 위해 테스트와 디버깅 단계로 넘어갔습니다.
Ask Astro의 답변을 테스트하고 주제를 벗어난 레이블이나 시간대 변환과 같은 문제를 수정하는 작업은 빠르고 간편했습니다. 에이전트 빌더를 통해 디버깅 주기(debugging cycles)가 기존 몇 주에서 평균 30초로 단축되었습니다. 테스트를 마칠 무렵, 올바른 정보를 검색하는 Ask Astro의 정확도는 80%에서 거의 100%로 급상승했습니다.
개인화된 답변을 제공하기 위해 Ask Astro는 실시간 참가자 데이터와 Salesforce 데이터에 접근해야 했습니다. Data Cloud와 Salesforce AI를 통해 Ask Astro는 각 사용자의 역할, 업종, 선호도, 심지어 과거 행동 데이터를 활용하여 개인화되고 관련성 높은 제안을 전달할 수 있었습니다.
Ask Astro가 고객 데이터에 접근하기 때문에, 해당 데이터의 프라이버시를 유지하기 위한 통제권을 설정하는 것이 매우 중요했습니다. 팀은 트러스트 레이어(Trust Layer) 기능을 사용하여 Ask Astro가 민감한 정보를 절대 공유하지 않도록 했으며, 시작부터 끝까지 보안이 유지된 상태로 구축되었습니다.
Data Cloud와 MuleSoft가 23,171개의 질문에 대한 정확한 답변을 보장했습니다.
Ask Astro의 성공에는 참가자, 직원, 일정, 연사 및 행사장에 대한 실시간 정보 접근이 결정적이었습니다. 이를 위해 Data Cloud는 물론, Dreamforce 운영을 지원하는 이벤트 관리 플랫폼인 Rainfocus와의 연결이 필요했습니다. MuleSoft Anypoint Studio를 활용하여 이러한 통합은 단 45분 만에 완료되었습니다.
이러한 정보와 Salesforce AI를 바탕으로, Ask Astro는 참가자와 직원들에게 빠르고 정확한 도움을 제공할 수 있었습니다. 사람들은 "P!nk의 공연은 언제인가요?", "Wi-Fi에 어떻게 접속하나요?", "동종 업계 사람들을 어떻게 만날 수 있나요?", "Lodge Village에 대해 알려주세요"와 같은 질문을 던졌고, 각자의 업종과 관심사에 맞춤화된 답변을 얻었습니다.
BACA Systems의 Salesforce 아키텍트인 앤드류 루소(Andrew Russo)는 "단 몇 주 만에 완전히 기능하는 에이전트를 출시할 수 있다는 것은 완전히 게임의 판도를 바꾸는 일입니다. Dreamforce에서 Ask Astro를 사용한 덕분에 시간을 효율적으로 관리하고, 자칫 놓칠 뻔했던 가치 있는 세션들을 발견할 수 있었습니다"라고 말했습니다.
질문에 답하는 것 외에도, Ask Astro는 참가자들이 목표에 따라 세션을 추가하거나 조정하는 등 이벤트 일정을 관리하는 데 직접적인 도움을 주었습니다. 총 7,445명의 참가자가 인당 평균 3회씩 대화를 나누었으며, Ask Astro가 이러한 단순 요청들을 처리해 준 덕분에 현장 직원들은 출입증 재발급이나 프로덕션 물류와 같은 더 복잡한 업무에 집중할 시간을 확보할 수 있었습니다. 이는 참가자와 직원 모두의 경험을 개선했으며, 순 추천 지수(NPS)가 전년 대비 9점 상승하는 결과로 이어졌습니다.
Data Cloud 하이브리드 검색과 내장된 RAG가 Ask Astro의 정확도를 높였습니다.
적절한 정보를 찾기 위해서는 Ask Astro가 각 질문을 이해하고, 여러 데이터 소스가 결합된 정보에서 관련 세부 사항을 찾아 매칭하는 과정이 필요했습니다. 세션, 후원사, 연사 정보와 같은 이벤트 정보는 Rainfocus에 저장되어 있었고, 네트워킹 기회, 식음료 옵션, 현장 활동 등 구체적인 세부 사항은 직원들이 작성한 FAQ 문서로 제공되었습니다. 참가자들에게 유용한 답변을 제공하기 위해, Ask Astro는 응답하기 전에 이 두 소스를 모두 확인해야 했습니다. Salesforce 엔지니어들은 이를 실현하기 위해 Data Cloud 하이브리드 검색(Hybrid Search)과 Agentforce의 내장된 검색 증강 생성(RAG) 기술을 활용했습니다.
Data Cloud 하이브리드 검색은 키워드 검색과 벡터 검색을 결합한 방식입니다. 키워드 검색은 특정 단어의 일치 여부를 확인하고, 벡터 검색은 개념의 의미를 추출합니다. 이 두 방식을 함께 사용하면 참가자의 질문에 약간의 오타가 있더라도 Ask Astro가 그 의도를 이해할 수 있습니다.
RAG는 Ask Astro가 Dreamforce 콘텐츠로 별도의 학습을 거치지 않은 파운데이션 모델을 사용함에도 불구하고, Data Cloud 내의 최신 관련 정보에 접근할 수 있게 해줍니다. 모델의 기존 지식에만 의존하는 대신, RAG는 세션 상세 정보, 후원사 정보, FAQ 문서와 같은 소스에서 실시간으로 신선한 데이터를 가져옵니다. 덕분에 Ask Astro는 별도의 맞춤형 학습 없이도 정확하고 맥락에 맞는 답변을 제공할 수 있습니다.
Data Cloud 하이브리드 검색과 RAG를 활용함으로써, Ask Astro는 Dreamforce 기간인 3일 동안 23,171개의 신속하고 정확한 답변을 제공했습니다.
단 몇 주 만에 완벽하게 작동하는 에이전트를 출시할 수 있다는 것은 완전히 게임의 판도를 바꾸는 일입니다. Dreamforce에서 Ask Astro를 사용한 덕분에 시간을 효율적으로 관리하고, 자칫 놓칠 뻔했던 가치 있는 세션들을 발견할 수 있었습니다.
Andrew RussoSalesforce 아키텍트, BACA Systems
Agentforce를 통해 Salesforce는 단 2주 만에 자율적이고 정확한 서비스 에이전트를 배포했습니다. 이는 Microsoft Azure에서 OpenAI를 사용했다면 몇 달이 걸렸을 과정입니다. Salesforce 플랫폼은 참가자, 이벤트 및 행사장의 실시간 데이터를 통합하여, Ask Astro가 마지막 순간의 변경 사항에 관계없이 개인화된 최신 정보를 제공할 수 있도록 했습니다. Ask Astro는 참가자가 필요한 정보를 찾도록 도왔을 뿐만 아니라, 그들의 관심사와 목표에 맞춰 일정을 수정해 줌으로써 시간을 절약해 주었습니다. 이는 참가자들에게 훌륭한 경험을 선사했고, 현장 직원들이 더 복잡한 요청을 돕는 데 집중할 수 있게 했으며, Dreamforce의 NPS(순 추천 지수) 9점 향상에 기여했습니다.
