Salesforce วัดคุณภาพคำตอบสำหรับ Agentforce บนความช่วยเหลือ Salesforce อย่างไร

โดย Zachary Stauber, ผู้อำนวยการอาวุโสฝ่าย Digital Success, AI

เป้าหมายของการบริการตนเองคือการช่วยให้ลูกค้าได้รับคำตอบอย่างรวดเร็วมาโดยตลอด แต่เราต้องการก้าวไปให้ไกลกว่านั้น เมื่อห้าปีก่อน เรามุ่งมั่นที่จะนิยามการบริการตนเองขึ้นใหม่ ไม่ใช่เพียงทำให้รวดเร็วยิ่งขึ้น แต่ยังทำให้ลูกค้ารู้สึกมั่นใจและมีศักยภาพในการจัดการด้วยตนเอง เราเชื่อว่าผู้คนควรรู้สึกว่าได้รับการสนับสนุน แม้ไม่มีมนุษย์คอยช่วยเหลือ ความเชื่อนั้นนำไปสู่การก่อตั้งทีม Digital Success ของเรา

เมื่อเราเปิดตัว Agentforce บน Salesforce Help เป็นครั้งแรก เรารู้สึกตื่นเต้นกับศักยภาพของระบบนี้ เรามองว่านี่เป็นโอกาสที่จะเพิ่มความเป็นอิสระให้กับประสบการณ์การบริการตนเอง ซึ่งเป็นสิ่งที่เราพยายามพัฒนามานานหลายปี สำหรับพวกเราที่ใช้เวลานับไม่ถ้วนในการสร้างบทสนทนาของแชทบอท AI การสร้าง และ โมเดลภาษาขนาดใหญ่ ให้ความรู้สึกเหมือนเป็นความก้าวหน้าครั้งสำคัญ นี่คือสิ่งที่เปลี่ยนเกมไปอย่างสิ้นเชิง

แต่แล้ววันที่ 2 ก็มาถึง ความตื่นเต้นลดลงเล็กน้อย และคำถามยาก ๆ ก็เริ่มเกิดขึ้น โดยเฉพาะคำถามนี้:

คำถามนั้นสร้างแรงกดดันอย่างแท้จริง เรามองว่านี่เป็นโอกาสที่จะเป็นผู้นำ แต่เราจำเป็นต้องมีแผนที่มั่นคง ซึ่งเป็นแผนที่ช่วยให้เราเติบโต เรียนรู้ และปรับปรุง Agentforce ในแบบที่เป็นประโยชน์ต่อลูกค้าและ วัดผลได้

นี่เป็นเส้นทางที่มีความหมายอย่างมาก แม้จะยังมีสิ่งที่ต้องทำอีกมาก แต่ฉันภูมิใจอย่างยิ่งในทีมของเราและความก้าวหน้าที่เราได้ทำในการผลักดันและทำความเข้าใจคุณภาพคำตอบของ Agentforce บน Help

คุณภาพคำตอบ คือเปอร์เซ็นต์ของคำตอบจาก Agentforce ที่ผ่านเกณฑ์การยอมรับของเราหลังจากมีการถามคำถามแต่ละข้อ เราเรียกสิ่งนี้ว่า “เทิร์น” ในการสนทนา และการประเมินคุณภาพคำตอบของเราในปัจจุบันได้รับการปรับให้เหมาะกับเทิร์นแรกของการสนทนา ต่อไปฉันจะอธิบายเพิ่มเติมเล็กน้อยว่าเราวางแผนพัฒนาแนวทางนี้อย่างไร แต่สำหรับวิธีการเริ่มต้นนี้ เป็นเพียงการตรวจสอบแบบผ่าน/ไม่ผ่านที่ตรงไปตรงมา คำตอบจะผ่านเกณฑ์หรือไม่ผ่านเกณฑ์เท่านั้น และใช่ เราใช้ Agentforce เองในการวัดผลนี้

ตัวอย่างเช่น หากคุณถามคำถาม 100 ข้อ และคำตอบ 50 ข้อผ่านเกณฑ์ของคุณตั้งแต่ครั้งแรก นั่นหมายถึงคุณภาพคำตอบอยู่ที่ 50%

ไม่ได้หมายความว่าคำตอบอีก 50 ข้อผิดทั้งหมด เพียงแต่คำตอบเหล่านั้นยังไม่เป็นไปตามมาตรฐานที่คุณกำหนดไว้สำหรับคำตอบคุณภาพสูงอย่างครบถ้วน ในความเป็นจริง คำตอบของคุณอาจ “ถูกต้อง” มากกว่านั้น แต่เราเชื่อว่าการตั้งมาตรฐานไว้สูงตามสิ่งที่เราคิดว่าเป็นคำตอบที่ยอดเยี่ยมนั้นเป็นสิ่งสำคัญ

ด้วยเหตุนี้ คุณภาพคำตอบเพียงอย่างเดียวจึงไม่เพียงพอที่จะใช้ตัดสินประสิทธิผล เราต้องเจาะลึกมากขึ้นและรวมตัวชี้วัดสำคัญอย่างอัตราการแก้ไขปัญหาและอัตราการส่งต่อด้วย ตัวอย่างเช่น เกณฑ์มาตรฐานคุณภาพคำตอบของเราในเดือนตุลาคม 2025 อยู่ที่ 60% โดยมีเป้าหมายที่จะเพิ่มเป็น 75% ภายในสิ้นปีนี้ ตัวเลขนี้อาจฟังดูต่ำ แต่เมื่อพิจารณาถึงความหลากหลายของคำถาม คำถามนอกประเด็นหรือ “บทสนทนาทั่วไป” รวมถึงลูกค้าที่ต้องการสร้างกรณีตั้งแต่เทิร์นแรก ตัวเลขนี้ถือว่าค่อนข้างสูงทีเดียว การพิจารณาภาพรวมทั้งหมดนี้ ทั้งคุณภาพคำตอบ อัตราการแก้ไขปัญหา และอัตราการส่งต่อ ทำให้เรามั่นใจว่าเราอยู่ในจุดที่ดีที่จะบรรลุผลลัพธ์ทางธุรกิจที่สำคัญ

หลังจากมั่นใจกับข้อมูลแล้ว เราจึงตั้งเป้าหมายที่จะทำให้คุณภาพคำตอบแตะ 75% ในปีนี้ ฉันยินดีที่จะแจ้งว่าในการทดสอบล่าสุด เราทำได้ถึง 76% แล้ว เราบรรลุผลนี้ด้วยการเสริมความแข็งแกร่งให้กรอบการทำงาน ปรับปรุงคอนเทนท์และกลยุทธ์ และใช้เครื่องมือ AI อย่าง RAG, การฝัง และข้อมูลเมตา ให้เกิดประโยชน์สูงสุด

จริง ๆ แล้วก็มีเพียงเท่านี้ ฉันจะเจาะลึกเพิ่มเติมว่าเราประเมินคุณภาพคำตอบอย่างไร แต่คำถามว่า “อะไรทำให้คำตอบเป็นคำตอบที่ดี?” ไม่จำเป็นต้องเป็นเรื่องที่คลุมเครือและซับซ้อนจนเกินรับมือ

เมื่อต้องจัดการกับคุณภาพคำตอบ เรามักทำให้เรื่องต่าง ๆ ซับซ้อนเกินไปได้ง่าย โดยเพิ่มตัวชี้วัดมากเกินไปจนหลงลืมสิ่งที่สำคัญจริง ๆ สิ่งนี้อาจนำไปสู่ความสับสน การถกเถียงที่ไม่รู้จบ และไม่มีแนวทางที่ชัดเจนในการเดินหน้าต่อ

สิ่งสำคัญคือการมุ่งเน้นไปที่เป้าหมายเดียวที่ชัดเจน ซึ่งทุกคนสามารถเห็นพ้องร่วมกันได้

สำหรับเรา เป้าหมายนั้นคือ: ช่วยให้ลูกค้าได้รับคำตอบสำหรับคำถามตลอด 24 ชั่วโมงทุกวัน พร้อมมีช่องทางที่ง่ายในการติดต่อมนุษย์หากจำเป็น

เมื่อเรามีเป้าหมายที่ชัดเจนแล้ว เราจึงเชื่อมโยงเป้าหมายนั้นเข้ากับผลลัพธ์ที่วัดผลได้สองข้อ:

1. เพิ่มอัตราการแก้ไขปัญหาของ Agentforce
2. ลดปริมาณเคสการสนับสนุนโดยรวม

สูตรนั้นเรียบง่าย:

จากนั้นเราจึงถามว่า: คำตอบที่มีคุณภาพคืออะไร?

หลังจากตรวจสอบการสนทนาจริง พูดคุยกับทีมและลูกค้า และศึกษาแนวทางปฏิบัติที่ดีที่สุดแล้ว เราจึงได้คำจำกัดความง่าย ๆ ดังนี้:

เราต้องการคำจำกัดความที่ทุกคนสามารถเข้าใจและนำไปใช้ได้ ไม่ว่าจะมีบทบาทหรือภูมิหลังแบบใด แม้ว่าตัวชี้วัด AI อย่าง RAG หรือความคล้ายคลึงแบบโคไซน์จะมีความสำคัญ แต่ก็ไม่ได้มีความหมายต่อผู้นำธุรกิจเสมอไป

ในช่วงแรก เมื่อฉันพูดอะไรทำนองว่า “ค่าความคล้ายคลึงแบบโคไซน์ของคุณอยู่ที่ 0.86” ทุกคนก็มองกลับมาด้วยสีหน้างุนงง นั่นคือช่วงเวลาที่เราตระหนักว่าเราต้องการวิธีอธิบายเรื่องคุณภาพที่เข้าใจและเข้าถึงได้ง่ายยิ่งขึ้น

ดังนั้น เราจึงสร้างระบบของเราขึ้นโดยยึดแนวคิดที่ชัดเจนและเป็นที่เข้าใจร่วมกันว่า: คำตอบที่ยอดเยี่ยมต้องเกี่ยวข้อง ถูกต้อง และครบถ้วน

เมื่อเรามีแนวคิดและคำจำกัดความที่ชัดเจนสำหรับคุณภาพคำตอบแล้ว เราก็ต้องการผู้ที่มาจัดการกระบวนการ ค้นหาช่องว่าง และขับเคลื่อนการปรับปรุง

นั่นคือที่มาของบทบาท ผู้จัดการการประเมิน บทบาทใหม่ที่เราสร้างขึ้นในองค์กร โดยออกแบบมาเพื่อมุ่งเน้นที่คุณภาพคำตอบและการบริหารจัดการคุณภาพคำตอบสำหรับตัวแทนช่วยเหลือของเรา

ผู้ปฏิบัติงานรายบุคคลเหล่านี้มีหน้าที่ดูแลกรอบงานด้านคุณภาพคำตอบทั้งหมด ดำเนินการทดสอบ วิเคราะห์ผลลัพธ์ และแบ่งปันข้อมูลเชิงลึก พวกเขาต้องสามารถอธิบายแนวคิดที่ซับซ้อนด้วยภาษาที่เข้าใจง่าย และออกแบบการทดสอบที่เป็นประโยชน์ทั้งสำหรับวิศวกรและผู้บริหาร

เช่นเดียวกับหลาย ๆ คน เราไม่มีงบประมาณไม่จำกัดสำหรับจ้างทีมผู้เชี่ยวชาญด้านการประเมิน AI โดยเฉพาะ ดังนั้น เราจึงมองหาบุคลากรภายในองค์กร เราพบผู้ที่หลงใหลใน AI กระตือรือร้นที่จะเรียนรู้ และพร้อมที่จะทดลองและเรียนรู้อย่างรวดเร็ว ฉันภูมิใจกับทีมที่เราสร้างขึ้นและบทบาทใหม่นี้ ในมุมมองของฉัน ผู้จัดการการประเมิน จะกลายเป็นบทบาทสำคัญในทุกองค์กรที่ทำงานร่วมกับ ตัวแทน AI ในงานบริการและการสนับสนุน

บุคลากรเหล่านี้น่าจะมีอยู่แล้วในบริษัทของคุณ พวกเขาอาจเป็นวิศวกรฝ่ายสนับสนุน ผู้จัดการโปรแกรม หรือนักวิเคราะห์ข้อมูล ดังนั้น เมื่อคุณสร้างกลยุทธ์ด้านคุณภาพคำตอบ เราขอแนะนำให้คุณมองหาผู้มีความสามารถภายในทีมปัจจุบันที่ต้องการสร้างผลกระทบเชิงบวกต่อเส้นทาง AI ของคุณอยู่แล้ว

ประมาณหนึ่งเดือนหลังจากที่เราเปิดตัว ปริมาณการสนทนาของเราเพิ่มขึ้นเป็นหลายพันรายการในแต่ละสัปดาห์ เมื่อการใช้งาน Agentforce บน Help เพิ่มขึ้น ระบบการประเมินของเราก็ต้องเติบโตตามไปด้วย

เพื่อให้ทำเช่นนั้นได้ เราจึงสร้างระบบโดยอิงจากแนวคิด “ตัวแทนทดสอบตัวแทน” ซึ่งใช้ AI เพื่อประเมินการตอบกลับของ Agentforce เทียบกับ เกณฑ์การยอมรับ ที่ชัดเจน กล่าวคือ คำตอบต้อง เกี่ยวข้อง ถูกต้อง และ ครบถ้วน

อย่างไรก็ตาม การวิเคราะห์การสนทนาจริงของลูกค้าในวงกว้างนั้นทำได้ยาก ข้อมูลมีความหลากหลายมากเกินไปและควบคุมได้ไม่เพียงพอที่จะวัดประสิทธิภาพได้อย่างน่าเชื่อถือ ดังนั้น เราจึงสร้างแนวทางที่จัดการได้ง่ายและรองรับการขยายขนาดได้มากขึ้น โดยใช้สิ่งที่เราเรียกว่า ข้อความคำถามแบบสังเคราะห์

ข้อความคำถามแบบสังเคราะห์ คือคำถามของลูกค้าที่สมจริงแต่สร้างขึ้น โดยอ้างอิงจากข้อมูลการสนับสนุนจริง เช่น บันทึกกรณี การค้นหาบนเว็บ และช่องทางข้อเสนอแนะ สิ่งเหล่านี้สะท้อนถึง ปัญหาหลักของลูกค้า และเราอัปเดตรายการนี้เป็นประจำเพื่อให้สอดคล้องกับความต้องการในปัจจุบัน

เมื่อเราเปิดตัวในเดือนตุลาคม เรามีข้อความคำถามแบบสังเคราะห์ประมาณหนึ่งร้อยรายการ ปัจจุบัน เรามีอยู่หลายร้อยรายการ และกำลังตั้งเป้าให้มีเกือบหนึ่งพันรายการในเร็ว ๆ นี้ ซึ่งมากพอที่จะสะท้อนความต้องการของลูกค้าในวงกว้างได้อย่างมั่นใจ ขณะเดียวกันก็ยังช่วยให้เรามีสภาพแวดล้อมการทดสอบที่ควบคุมได้

สำหรับแต่ละคำถาม เราทำงานร่วมกับวิศวกรฝ่ายสนับสนุนและผู้เชี่ยวชาญด้านผลิตภัณฑ์เพื่อกำหนด เกณฑ์การยอมรับ ที่เฉพาะเจาะจง หรือข้อกำหนดเฉพาะที่ทำให้คำตอบสำหรับคำถามนั้นเป็นคำตอบที่ดี เกณฑ์เหล่านี้จะถูกเขียนลงในสิ่งที่เราเรียกว่า พร้อมท์สำหรับผู้ตัดสิน LLM ซึ่งช่วยให้ AI สามารถประเมินการตอบกลับของ Agentforce โดยอัตโนมัติในด้านความเกี่ยวข้อง ความถูกต้อง และความครบถ้วน

ต่อไปนี้คือตัวอย่างบางส่วนจากกรณีการใช้งานที่พบได้ทั่วไป

เมื่อมีข้อความคำถามแบบสังเคราะห์ที่สะท้อนคำถามของลูกค้าและเกณฑ์การยอมรับที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญเฉพาะด้านแล้ว เราก็ก้าวเข้าสู่ขั้นตอนถัดไปของการดำเนินงาน นั่นคือเครื่องมือ

ในช่วงแรก ๆ ของ Agentforce เราอ่านข้อความถอดเสียงจากทุกแชทด้วยตนเอง จริง ๆ นะ กระบวนการนี้ยุ่งยากและใช้เวลามาก เมื่อจำนวนการสนทนาเพิ่มขึ้น ไม่นานเราก็ไม่สามารถตามให้ทันได้

นั่นคือจุดที่ ข้อความคำถามแบบสังเคราะห์ และ เกณฑ์การยอมรับ กลายเป็นสิ่งสำคัญ สิ่งเหล่านี้ช่วยให้เราทดสอบ Agentforce ได้โดยไม่ต้องอาศัยการโต้ตอบกับลูกค้าจริง แต่เรายังต้องการเครื่องมือที่จะทำให้ ตัวแทนทดสอบตัวแทน เกิดขึ้นได้จริง

โชคดีที่ทีมวิศวกรรมอันยอดเยี่ยมของเราที่ Salesforce เข้ามาช่วย เราแจ้งข้อกำหนดให้ทีมทราบ และทีมได้สร้างเครื่องมือโดยใช้แอป Salesforce และ API สาธารณะของ Agentforce เราเรียกเครื่องมือนี้ว่า ตัวแทนทดสอบตัวแทน

วิธีการทำงานมีดังนี้

1. เราป้อนคลังข้อความคำถามแบบสังเคราะห์ (คำถามทดสอบ) และเกณฑ์การยอมรับของเราลงในเครื่องมือ
2. เครื่องมือจะถามคำถามนั้นกับ Agentforce ในสภาพแวดล้อมที่ใช้งานจริงของเรา
3. Agentforce จะตอบกลับ และเครื่องมือจะตรวจสอบคำตอบเทียบกับเกณฑ์การยอมรับของเรา
4. ผลลัพธ์ (ผ่าน/ไม่ผ่าน) จะแสดงในรายงาน Salesforce ซึ่งเราสามารถส่งออกไปยังเครื่องมือต่าง ๆ เช่น Sheets, Excel หรือ Tableau

กระบวนการนี้ทำให้เราได้ คะแนนคุณภาพคำตอบ

จากนั้น ผู้จัดการการประเมิน ของเราจะตรวจสอบคำตอบที่ไม่ผ่านและติดแท็กด้วย การจัดประเภทปัญหา ซึ่งเป็นป้ายกำกับที่อธิบายว่าเหตุใดคำตอบจึงไม่เป็นไปตามเกณฑ์

การจัดประเภทเหล่านี้ช่วยให้ผู้เชี่ยวชาญด้าน AI ของเราในฝ่ายกลยุทธ์ วิศวกรรม และวิทยาการข้อมูลสามารถตรวจสอบและแก้ไขปัญหาได้ ประเภทการจัดประเภทที่พบบ่อย ได้แก่ (แต่ไม่จำกัดเพียง):

การจัดประเภทปัญหา ของเรายังคงมีการพัฒนาอย่างต่อเนื่อง เมื่อเราเรียนรู้มากขึ้น เราก็ตระหนักว่าบางสิ่งที่เราเคยติดตามไม่ได้มีประโยชน์อย่างที่คิด และเราได้ปรับเปลี่ยนไปตามเวลา ตัวอย่างเช่น รายการเริ่มต้นของเรามีโซลูชันอย่าง ปัญหาการดึงข้อมูล สิ่งที่เราพบคือ การมีอนุกรมวิธานสำหรับการจัดประเภทปัญหาที่รวมโซลูชันเอาไว้ มีแนวโน้มที่จะทำให้เรามุ่งไปผิดทาง สิ่งที่เราได้เรียนรู้คือ การมุ่งเน้นที่ต้นตอของปัญหาจะช่วยให้คุณวิเคราะห์สาเหตุที่แท้จริงได้รวดเร็วยิ่งขึ้น และแก้ไขปัญหาที่แท้จริงได้

นอกจากนี้ จากความพยายามของเรา เรายังพบสิ่งที่บางครั้งเรียกว่า “ผลไม่ผ่านที่ผิดพลาด” ซึ่งเป็นสถานการณ์ที่ Agentforce ตอบคำถามได้อย่างถูกต้อง แต่เกณฑ์การยอมรับ เครื่องมือ หรือแม้แต่มุมมองของเราเองในฐานะมนุษย์ที่ประเมินคำตอบซึ่งยังไม่ได้ปรับเทียบให้สอดคล้องกัน อาจส่งผลต่อการตัดสินของเรา การเปิดรับความเป็นไปได้ของปัญหาประเภทนี้ช่วยให้เราสร้างแนวทางปฏิบัติที่แข็งแกร่งยิ่งขึ้น และจัดการกับข้อกังวลเรื่องความเชื่อมั่นในผลการค้นพบและข้อมูลเชิงลึกของเรา

เรายังมุ่งเน้นที่การรองรับการขยายขนาดและลดภาระงานของผู้จัดการการประเมินของเรา เพื่อช่วยในเรื่องนี้ เราได้เริ่มทดสอบการใช้ AI เพื่อระบุโดยอัตโนมัติว่าเหตุใดคำตอบจึงไม่ผ่าน โดยอิงจากคำจำกัดความของการจัดประเภทปัญหาของเรา ผลลัพธ์ในช่วงแรกมีแนวโน้มที่ดีมาก และเมื่อจำนวนข้อความคำถามแบบสังเคราะห์ของเรากำลังเพิ่มขึ้นจนเกิน 1,000 รายการ ฉันมั่นใจว่าทีมของเราจะสามารถรองรับความต้องการที่เพิ่มขึ้นได้ด้วยการใช้ AI

เรายังรู้สึกตื่นเต้นกับเครื่องมือใหม่ ๆ ใน Agentforce Observability ในฐานะ Customer Zero ของ Agentforce เราทำงานร่วมกับทีมผลิตภัณฑ์อย่างใกล้ชิดเพื่อทดลองคุณสมบัติต่าง ๆ เช่น Testing Center Session Tracing และอื่น ๆ เครื่องมือในตัวเหล่านี้กำลังกลายเป็นส่วนสำคัญของกลยุทธ์ของเรา และเรากำลังเตรียมเปลี่ยนไปใช้เครื่องมือเหล่านี้เมื่อเปิดให้ใช้งานทั่วไป เครื่องมือเหล่านี้จะช่วยให้เรื่องราวเกี่ยวกับคุณภาพคำตอบของเราชัดเจน เข้าใจง่าย และสื่อสารได้ง่ายยิ่งขึ้น พูดตามตรง ฉันอยากให้เรามีเครื่องมือเหล่านี้ตั้งแต่ตอนที่เราเปิดตัว Agentforce!

มาสรุปกัน เรามีชุดข้อความคำถามแบบสังเคราะห์ที่ครอบคลุมปัญหาหลักของลูกค้า ผู้เชี่ยวชาญของเราได้อนุมัติเกณฑ์การยอมรับสำหรับคำตอบที่ดีแล้ว และเรามีเครื่องมือสำหรับตรวจสอบคำตอบเหล่านี้ในวงกว้าง และเราก็มีองค์ประกอบสุดท้าย นั่นคือทีมผู้จัดการการประเมินที่ตรวจสอบผลลัพธ์เพื่อนำไปดำเนินการ

แล้วคุณควรทดสอบเมื่อใด? บ่อยแค่ไหน? ควรทดสอบแบบใดบ้าง?

สำหรับเรา ในฐานะทีมปฏิบัติการ AI เราดำเนินการประเมินสามประเภท: การประเมินค่าพื้นฐานแบบสังเคราะห์ คุณสมบัติใหม่ และตามความต้องการ

นี่คือการประเมินที่สำคัญที่สุดและเราดำเนินการบ่อยที่สุด

ค่าพื้นฐานแบบสังเคราะห์ ใช้ติดตาม คุณภาพคำตอบของเราในช่วงเวลาต่าง ๆ เมื่อเราเปิดตัวคุณสมบัติ คอนเทนท์ หรือข้อมูลใหม่ เราจะทดสอบเป็นประจำว่าการเปลี่ยนแปลงเหล่านั้นส่งผลต่อประสิทธิภาพอย่างไร โดยใช้ชุดคำถามแบบสังเคราะห์และเกณฑ์การยอมรับของเรา

กระบวนการนี้สร้าง ค่าพื้นฐาน ที่การอัปเดตใหม่ทั้งหมดของ Agentforce ต้องทำได้ตามเกณฑ์หรือสูงกว่า ก่อนนำไปใช้งานจริง ซึ่งช่วยให้มั่นใจว่าเรากำลังพัฒนาให้ดีขึ้น ไม่ใช่ถดถอยลง

เราดำเนินการประเมินเหล่านี้ เดือนละสองครั้ง ให้สอดคล้องกับรอบสปรินต์ของเรา จากนั้นเราจะรวมผลลัพธ์เป็น คะแนนคุณภาพคำตอบรายเดือน ซึ่งเราจะแชร์ในสกอร์การ์ด การทบทวนธุรกิจ และช่องทางอื่น ๆ

กระบวนการนี้เป็นรากฐานของ กลยุทธ์ AI ด้านคุณภาพคำตอบ ของเรา

นอกจากการทดสอบค่าพื้นฐานตามปกติแล้ว เรายังประเมินคุณสมบัติ ข้อมูล หรือเทคโนโลยีใหม่ตลอดกระบวนการพัฒนาอีกด้วย เราเรียกแนวทางนี้ว่า การพัฒนาที่ขับเคลื่อนด้วยการประเมิน แนวทางนี้ช่วยให้มั่นใจว่าทุกสิ่งที่เราเปิดตัวทำได้ตามเกณฑ์หรือสูงกว่า ค่าพื้นฐานแบบสังเคราะห์ ที่เรากำหนดไว้

ความแตกต่างหลักคือ การประเมินคุณสมบัติใหม่ จะใช้ชุดข้อความคำถามแบบสังเคราะห์ที่มีขนาดเล็กกว่าและเจาะจงกับการเปลี่ยนแปลงที่กำลังทดสอบ การทดสอบเหล่านี้จะดำเนินการตามความจำเป็นระหว่างการพัฒนา และแชร์ผลลัพธ์กับทีมวิศวกรรม คอนเทนท์ หรือข้อมูล เพื่อเป็นแนวทางในการปรับปรุงตั้งแต่การพัฒนาไปจนถึง QA และ UAT

เมื่อคุณสมบัติเปิดใช้งานจริงแล้ว คำถามทดสอบที่เราใช้จะถูกเพิ่มลงในคลังหลักและรวมไว้ในการทดสอบค่าพื้นฐานในอนาคต

ตัวอย่างเช่น เมื่อเราเปิดตัวตัวแทนช่วยเหลือบน Help Portal ของ Slack ผู้จัดการการประเมินของเราได้สร้างข้อความคำถามแบบสังเคราะห์ที่กำหนดเอง 96 รายการ พร้อมเกณฑ์การยอมรับ คุณสมบัตินี้ให้ผลการประเมินสูงกว่าค่าพื้นฐานและได้รับการนำไปใช้งานจริง คำถามทั้ง 96 ข้อนี้กลายเป็นส่วนหนึ่งของการทดสอบอย่างต่อเนื่องของเราแล้ว

เรายังจำเป็นต้องดำเนินการทดสอบเฉพาะตามความต้องการสำหรับข้อบกพร่อง ปัญหาที่ไม่คาดคิด ปัญหาด้านประสบการณ์ หรือการเปลี่ยนแปลงในนาทีสุดท้าย เพื่อตรวจสอบประสิทธิภาพของตัวแทนช่วยเหลือ ตัวอย่างเช่น คำตอบที่ไม่ดีสำหรับคุณสมบัติหรือผลิตภัณฑ์ใหม่ คำตอบที่ไม่ชัดเจน หรือประสบการณ์โดยรวมที่ไม่ดีกับตัวแทนช่วยเหลือ เนื่องจากเรามีการประเมินค่าพื้นฐานและการประเมินคุณสมบัติใหม่อยู่แล้ว การเพิ่มการทดสอบตามความต้องการจึงเป็นสิ่งที่สอดคล้องกับกระบวนการของเราโดยธรรมชาติ

นอกจากนี้ หลายทีมทั่ว Salesforce ยังทำหน้าที่เสมือน “ผู้ตรวจสอบอิสระ” ซึ่งช่วยให้เราค้นพบช่องว่างหรือข้อมูลเชิงลึกนอกเหนือจากการทดสอบตามปกติ ทีมเหล่านี้ประกอบด้วย ความสามารถในการเข้าถึง, กฏหมาย และทีมอื่น ๆ เช่นการรับรอง หรือ Trailhead แม้ว่าทีมเหล่านี้อาจไม่ได้ดูแลปัญหาที่ใหญ่ที่สุดของลูกค้า แต่งานของพวกเขายังคงมีความสำคัญอย่างยิ่งในการช่วยให้เรารองรับความต้องการในวงกว้างและมั่นใจว่าเราประเมินสถานการณ์ของลูกค้าได้มากที่สุดเท่าที่จะเป็นไปได้

เราให้ทีมเหล่านี้เข้าถึงเครื่องมือและกรอบงานของเราเพื่อให้สามารถดำเนินการทดสอบของตนเองได้ ในฐานะผู้นำทีมปฏิบัติการ AI เรื่องนี้เป็นส่วนสำคัญในแผนการเติบโตของฉัน นี่คือการ แบ่งปันกระบวนการประเมินของเรา เพื่อให้เราตอบสนองความต้องการของลูกค้าทุกคนได้ดียิ่งขึ้น

ประเด็นสำคัญ: ใช้พาร์ทเนอร์ของคุณให้เป็นประโยชน์!

อนาคตของคุณภาพคำตอบเต็มไปด้วยความเป็นไปได้ เมื่อมีเครื่องมือใหม่ ๆ เข้ามา เราจะปรับปรุงวิธีวัดและทำความเข้าใจประสิทธิภาพของตัวแทนของเราต่อไป

ในขณะนี้ คุณภาพคำตอบจะพิจารณาเพียงคำตอบเดียวหลังจากลูกค้าถามคำถาม แม้ว่าวิธีนี้จะมีประโยชน์ แต่เราต้องการพัฒนาไปสู่ คุณภาพการสนทนา ซึ่งเป็นการวัดการสนทนาทั้งหมด ไม่ใช่แค่คำตอบเดียว

เรากำลังสำรวจสองแนวคิด:

1. จากคุณภาพคำตอบสู่คุณภาพการสนทนา:
   เราต้องการให้คะแนนการสนทนาทั้งหมด ไม่ใช่เพียงคำตอบเดียว คำตอบที่ดีเพียงคำตอบเดียวไม่สามารถชดเชยคำตอบที่ไม่ดีหลาย ๆ คำตอบได้ เรื่องนี้เป็นสิ่งที่เราให้ความสำคัญและทุ่มเทอย่างมาก เราจึงกำลังสำรวจวิธีการใหม่ ๆ ที่แตกต่างออกไปเพื่อขยายและพัฒนาโมเดลปัจจุบันของเราให้สามารถประเมินการสนทนาทั้งหมดได้ แนวคิดเบื้องต้นของเราคือ เราสามารถสร้างระบบการให้คะแนนแบบรวมจากแต่ละเทิร์น แล้วนำเสนอผลลัพธ์เป็นคุณภาพที่อิงจากหลายเทิร์นได้ กล่าวอีกนัยหนึ่ง คำตอบที่ดีหลาย ๆ คำตอบจะสร้างการสนทนาที่ดี
2. การประเมินการสนทนาจริงโดยใช้เกณฑ์การยอมรับ:
   เราวางแผนที่จะใช้ชุดมาตรฐานทั่วไป เช่น น้ำเสียง ความเข้าอกเข้าใจ และความลื่นไหลของการสนทนา กับแชทจริงของลูกค้า วิธีนี้จะช่วยให้เราวัดการสนทนาจริงได้ในวงกว้าง อย่างไรก็ตาม แนวคิดนี้ไม่ได้ใช้เกณฑ์ในการประเมินความถูกต้องของคำตอบ ดังนั้น...

เพื่อพิจารณาว่าคำตอบถูกต้องแม่นยำหรือไม่ เรากำลังสร้าง คลัสเตอร์ข้อความคำถาม ซึ่งเป็นกลุ่มคำถามที่คล้ายกัน วิธีนี้ช่วยให้เรานำเกณฑ์การยอมรับไปใช้กับกลุ่มคำถามแทนที่จะใช้กับคำถามเพียงข้อเดียว

เรายังกำลังพัฒนาวิธีนำแนวทางที่วิศวกรฝ่ายสนับสนุนและผู้จัดการฝ่ายความสำเร็จของลูกค้าใช้แก้ปัญหามาเป็นโมเดล “คำตอบที่ถูกต้อง” สำหรับใช้ตัดสินคำตอบ เราสามารถสร้างเกณฑ์การยอมรับที่ผ่านการตรวจสอบอย่างละเอียดและเปิดให้ทุกฝ่ายมีส่วนร่วมได้ สำหรับคลัสเตอร์คำถามหลายกลุ่มในวงกว้าง มันเจ๋งมากเลย

ท้ายที่สุดแล้ว AI จะทรงพลังได้เพียงเท่ากับคุณภาพของคำตอบที่ AI มอบให้ นั่นคือเหตุผลที่คุณภาพคำตอบจะเป็นหลักนำทางของเราเสมอ เพื่อชี้แนวทางในการสร้าง วัดผล และปรับปรุง Agentforce สำหรับลูกค้าทุกรายที่เราให้บริการ ความพยายามในการประเมินและปรับปรุงคุณภาพคำตอบนี้เป็นสิ่งที่ทีมของฉันทุ่มเทและให้ความสำคัญอย่างมาก ฉันขอสนับสนุนให้ทุกคนคิดให้ใหญ่และลองทำสิ่งที่ทำให้รู้สึกไม่สบายใจหรือดูท้าทาย เปิดรับแนวคิดแบบนักอนาคตศาสตร์และคิดถึงสิ่งที่อาจเป็นไปได้ และในโอกาสนี้ ฉันขอปิดท้ายด้วยการแบ่งปันคติประจำทีมและคำที่เรายึดถือ:

“ลองให้เต็มที่ แล้วจะรู้”