Skip to Content

מאיפה האייג'נט שלכם יודע את מה שהוא יודע?

עם Agentforce Observability אתם יכולים לצלול לתוך השיחה עם האייג׳נט ולהבין בדיוק על איזה מסמך ופסקה הוא התבסס

Key Takeaways

This summary was created with AI and reviewed by an editor.

האייג׳נט שלכם יכול לענות ללקוח בביטחון מעורר הערצה – על מידע שפג תוקפו לפני חצי שנה.
הוא עונה מדי יום לאלפי לקוחות על מדיניות החזרים, תנאי שירות ופתרון תקלות, וברוב המכריע של המקרים עושה עבודה מעולה. אבל ברגע שמשהו משתבש והוא מנפק תשובה שגויה, חייבים להבין בדיוק מה קרה כדי לדעת איך לתקן.
רק לפני שאתם רצים לשכתב את הפרומפט או מאשימים את ה-AI, כדאי לבדוק משהו בסיסי הרבה יותר: אולי הבעיה בכלל לא בלוגיקה של המודל, אלא במידע שהוא התבסס עליו?

עם Agentforce Observability אתם כבר לא צריכים לנחש. המערכת מאפשרת לכם לצלול לתוך השיחה עם האייג׳נט ולהבין בדיוק על איזה מסמך, עמוד ופסקה הוא הסתמך כשניסח את התשובה.

הבעיה: הקופסה השחורה שבין השאלה לתשובה

רוב האייג׳נטים מבוססים על ארכיטקטורת (Retrieval-Augmented Generation (RAG; כששואלים את האייג'נט שאלה, הוא שולף קטעים רלוונטיים ממאגר הידע הארגוני (מאמרי Knowledge, קבצי PDF או תוכן ממערכות חיצוניות) ויוצר מתוכם את התשובה. על הנייר זה נשמע פשוט, אבל אם משהו משתבש בדרך (והרבה יכול להשתבש), השחזור של המקור הופך לאתגר מורכב.

עם Agentforce Observability כבר אפשר לעקוב מקרוב אחרי מהלך השיחה ושלבי ה-reasoning של האייג'נט: החל מזיהוי הנושא, דרך הפעולות שהוא ביצע ועד למדידת זמני התגובה. ועדיין, חלק מהותי מהבדיקה הזו נשאר מחוץ לתמונה: התוכן עצמו. 

הקטע המדויק שהאייג'נט שלף ונעזר בו כבסיס לתשובה היה קבור עמוק בנתוני ה-trace, (שמייצגים את המידע שנשפך ונשמר מהאייג'נט לאחר כל פעולה שהוא עושה) וכדי להגיע אליו היה צריך לחפור ידנית בקבצי לוג טכניים.

וזה לא רק עניין תיאורטי. בלי גישה ישירה למקור, אין דרך להבחין בין שני סוגי תקלות שונים בתכלית:

  • בעיה בקונפיגורציה: המקור נכון ומעודכן, אבל האייג'נט פירש אותו לא נכון. את זה מתקנים בהגדרות של האייג'נט, בהנחיות או בפרומפט.
  • בעיה בתוכן: האייג'נט עשה בדיוק את מה שביקשו ממנו לעשות, אבל המאמר שהוא התבסס עליו היה ישן, חלקי או סתר מאמר אחר. את זה מתקנים במאגר הידע.

דרכי הטיפול בכל אחת מהבעיות האלה שונות לחלוטין, וגם הצוותים שאחראים עליהן. כשאין דרך להבחין בין המקרים, נוצר התרחיש הבא: צוות ה-AI מתאים את ההנחיות, צוות הידע בטוח שהתוכן תקין, והלקוח מצידו ממשיך לקבל תשובות שגויות.

בשיחות שקיימנו עם לקוחות, העניין הזה עלה שוב ושוב.
מנהל תמיכה בחברת SaaS שיתף שמאז שסוכן הבינה המלאכותית התחיל לטפל בחצי מהפניות, הצוות "איבד שקיפות לכחצי מהשיחות". בעבר היה ברור איזה מאמר צורף על ידי נציג אנושי, אבל עכשיו קשה לדעת איזה תוכן במאגר אכן מביא תוצאות.
צוות IT בארגון אחר תיאר תהליך שבועי מסורבל שבו אנליסט עבר ידנית על שיחות שהועברו לנציג כדי לנחש אם מדובר בפער ידע – עבודה רבה שניתן לצמצם.

תכירו: Source Inspection

Source Inspection הוא היכולת החדשה ב-Agentforce Observability שנועדה לענות בדיוק על השאלה הזו: "מאיפה התשובה הזאת הגיעה?". התשובה מוצגת ישירות לצד המסמך שהאייג׳נט הסתמך עליו, העמוד והפסקה המדויקים.

1. המקורות צמודים לכל תשובה

ב-Session Log, מתחת לכל תשובה של האייג'נט שמתבססת על ידע ארגוני, מופיע כפתור Sources. כשלוחצים עליו רואים את רשימת המקורות ששימשו לתשובה: שם המאמר או הקובץ, סוג המקור (למשל Salesforce Knowledge או קובץ מ-Agent Data Library) ותצוגה מקדימה קצרה שכוללת snippet של השאלה עליה האייג'נט מנסה לענות.

כפתור Sources ב-Session Log מציג את מאמר הידע שתשובת האייג'נט התבססה עליו

2. המסמך מוצג ישירות בתוך העמוד 

כשלוחצים  על המקור הוא נפתח בחלונית צדדית לצד השיחה, ולא צריך לעבור בין טאבים. קבצי PDF מוצגים בכלי תצוגה מובנה שכולל חיפוש, זום ודפדוף, ומאמרי Knowledge ותכנים נוספים מוצגים בפורמט נקי ונוח לקריאה.

מסמך PDF על מדיניות החזרים נפתח בתוך הסשן, לצד השיחה עם האייג'נט

3. הדגשה של המקטע המדויק 

זה אחד האלמנטים הכי משמעותיים: המערכת לא מסתפקת בפתיחת המסמך, אלא מדגישה את הקטע הספציפי שהאייג'נט שלף כדי לנסח את התשובה. במקום לעבור על מסמך ארוך ולנסות לנחש, המקור גלוי ומודגש באופן מיידי. החלק הזה הוא מאוד משמעותי, בעיקר כשמדובר על קבצי מקור ארוכים ומורכבים.

אם האייג'נט לקח את התשובה שלו מכמה חלקים באותו המסמך – כולם יודגשו לנוחות המשתמשים.

הקטעים שהאייג'נט שלף מודגשים בצהוב בתוך מאמר הידע

4. מבט רוחבי מעמוד Sessions & Intents
מקורות הידע משולבים כעמודה בטבלת השיחות, וככה אפשר לסקור במבט אחד אילו מקורות מעורבים בשיחות שמעניינות אתכם, כמו לדוגמה שיחות עם מדד שביעות רצון נמוך או שיחות שהועברו לטיפול נציג.

האייג'נט נתן תשובה לא מדויקת? עכשיו אפשר לבדוק אם הוא פירש מסמך תקין בצורה לא נכונה, או פשוט הסתמך על מידע ישן או חלקי. במקרה הראשון משפרים את ההנחיות שנותנים לאייג'נט. בשני מתקנים את מאגר הידע. ובשני המקרים מפסיקים לתקן את הדבר הלא-נכון. אפשר גם לבחון אילו מקורות מופיעים בשיחות בעייתיות, לזהות פערי ידע ולשפר את התוכן על בסיס השימוש בו בפועל.

מה זה נותן ללקוחות Agentforce

הנה כמה מהיכולות החדשות שהלקוחות מקבלים:

  1. אבחון מהיר של תשובות שגויות. אנליסט שמזהה שיחה טעונת שיפור יכול לפתוח את המקור, לסקור את הקטע המודגש ולהשוות אותו לתשובה של האייג'נט. כך אפשר לקבוע מיד אם האייג'נט החמיץ נקודה במסמך תקין (שגיאת היגיון), או שהסתמך על מאמר לא מעודכן (שגיאת ידע).
  2. זיהוי בזמן אמת של פערי ידע. בהרבה מקרים, השיחה עצמה מצביעה על הפער. בדוגמה שראינו אצל אחד הלקוחות, האייג'נט אמר שאין לו את רשימת המסמכים המלאה והציע להעביר את הפנייה לנציג. עיון בקטע המודגש הבהיר את הסיבה: המאמר מפרט מתי צריך לעדכן פרטים, בלי להגיד אילו מסמכים נדרשים. זהו פער ידע מוגדר שאפשר לתקן מייד ולמנוע פניות עתידיות לנציג.
  3. שיפור ודיוק מאגר הידע. בעזרת Source Inspection אפשר לעקוב באופן רציף אחרי השימוש בפועל במאמרי הידע, לזהות אילו תכנים מייצרים תשובות איכותיות, ואילו מאמרים מביאים להעברת הפנייה לנציג אנושי.
  4. מדידת התרומה של צוותי הידע. כשהאייג'נט מטפל בחלק ניכר מהפניות, צוותי התמיכה והידע יכולים להציג נתונים ברורים לגבי התכנים שמאפשרים הסטת פניות (deflection) יעילה, ולייחס בצורה ישירה את פתרון הפנייה למאמר הספציפי, בלי מעורבות אנושית.
  5. אמון, עקביות ושקיפות. בתחומים מפוקחים במיוחד כמו פיננסים, ביטוח ובריאות, היכולת להציג בדיוק את המסמך והגרסה שהתשובה שניתנה ללקוח הייתה מבוססת עליהם היא דרישה מרכזית ולא רק ערך מוסף.

מסתכלים קדימה

Source Inspection הוא צעד ראשון מתוך כמה יכולות מתוכננות:

  • משוב וסימון ישיר על גבי הקטע: אפשרות לסמן פסקה טעונת שיפור ולשתף אותה ישירות עם מנהלי התוכן בצירוף ההקשר המלא של השיחה ותגובת האייג'נט.
  • תובנות איכות ברמה הארגונית: מעבר מניתוח סשן בודד לזיהוי מגמות רוחביות, כגון זיהוי מוקדי אסקלציה שנשענים על פסקאות ספציפיות.
  • המלצות אקטיביות לשיפור התוכן: זיהוי קטעים שקשורים לשיחות ששביעות הרצון מהן הייתה נמוכה, והצעת עדכונים מותאמים על בסיס שיחות שהסתיימו בצורה טובה.

מאחורי הקלעים: שני צוותים, פאזל אחד

כדי שאפשר יהיה לראות את הפסקה המדויקת שהאייג׳נט התבסס עליה בלחיצת כפתור אחת, המידע צריך לעבור דרך ארוכה: החל מ-retriever שמחפש בתוכן, דרך מנוע ה-reasoning ושירות הציטוטים, ועד ל-Data 360, שם הכל נשמר ומקושר לשלב הספציפי בשיחה. בכל אחד מהשלבים הללו היה צריך לוודא שמזהה הקטע נשמר ולא אובד בדרך.

היכולות האלה נולדו משיתוף פעולה בין שני צוותים שרבים מחבריהם עובדים בישראל: Agentforce Observability ו-Enterprise Knowledge ב-Data 360, שהגיע עם חברת Zoomin הישראלית ש-Salesforce רכשה. יחד עם צוותים נוספים ברחבי העולם, חיברנו בין נתוני השיחה ליכולות הצגת התוכן, כך שאפשר להגיע מהתשובה ישירות למקור שנשלף.

אז מה השורה התחתונה?

לבנות אייג'נט שיודע לענות זה דבר אחד. לדעת איך לשפר את הדיוק שלו לאורך זמן – זה כבר האתגר האמיתי. עם בדיקת המקורות של Agentforce Observability, אפשר להבין טוב יותר מה השתבש, לתקן את הבעיה הנכונה ולעזור לאייג'נט לתת תשובות מדויקות יותר.

כי לפעמים, כדי לשפר את ה-AI, צריך פשוט לשפר את מה שהוא קורא.

בכתיבת הכתבה השתתפה גם אורית איציק, כותבת טכנית בכירה בסיילספורס.


רוצים לראות את זה בפעולה? מוזמנים לפתוח Session Log ב-Agentforce Observability וללחוץ על Sources.