לעבוד עם תמלול ארוך

מדביקים תמלול מלא של פגישה ומבקשים לדעת מה קרה בה. מה שחוזר מתאר היטב את הפתיחה, מתאר היטב את הסיום, ומחליק על מה שביניהם.

זו תופעה שנמדדה, ויש דרך עבודה שמצמצמת אותה. שתיהן דורשות דיוק, כי ההסבר הנפוץ לתופעה הזאת רחב יותר ממה שנמדד בפועל.

מה בדיוק נמדד

ליו ועמיתיו בדקו ב-2023 מודלים בשתי משימות של שליפת מידע מתוך הקשר ארוך: מענה על שאלה מתוך אוסף מסמכים, ואיתור ערך לפי מפתח. הביצועים היו הגבוהים ביותר כשהמידע הרלוונטי ישב בתחילת ההקשר או בסופו, וירדו משמעותית כשהיה צריך להגיע אליו מהאמצע. הירידה הופיעה גם ככל שההקשר התארך, וגם במודלים שנבנו במפורש להקשר ארוך.

שווה לדייק בגבול: מה שנמדד הוא שליפה, לא סיכום של פגישה טיפולית. אף אחד לא בדק את זה על תמלול קליני, וההנחה שאותו דפוס פועל גם שם היא הסקה סבירה ולא ממצא. מה שכן מצדיק את ההסקה הוא שהמנגנון גנרי: הוא נוגע למיקום בטקסט, לא לתוכן שלו.

ובפגישה של חמישים דקות המיקום הזה נוגע במקום לא נוח. פתיחה היא לעיתים קרובות עדכון, וסיום הוא סגירה, ולכן הרגע שבו משהו זז יושב הרבה פעמים באמצע. לא תמיד, ולא בכל טיפול, ומספיק פעמים כדי להצדיק שיטת עבודה אחרת.

לפני שמתחילים: מה בכלל נכנס פנימה

תמלול גולמי של פגישה מלא בפרטים מזהים שאיש לא שם לב שנאמרו: שמות של בני משפחה, מקום עבודה מדויק, בית ספר, אירוע שפורסם. זיהוי לא נעשה רק דרך שם, ולעיתים קרובות הצירוף הוא שמזהה ולא פרט בודד.

כלל עבודה פשוט: אם התמלול מכיל צירוף שאדם סביר היה יכול לזהות לפיו את המטופל, עדיף לא לעבוד עם התמלול אלא עם תקציר שנכתב ביד.

וכשאין ברירה והתמלול הוא מה שיש, מעבר קצר של החלפות לפני ההדבקה סוגר את רוב הפער. חמש החלפות שמכסות את רוב המקרים: שם פרטי ושם משפחה בשם בדוי קבוע לאורך כל הקובץ; מקום עבודה ספציפי בתיאור כללי ("מקום עבודה גדול", "משרד ממשלתי"); שם מוסד חינוכי ב"בית ספר" או "גן"; מקצוע נדיר בקטגוריה רחבה יותר; ואירוע שפורסם בתיאור גנרי של סוג האירוע. הצירוף הוא מה שמזהה, ולכן די בכך ששניים מהם ישתנו כדי שהזיהוי יפסיק להיות אפשרי.

פרוטוקול בשלושה שלבים

השיטה לוקחת רבע שעה ויותר לפגישה אחת, והיא לא מיועדת לשגרה. היא מיועדת לפגישה שיש בה תקיעות, לפגישה שמכינים להדרכה, או לנקודה שרוצים לחזור אליה בטיפול ארוך.

1. חלוקה. התמלול נחתך למקטעים של עשר עד חמש עשרה דקות, וכל מקטע מוגש בנפרד. הרעיון פשוט: בתוך מקטע קצר, כל מה שיש נמצא קרוב לקצוות. זה לא מתקן את המודל, זה מסדר מחדש את הטקסט כך שהחולשה שלו פחות רלוונטית.

2. תיוג אחיד. כל מקטע מקבל בדיוק את אותם שדות: על מה דובר, מה השתנה, מה עשה המטפל, איך הגיב המטופל, ומה נשאר פתוח. אותם שדות בכל פעם, כי זה מה שמאפשר להשוות בין מקטעים ולראות איפה משהו זז. שדות שמשתנים ממקטע למקטע מייצרים אוסף תיאורים, לא ציר.

3. איחוד. רק בשלב הזה מוגשים הפלטים הקצרים של כל המקטעים יחד, ומבקשים את הקשת: נקודת המפנה, מה חוזר, מה נפתח ולא נסגר. הטקסט בשלב הזה כבר קצר, וכל מה שבו נמצא בקצוות.

שתי דרישות, ובדיקה מדגמית

ציטוט עם מיקום. כל טענה נושאת ציטוט מדויק ומספר שורה או חותמת זמן. הדרישה מגדילה את הסיכוי שטענה חסרת בסיס תזוהה, והיא לא ערובה: מודלים ממציאים ציטוטים וגם מיקומים, בביטחון מלא. מה שהיא כן עושה זה להפוך את הבדיקה לאפשרית בכלל.

רשימת "לא ידוע". בקשה מפורשת לרשימה של מה שלא ניתן לקבוע מהמקטע. בלי הבקשה, פערים מתמלאים בהשלמה סבירה, שנקראת כמו כל השאר.

בדיקה מדגמית. על כל מקטע, שתי טענות נבחרות והציטוט שלהן מושווה למקור. אם אחת מהן לא מדויקת, השיטה לא עובדת עם הכלי הזה, ואין טעם להמשיך איתו לשלב האיחוד. עדיף לגלות את זה במקטע הראשון מאשר אחרי שנבנתה קשת שלמה על ציטוטים שלא נאמרו.

שגיאות תמלול, ומה עושים איתן

ייחוס דובר בחילופים מהירים. כששניים מדברים במשפטים קצרים, שורה שהוצמדה לדובר הלא נכון הופכת אמירה של מטופל לפרשנות של מטפל, וזו שגיאה שמשנה את כל הקריאה. מה שעוזר: לפתוח כל מקטע בבקשה לזהות מי הדוברים ולסמן שורות שבהן הייחוס לא ודאי.

שלילה שנפלה. "אני לא חושבת שזה קשור" ו"אני חושבת שזה קשור" נבדלות במילה אחת קצרה, ומודל שמפרפרז מפיל אותה לפעמים. מה שעוזר: כל משפט שמצוטט כתומך בטענה מרכזית נקרא במקור.

מה שלא נמצא בטקסט בכלל. שתיקה ארוכה, קול שנשבר, מבט, קצב. אלה לא מתומללים, ולכן הם לא קיימים מבחינת המודל. מה שעוזר: שתיים-שלוש שורות שנכתבות ביד לפני שמתחילים, על מה שקרה בחדר ולא נאמר. הן נכנסות לשלב האיחוד יחד עם הפלטים.

להלן מקטע מתמלול של פגישה טיפולית. נתח את המקטע הזה בלבד. לפני הניתוח, החזר שורה אחת: מי הדוברים במקטע, ואילו שורות ייחוס הדובר בהןאינו ודאי. אחר כך החזר בדיוק את השדות הבאים, בסדר הזה:1. נושאים שעלו2. מה השתנה בתוך המקטע (אם לא השתנה דבר, כתוב זאת)3. מה עשה המטפל: התערבויות, שאלות, שתיקות מסומנות4. איך הגיב המטופל לכל אחת מהן5. מה נשאר פתוח בסוף המקטע6. מה לא ניתן לקבוע מהמקטע הזה כל טענה בסעיפים 1-5 נושאת ציטוט מדויק ומספר שורה. טענה שאין לה ציטוט, אלתכלול. אל תסכם ואל תפרש מעבר לשדות האלה. --- מקטע ---[הדבקה]

מה שעושה את רוב ההבדל כאן הוא הוויתור על בקשה אחת גדולה. כל השאר הוא בקרה על מה שחוזר.

מאיפה המספרים

כל מה שכתוב כאן על התנהגות המודל מגיע מהעבודה הבאה. אין צורך לקרוא אותה כדי להשתמש במדריך.

• איפה בטקסט ארוך מידע הולך לאיבוד. שתי משימות של שליפת מידע מהקשר ארוך: הביצועים הגבוהים ביותר כשהמידע בתחילת ההקשר או בסופו, וירידה משמעותית כשצריך להגיע אליו מהאמצע, גם במודלים שנבנו להקשר ארוך. נמדד על שליפה ולא על סיכום קליני, וההנחה שאותו דפוס פועל גם בתמלול היא הסקה סבירה ולא ממצא.
  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL, 2024. arXiv:2307.03172 (נפתח בחלון חדש)