לעבוד עם תמלול ארוך

מדביקים תמלול מלא של פגישה ומבקשים לדעת מה קרה בה. מה שחוזר מתאר היטב את הפתיחה, מתאר היטב את הסיום, ומחליק על מה שביניהם.

זו תופעה אמפירית מוכרת, ויש דרך עבודה שמצמצמת אותה.

מה קורה למידע שנמצא באמצע

בעבודה של ליו ועמיתיו מ-2023 נבחנו מודלים במשימות של שליפת מידע מתוך הקשר ארוך. הביצועים היו הגבוהים ביותר כשהמידע הרלוונטי ישב בתחילת ההקשר או בסופו, וירדו משמעותית כשהיה צריך להגיע אליו מהאמצע. הביצועים ירדו גם ככל שההקשר התארך, גם במודלים עם חלון הקשר גדול.

בפגישה של חמישים דקות זה נוגע במקום לא נוח. פתיחה היא לעיתים קרובות עדכון וסיום הוא סגירה, ולכן הרגע שבו משהו זז יושב הרבה פעמים באמצע. לא תמיד, ולא בכל טיפול, ומספיק פעמים כדי שזה ישנה את שיטת העבודה.

לפני שמתחילים: מה בכלל נכנס פנימה

תמלול גולמי של פגישה מלא בפרטים מזהים שלא שמתם לב שאמרתם: שמות של בני משפחה, מקום עבודה מדויק, בית ספר, אירוע שפורסם. זיהוי לא נעשה רק דרך שם.

כלל עבודה פשוט: אם התמלול מכיל צירוף שאדם סביר היה יכול לזהות לפיו את המטופל, אל תעבדו עם התמלול. עבדו עם תקציר שאתם כותבים. וגם כשמעבדים תמלול, שווה מעבר קצר של מחיקה והחלפה לפני שמדביקים.

פרוטוקול בשלושה שלבים

השיטה הזאת לוקחת רבע שעה ויותר לפגישה אחת. היא לא מיועדת לשגרה. היא מיועדת לפגישה שאתם תקועים בה, לפגישה שאתם מכינים להדרכה, או לנקודה שרוצים לחזור אליה בטיפול ארוך.

1. חלוקה. חתכו את התמלול למקטעים של עשר עד חמש עשרה דקות, והגישו כל אחד בנפרד. בכל מקטע, כל מה שיש נמצא קרוב לקצוות.

2. תיוג אחיד. לכל מקטע בקשו בדיוק את אותם שדות: על מה דובר, מה השתנה, מה עשה המטפל, איך הגיב המטופל, ומה נשאר פתוח. אותם שדות בכל פעם, כי זה מה שמאפשר להשוות בין המקטעים ולראות איפה משהו זז.

3. איחוד. רק עכשיו מגישים את הפלטים הקצרים של כל המקטעים ומבקשים את הקשת: נקודת המפנה, מה חוזר, מה נפתח ולא נסגר. הטקסט בשלב הזה קצר, וכל מה שבו נמצא בקצוות.

שתי דרישות, ובדיקה מדגמית

ציטוט עם מיקום. כל טענה נושאת ציטוט מדויק ומספר שורה או חותמת זמן. הדרישה מגדילה את הסיכוי שתזהו טענה שאין לה בסיס, והיא לא ערובה: מודלים ממציאים גם ציטוטים וגם מיקומים, בביטחון מלא.

רשימת "לא ידוע". בקשו במפורש רשימה של מה שלא ניתן לקבוע מהמקטע. בלי הבקשה, פערים מתמלאים בהשלמה סבירה.

בדיקה מדגמית. על כל מקטע, בחרו שתי טענות והשוו את הציטוט שלהן למקור. אם אחת מהן לא מדויקת, השיטה לא עובדת עם הכלי הזה ואין טעם להמשיך איתו לשלב האיחוד.

שגיאות תמלול, ומה עושים איתן

ייחוס דובר בחילופים מהירים. כששניים מדברים במשפטים קצרים, שורה שהוצמדה לדובר הלא נכון הופכת אמירה של מטופל לפרשנות של מטפל. מה שעושים: מתחילים כל מקטע בבקשה לזהות מי הדוברים ולסמן שורות שבהן הייחוס לא ודאי.

שלילה שנפלה. "אני לא חושבת שזה קשור" ו"אני חושבת שזה קשור" נבדלות במילה אחת קצרה. מה שעושים: בכל משפט שמצוטט כתומך בטענה מרכזית, קוראים את השורה במקור.

מה שלא נמצא בטקסט בכלל. שתיקה ארוכה, קול שנשבר, מבט. אלה לא מתומללים. מה שעושים: כותבים ביד, לפני שמתחילים, שתיים-שלוש שורות על מה שקרה בחדר ולא נאמר. הן נכנסות לשלב האיחוד יחד עם הפלטים.

להלן מקטע מתמלול של פגישה טיפולית. נתח את המקטע הזה בלבד.

לפני הניתוח, החזר שורה אחת: מי הדוברים במקטע, ואילו שורות ייחוס הדובר בהן
אינו ודאי.

אחר כך החזר בדיוק את השדות הבאים, בסדר הזה:
1. נושאים שעלו
2. מה השתנה בתוך המקטע (אם לא השתנה דבר, כתוב זאת)
3. מה עשה המטפל: התערבויות, שאלות, שתיקות מסומנות
4. איך הגיב המטופל לכל אחת מהן
5. מה נשאר פתוח בסוף המקטע
6. מה לא ניתן לקבוע מהמקטע הזה

כל טענה בסעיפים 1-5 נושאת ציטוט מדויק ומספר שורה. טענה שאין לה ציטוט, אל
תכלול. אל תסכם ואל תפרש מעבר לשדות האלה.

--- מקטע ---
[הדבקה]

השינוי שעושה את רוב ההבדל הוא לוותר על בקשה אחת גדולה. השאר הוא בקרה על מה שחוזר.

מקורות

• Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL, 2024. arXiv:2307.03172