אוטומציה נועדה להקל על האדם לשפר את הדיוק לצמצם טעויות ולייעל תהליכים. עם זאת ככל שהמערכות נעשות מתוחכמות ויציבות יותר מתרחשת תופעה הפוכה, האדם מפחית את מעורבותו הקשב נשחק והבקרה מאבדת ממשמעותה. תהליכים אלו אינם מקריים, הם נובעים מדפוסים קוגניטיביים מוכרים שנחקרו בעשורים האחרונים במסגרת תחום Human Factors וחקר ממשקי Human Automation Interaction (HAI).
ביסוד המחקר עומדת ההנחה כי פגיעויות אינן נולדות רק מהמערכת אלא מהמפגש שבין תכונותיה לבין מגבלות האדם (1997) Parasuraman & Riley היו בין הראשונים שהגדירו את automation complacency כתופעה פסיכולוגית הנובעת מ"אמון יתר המוביל להפחתת פיקוח" והצביעו על הקשר הישיר בין עומס קוגניטיבי הסתגלות יתר וירידה באחריות תפעולית. בעקבותיהם (2004) Lee & See הציעו את המונח trust calibration התאמת רמת האמון של המשתמש לאמינות האמיתית של המערכת והדגישו כי חוסר התאמה בין השניים מוביל לטעויות מערכתיות חוזרות.
פרק זה מציג עשר תופעות מרכזיות שנחקרו בהקשר של שחיקה אנושית במערכות אוטומטיות. כל אחת מהן משקפת פן אחר של האופן שבו האדם מגיב ליציבות לעומס או לתלות במערכת. החל מאמון יתר דרך שחיקת תשומת הלב ועד לאובדן תפקוד אנושי פעיל.
תופעות השחיקה המרכזיות (Human Factors)
הטיית האוטומציה (Automation Bias)
הטיית האוטומציה היא הנטייה להעדיף את שיפוטה של מערכת אוטומטית גם כאשר קיימות עדויות לכך שהיא טועה (2010) Parasuraman & Manzey תיארו את התופעה כתוצאה של עומס קוגניטיבי, כאשר המערכת מציגה פתרון מוכן, האדם נוטה לאמץ אותו כדי לחסוך משאבי עיבוד. הטיה זו מתבטאת בשני סוגי טעויות Errors of omission התעלמות מאירועים משום שהמערכת לא התריעה עליהם ו-Errors of commission פעולה בהתאם להמלצת מערכת שגויה. במערכות מידע ארגוניות ההטיה מתבטאת בהישענות על חיווי "תקין" מבלי לבדוק את הנתונים עצמם. ככל שהמערכת אמינה יותר לאורך זמן כך גובר הסיכוי שהמשתמש יפסיק לבדוק.
אמון יתר (Overtrust)
אמון יתר מתרחש כאשר המשתמש מעריך את אמינות המערכת יותר משהיא באמת ראויה לכך (2004) Lee & See הגדירו אמון כמצב של "הסכמה לפעול תוך חשיפה לסיכון על סמך ציפייה לאמינות". כאשר ציפייה זו אינה מעודכנת לפי חוויות קודמות נוצר פער בין תפיסת הסיכון למציאות (2015) Hoff & Bashir מצאו כי אמון יתר נוטה להופיע כאשר המערכת נתפסת כ"שקופה" מדי כלומר כשנראה שאין מה להסתיר דווקא אז פוחתת הביקורת. בממשקים אוטומטיים Overtrust מופיע כתגובה טבעית ליציבות מתמשכת. האדם לומד ש"המערכת תמיד צודקת" ולכן מאבד בהדרגה את הרגישות לאירועים חריגים.
אדישות אוטומציה (Automation Complacency)
Complacency היא אחד הביטויים הקלאסיים של שחיקה תודעתית (1997) Parasuraman & Riley הגדירו אותה כ"ירידה במעורבות האדם במעקב ובבקרה על מערכת אוטומטית עקב אמון מתמשך באמינותה". מחקרים מאוחרים יותר (1997) Bailey & Scerbo מצאו כי מדובר בתגובה הסתגלותית טבעית, כאשר המערכת מתפקדת היטב לאורך זמן האדם מניח שההתנהגות התקינה תימשך. במונחי אבטחה זהו מצב שבו "שקט תפעולי" מתפרש בטעות כסימן לבריאות מערכתית. הסכנה היא שהמשתמש חדל לשים לב דווקא כשהמערכת עומדת בפני כשל סמוי.
עייפות התראה (Alert Fatigue)
Alert Fatigue היא תופעה תיעודית נרחבת בתחומי הרפואה התעופה והבקרה. Warm, Parasuraman & Matthews (2008) הראו כי חשיפה ממושכת למספר רב של התראות גורמת לדעיכה הדרגתית בתגובה. Hancock ועמיתיו (2011) מצאו כי במצבי עומס כרוני נוצרת הסתגלות פסיכולוגית, ההתראות חדלות לעורר תחושת דחיפות. בתחום מערכות המידע התופעה דומה מכיוון שככל שמערכות שולחות יותר התראות כך פוחתת סבירות התגובה. כאשר כל התרעה נראית חשובה שום התרעה אינה דחופה באמת.
עייפות החלטה (Decision Fatigue)
(2011) Baumeister & Tierney ראו כי קבלת החלטות חוזרת גורמת לשחיקה ביכולת השיפוטית. ככל שהאדם מקבל יותר החלטות ביום עבודה כך גדל הסיכוי שיבחר בברירת מחדל במקום בבדיקה מעמיקה. במערכות מידע התופעה ניכרת במיוחד אצל עובדים שנדרשים לאשר בקשות לאמת נתונים או להחליט על חריגות תפעוליות. החלטות רבות מדי מובילות לירידה בביקורת ולעלייה בסיכון לטעויות מצטברות.
התרגלות (Habituation)
Habituation היא ירידה הדרגתית ברגישות לגירוי חוזר Anderson, Parasuraman & Henriques (2011) הראו כי במערכות ניטור רציף המשתמשים מפתחים דפוסי התעלמות גם מהתראות חדשות אם הן דומות לקודמות. בתהליכי אבטחה התרגלות ניכרת כאשר המשתמש מתעלם מהודעות מערכת חוזרות לוחץ "אישור" מבלי לקרוא או מדלג על שלבים מוכרים. המערכת ממשיכה להתריע אך הקשב כבר הוסט.
מיקוד יתר קוגניטיבי (Cognitive Tunneling)
תופעה זו מתוארת על ידי Wickens (2008) כחסימה מנטלית שבה האדם מתמקד רק במידע אחד ומתעלם ממידע מקביל. היא נגרמת כאשר עומס מידע רב מוביל לצמצום תשומת הלב לגירוי המרכזי ביותר. במערכות אוטומטיות Tunneling מתבטאת כאשר המשתמש מסתכל רק על תצוגת מצב אחת ומתעלם מהתראות צדדיות או הקשרים מערכתיים. תוצאה זו עלולה לגרום להחמצת תקלות שמופיעות בפריפריה של המידע.
נרמול חריגה (Normalization of Deviance)
Reason (1990) הגדיר את התופעה כתהליך שבו חריגות קטנות הופכות לנורמה כאשר אינן גורמות לנזק מיידי. Vaughan (1996) שחקרה את אסון המעבורת צ'לנג'ר הראתה כיצד שורה של החלטות קטנות התקבעה כ"קבילה" משום שהחריגה לא הובילה לתוצאה שלילית בעבר. במערכות מידע נרמול חריגה מופיע כאשר משתמשים או צוותים מתרגלים לעקוף נהלים "באופן זמני" עד שהעוקף הופך לשגרה.
כיול אמון (Trust Calibration)
(2004) Lee & See הציעו את המושג Trust Calibration כדי לתאר את תהליך ההתאמה בין רמת האמון הסובייקטיבית של האדם לאמינות האובייקטיבית של המערכת. כאשר האמון גבוה מדי מתרחשות טעויות של אמון יתר כאשר הוא נמוך מדי האדם מתעלם מהמערכת ופועל ידנית למרות יתרונה. Ilgen & Merritt (2008) מצאו כי יכולת עדכון האמון בזמן אמת על בסיס ניסיון מצטבר היא אחד הגורמים המרכזיים ליעילות תפעולית.
הבעיה של "מחוץ ללולאה" (Out-of-the-loop Performance Problem)
בעיה זו תוארה כבר בתחילת שנות ה- 90 על ידי Kirlik & Endsley (1995) כמצב שבו המפעיל מאבד שליטה אפקטיבית במערכת משום שהוא אינו מעורב עוד בקבלת ההחלטות. כאשר המערכת פועלת באופן עצמאי לאורך זמן האדם הופך לצופה בלבד. במצב כזה בעת כשל פתאומי היכולת האנושית להתערב מיד פוחתת באופן דרמטי. הידע התפעולי הקצב וההקשר נעלמים והתגובה מתעכבת.
סיכום
עשרת התופעות שתוארו כאן מהוות את ליבת המחקר בתחום ממשקי אדם-אוטומציה. כל אחת מהן מתארת היבט אחר של מגבלת הקשב השיפוט או האחריות. כאשר הן פועלות יחד הן יוצרות תהליך הדרגתי של שחיקה תודעתית. האמון גובר הקשב נחלש והבקרה מתרוקנת.
ההבנה של תופעות אלו מאפשרת לזהות את נקודת הפגיעות עוד לפני שהיא מתבטאת ברמת המערכת. כפי ש- Hancock ועמיתיו (2011) מציינים כי הפגיעות אינה מתחילה בכשל קוד היא מתחילה בירידה איטית באמון בקשב ובמעורבות.
"The ultimate failure of automation is rarely mechanical; it is the loss of the human’s cognitive engagement."