האמונה שמערכת טובה היא מערכת שאינה זקוקה לאדם נראית לכאורה טבעית. היא נובעת מההיגיון הכלכלי והניהולי של מאה השנים האחרונות, שבו יעילות נמדדת ביכולת לצמצם עלויות, לקצר זמני ביצוע ולהחליף עבודה אנושית בעבודה אוטומטית. תפיסה זו אומצה בתחילה בעולם הייצור, אך במעבר לעולם המידע היא קיבלה ממד חדש, ככל שהמערכת עצמאית יותר, כך היא נתפסת כמתקדמת יותר. אוטונומיה טכנולוגית הפכה למדד איכות, ומעורבות אנושית לסימן של חוסר בשלות.
אלא שהנחה זו מתעלמת מתפקידו של האדם כגורם שמקיים את היכולת הלמידתית של המערכת. כאשר האדם מוצא מהמעגל, לא נעלמת רק העבודה הידנית אלא גם הפרשנות, הספק, ההקשר והיכולת להבחין בחריגות שאינן מוגדרות מראש. במונחים מערכתיים, מדובר באובדן של מנגנון בקרה מסוג אחר, כזה שאינו נמדד בתפוקה אלא בהבנה. מערכת נטולת אדם איננה מערכת יעילה יותר אלא מערכת נטולת יכולת הסתגלות. היא ממשיכה לפעול גם כאשר המציאות כבר השתנתה, משום שאין בה עוד מי שיזהה את השינוי.
יעילות תפעולית איננה יעילות מערכתית
ההבחנה בין יעילות תפעולית ליעילות מערכתית חיונית להבנת שורש הבעיה. בעוד שהראשונה עוסקת במהירות ובדיוק של פעולה, השנייה עוסקת ביכולת לזהות הקשר ולתקן את עצמה. מערכות רבות מתוכננות כך שכל הפחתה במגע אנושי נתפסת כהישג: פחות משתמשים, פחות תקלות, פחות תלות. אך המערכת שנשארת ללא אדם מאבדת את היכולת להבין מתי היא טועה. היא הופכת שלמה לוגית, אך עיוורת קוגניטיבית.
ההנחה שמערכת נטולת אדם תהיה מדויקת יותר נובעת מתפיסה טכנית של ידע, אם כל הנתונים נאספים, מעובדים ומאוחסנים, הרי שכל התשובות נמצאות במערכת. אך ידע ארגוני איננו רק תוצאה של חישוב, הוא תוצר של פרשנות. האדם מוסיף למידע את הממד הלא פורמלי כמו, שיפוט, ניסיון, הבנת כוונה, הקשרים ארגוניים ותרבותיים שמאפשרים למערכת להבין את משמעות הנתון. כאשר רכיב זה נעלם, גם איכות ההחלטות נחלשת, משום שהמערכת נשארת ללא ההיגיון האנושי שמעניק משמעות למספרים.
עומס קוגניטיבי כחלק מהתכנון ולא כתקלה
הנטייה להפחית את העומס הקוגניטיבי של המשתמש נראית רציונלית, מי לא ירצה מערכת נוחה, פשוטה ונטולת מאמץ? אולם מבחינה קוגניטיבית, הפחתת מאמץ עד כדי היעדר פעילות הופכת את האדם מצופה פסיבי לשחקן שאיבד את תחושת השליטה בתהליך. Parasuraman ו-Sheridan (2000) הראו כי במערכות אוטומטיות לחלוטין נוצר מצב של אדישות קוגניטיבית Automation Complacency שבו האדם אמנם נוכח אך חדל לעקוב אחר המתרחש, וממילא מאבד את יכולתו לזהות חריגה.
מבחינה תכנונית, המשמעות היא שיש לראות בעומס הקוגניטיבי מנגנון איזון ולא כשל. עומס מתון שומר את המשתמש פעיל, בוחן, שואל ומאמת, ובכך הוא משמש כמרכיב של בקרה פנימית. מערכת שמפחיתה כל אתגר קוגניטיבי יוצרת תהליך מושלם על הנייר אך שביר במציאות, משום שאין בתוכה עוד נקודת ביקורת אנושית. מערכת חכמה באמת איננה זו שמונעת מן המשתמש לחשוב, אלא זו שמזמינה אותו לעשות זאת במידה הנכונה במקומות שבהם שיפוטו מוסיף ערך ולא מכביד על הזרימה.
אוטונומיה מלאה ככשל ארכיטקטוני
אוטומציה נועדה לצמצם טעויות אנוש, אך בהיעדר נוכחות אנושית נוצרת סכנה הפוכה, טעויות מערכתיות שאינן מזוהות. כאשר המערכת מתוכננת לפעול ללא עצירה, ללא בקשת אישור וללא בחינה אנושית, נעלם מנגנון השיפוט הקיומי של המערכת, ההכרה בכך שמשהו עשוי להיות שגוי. Endsley (1995) כינתה זאת אובדן של מודעות מצב (Situation Awareness): המערכת פועלת על פי כללים קבועים גם כאשר תנאי העולם השתנו.
מה שמחזק תופעה זו הוא האמון הבלתי מסויג באוטומציה. המשתמשים, המנהלים ולעיתים גם המפתחים עצמם נוטים להניח כי מערכת מתוכנתת היטב פועלת נכון מעצם טבעה. זוהי הטיית אוטומציה קלאסית (Automation Bias), אשר מביאה לכך שכל חריגה קטנה מתפרשת כחוסר רלוונטיות אנושי ולא כבעיה מערכתית. אך אוטונומיה מלאה איננה מצב של יעילות עליונה היא מצב של סגירה מבנית. מערכת שאינה מאפשרת יותר ביקורת אנושית מאבדת גם את יכולתה להשתפר.
אחריות וידע אינם ניתנים להאצלה
ביסוד כל מערכת אוטומטית עומדת שאלה מוסרית: למי שייכת האחריות כאשר מתרחשת טעות? כאשר ההחלטות מתקבלות על ידי מערכת שאיננה ניתנת לשיפוט, נוצרת ריקנות מוסרית.
האדם מפסיק להרגיש אחראי משום שהמערכת היא שקבעה, והמערכת אינה נושאת באחריות משום שהיא רק ביצעה. Hancock ו-Sheridan (2011) הציעו לראות באחריות עקרון דיפרנציאלי, המערכת אחראית לביצוע, אך האדם אחראי לפרשנות. המערכת אינה מסוגלת להשלים פעולה ללא קלט אנושי, והאדם אינו יכול להכריע ללא הבנה של פעולת המערכת.
כאשר קשר זה נעלם, גם מושג האחריות נשחק. מערכות אוטומטיות אינן מסוגלות להבחין בין החלטה נכונה להחלטה מוצדקת, משום ששתיהן דורשות נימוק ערכי. לכן, השארת האדם בלולאה איננה רק צורך תפעולי, היא תנאי לקיומה של מערכת אתית. האחריות האנושית, בניגוד ליעילות טכנית, אינה נמדדת בזמן או בעלות אלא ביכולת לשאת בהשלכות.
מערכת לומדת היא מערכת שיש לה עם מי לדבר
למידה מערכתית איננה הצטברות נתונים אלא עיבוד של חוויות. מערכת שאינה נדרשת עוד לשיח אנושי מאבדת את היכולת להמיר מידע בידע. במודלים של Human In The Loop, הלמידה מתרחשת דווקא ברגעים של אינטראקציה בין האדם למכונה. כאשר המערכת מספקת תוצאה, האדם בוחן אותה, מעיר, מתקן, והמערכת לומדת מן התיקון. כאשר הלולאה הזו נחתכת, נעלם מנגנון ההתפתחות.
במובן זה, אדם איננו חוליה חלשה שיש להחליף, אלא מנוע הסתגלות שמאפשר למערכת להמשיך להתאים את עצמה למציאות משתנה. מערכת שאינה נזקקת לו עוד אמנם חוסכת זמן, אך משלמת על כך באובדן היכולת לזהות הקשרים חדשים. היא מתפקדת היטב כל עוד התנאים קבועים, אך קורסת ברגע שמתרחש שינוי שאינו כלול בתחזיותיה.
לקראת הבנה חדשה של יעילות
ההנחה הנאיבית שמערכת טובה היא מערכת שמפחיתה את העבודה האנושית לאפס נשמעת כטענה טכנולוגית, אך למעשה היא טעות ארגונית. מערכת נטולת אדם איננה מערכת חכמה אלא מערכת מנוונת, היא מבצעת ללא ביקורת, מתעדת ללא הבנה ולומדת ללא הקשר. היעילות שהיא מציגה היא מדד רגעי, לא יכולת ארוכת טווח.
תכנון נכון של מערכות מידע, בקרה ואוטומציה נדרש לשנות את נקודת המוצא: האדם איננו הפרעה שיש לצמצם, אלא משתנה שצריך לעגן במבנה המערכת. לא מתוך נוסטלגיה ל"עבודה אנושית", אלא משום שרק נוכחות אנושית מאפשרת למערכת לשמור על כושר שיפוט, ביקורת ולמידה מתמשכת.