לאחר ניתוח מנגנוני האמון, הקשב והבקרה, עולה כי אחת הסכנות המרכזיות באוטומציה מתקדמת היא שחיקה תודעתית, מצב שבו האדם נותר פורמלית במערכת אך מאבד רלוונטיות תפקודית. כאשר המערכת מבצעת את מרבית הפעולות באופן עצמאי, המעורבות האנושית מתרוקנת ממשמעות, והאחריות עלולה להפוך להצהרתית בלבד.
מכאן שהשאלה המרכזית איננה כיצד לעורר מודעות, אלא כיצד לתכנן מערכת שאינה מאפשרת היעדר מודעות. עיצוב כזה מבוסס על הנחת יסוד שאומרת שמודעות איננה תכונה פסיכולוגית אלא נכס ארכיטקטוני שיש להבטיח אותו דרך מבנה, זרימות ואילוצי פעולה.
במערכות אוטומטיות רבות, האדם מוגדר כגורם “מפקח” בלבד, תפקיד שאינו מעוגן באילוצי המערכת נשחק במהירות. תכנון ארכיטקטוני נכון מחייב לקבע את האדם כחלק מהשרשרת הקריטית של תפקוד המערכת. במונחי הנדסה מערכתית, המשמעות היא שהמערכת לא תוכל להשלים מחזור פעולה מסוים ללא קלט אנושי משמעותי, גם אם מדובר באימות חלקי בלבד. הדבר יוצר תלות מבוקרת במעורבות אנושית, ומונע מצב שבו תהליכי הלמידה וההחלטה הופכים אוטונומיים לחלוטין.
Parasuraman ו- Mouloua (2010) מתארים זאת כ- adaptive automation רמת האוטומציה עצמה משתנה בהתאם למדדי ביצוע אנושיים כמו, עומס, דיוק או זמן תגובה, כך שהמערכת אינה מייתרת את האדם אלא נבנית סביבו. גישה זו הופכת את נוכחות האדם מתכונה נלווית לחלק מהלוגיקה הפנימית של המערכת.
אחריות קוגניטיבית ותלות הפוכה
מודעות נשמרת כאשר קיימת אחריות אמיתית לתוצאה. ארכיטקטורה אוטומטית שנשענת על “הסבר” או “התרעה” בלבד מייצרת פיקציה של שליטה, אך לא אחריות בפועל. כדי למנוע זאת, יש להגדיר מנגנונים של תלות הפוכה, מצבים שבהם המערכת עצמה נזקקת לקלט אנושי כדי לאשר, לפרש או לדרג את תוצאותיה.
למשל, במערכות ניתוח נתונים אוטומטיות, ניתן לחייב את האלגוריתם לעצור כאשר קיימת אי-ודאות חישובית מעל סף מסוים, ולהעביר את ההחלטה לבקרה אנושית. לא מדובר ב"פונקציית אישור" טכנית, אלא במנגנון שמחזיר את השיפוט האנושי אל מרכז התהליך. Endsley (1995) מתארת זאת כהבטחת situation awareness לא באמצעות התרעות נוספות, אלא דרך דרישה מבנית לפירוש אנושי. במובן זה, האחריות הקוגניטיבית אינה נובעת מהתנהגות המשתמש אלא מהתלות שמערכת מחויבת אליה.
תכנון לתקשורת אנושית-מערכתית מתמשכת
כדי לשמר נוכחות קוגניטיבית לאורך זמן, המערכת צריכה לא רק "לשתף" את האדם אלא לדבר בשפתו. ממשקים אוטומטיים נוטים לצמצם את השפה לצורה של “התראה” או “סטטוס”, אך מודעות אנושית נשמרת כאשר קיימת זרימת משוב דו-כיוונית שבה האדם מקבל מידע, מפרש אותו, והמערכת מעדכנת את פעולתה בהתאם לפרשנות זו.
מודל זה מתואר בספרות כ- Human-In-The-Loop (HITL) במובנו המורחב, לא רק אדם “בתוך הלולאה”, אלא אדם במרכז מנגנון הלמידה. מערכות כאלה שומרות על כשירות ארגונית גבוהה, כיוון שהידע התפעולי של המשתמשים מוזרם חזרה אל מנגנוני ההחלטה ומונע קיבעון מבני.
Norman (2013) מדגיש כי שקיפות אמיתית נוצרת כאשר המשתמש מבין את מגבלות המערכת, לא רק את פעולותיה. לכן, תכנון מודעות אנושית אינו מסתיים בהצגת הסבר “למה זה קרה”, אלא בהצגת ספק “האם אני בטוחה בכך”. זהו מעבר מתקשורת הסברתית לתקשורת ביקורתית.
מודעות אנושית איננה יכולה להתקיים אם האחריות מפוזרת. ברמות אוטומציה גבוהות, גבולות האחריות נוטים להיטשטש: מי אשם כאשר מערכת למידת מכונה קיבלה החלטה שגויה?
הפתרון טמון בתכנון ארגוני סימטרי, האדם אחראי על פרשנות, המערכת על ביצוע, אך כל צד מחויב להיזון חוזר קבוע. Hancock ו- Sheridan (2011) מציינים כי חלוקה דיפרנציאלית זו מצמצמת את תופעת out-of-the-loop ומחזירה את הידע האנושי אל מרכז התהליך. במישור המוסדי, המשמעות היא לקבע בחוקי הבקרה והביקורת מנגנוני אימות אנושיים שאינם ניתנים לעקיפה. מודעות אנושית, בהקשר זה, היא לא יעד אלא מנגנון בקרה מוסדר.
תכנון נוכחות אנושית במערכות אוטומטיות הוא ביטוי לשינוי עומק בתפיסת תפקידו של האדם בארכיטקטורת הארגון. במערכות המסורתיות, האדם נתפס כגורם שצריך “להתאים את עצמו” לטכנולוגיה. להיות מהיר יותר, מדויק יותר, ממושמע יותר כאשר האוטומציה נבנתה כדי לפצות על מגבלותיו. אך ככל שהמערכות נעשו חכמות יותר, התברר כי החולשה אינה נעוצה באדם, אלא במבנה שמוציא אותו מהלולאה.
כאשר האדם מאבד את אחיזתו בזרימת ההחלטות, המערכת מאבדת את שיפוטה. לכן, עיצוב מודעות איננו פעולה של הדרכה או חיזוק תשומת לב, אלא הטמעת אילוצים ארכיטקטוניים שמחייבים את המערכת לשתף פעולה עם יכולת השיפוט האנושית. המודעות הופכת ממאמץ מנטלי למאפיין תכנוני. היא אינה נדרשת מהמשתמש היא נדרשת מהמערכת.
ברמה הארגונית, משמעות הדבר היא מעבר ממבנה היררכי שבו “האדם מפקח על המכונה” אל מבנה הדדי שבו האדם והמערכת אחראים הדדית על תקפות ההחלטה. האדם אינו עוד נקודת בקרה חיצונית אלא חלק ממנגנון הלמידה, והמערכת אינה רק מבצעת אלא גם מאזינה. זהו דיאלוג מתמשך שבו כל צד נדרש לגלות יכולת ביקורתית. המערכת כלפי עצמה, והאדם כלפיה.
במובן זה, עיצוב מודעות איננו מטרה בפני עצמה אלא אמצעי ליצירת מודעות מערכתית. מצב שבו גבולות האחריות, ההבנה והבקרה מחולקים באופן שמונע ריכוז ידע או כוח אצל גורם יחיד. מודעות מערכתית מייצרת שיווי משקל חדש בין אוטונומיה אנושית לבין אוטונומיה טכנולוגית. מערכת שאינה זקוקה עוד להשגחה מתמדת, אך גם אינה מסוגלת לפעול ללא ביקורת אנושית. כך הופכת המודעות האנושית ממנגנון הגנה פסיכולוגי למרכיב ליבה של עיצוב מערכות מידע, ובפרט של ארגונים המבקשים לשמר אחריות, גמישות ואתיקה בעידן של אוטומציה גוברת. המעבר הזה, מהתנהגות אנושית למודעות מערכתית, הוא לב הדיון על עתיד ה-HITL לא כאילוץ טכנולוגי, אלא כבסיס פילוסופי לניהול מערכות בנות אדם.