ההתפשטות המהירה של אוטומציות מתקדמות במערכות מידע יצרה בלבול מושגי עמוק. בארגונים רבים נעשה שימוש כוללני במונח "בינה מלאכותית", מבלי להבחין בין מערכות הפועלות על בסיס חוקים עסקיים מוגדרים מראש לבין מערכות המבוססות על למידת מכונה.
הבלבול הזה אינו עניין תאורטי. הוא משפיע ישירות על אופן תכנון המערכת, על רמת הסיכון התפעולי, על מבנה הבקרה, ועל האופן שבו משתמשים חווים את המערכת. במיוחד בסביבות שבהן מתקבלות החלטות בזמן אמת, תחת עומסי קשב, מגבלות זמן ולחצים תפעוליים.
במערכות מידע, ההבחנה האמיתית היא בין אוטומציה שמיישמת כללים ידועים ויציבים כמו, מאקרו, Workflow, טריגרים, לבין אוטומציה שלומדת, משתנה ופועלת בהסתברות ML. זו הבחנה שמגדירה את גבולות האחריות האנושית הרבה יותר מכל תיאור טכנולוגי.
בינה מלאכותית (AI), במובן הרחב, היא מטרייה. תחתיה נמצאות גם מערכות מבוססות חוקים וגם מערכות לומדות. בפועל, מערכת שמבצעת פעולה "חכמה" על בסיס תנאים שהוגדרו מראש יכולה להיקרא מערכת AI, אך היא אינה מערכת לומדת. ההבדל הזה קריטי, משום שהוא קובע אם ניתן לשחזר החלטה, להסביר אותה ולשלוט בה לאורך זמן.
מערכות המבוססות על חוקים עסקיים פועלות לפי תנאים ותוצאות שהוגדרו מראש. ניתן לדעת מה הופעל, מתי ולמה. כאשר מתרחשת תקלה, ניתן להתחקות אחר מקור השגיאה, לתקן את החוק ולהחזיר את המערכת לפעילות יציבה מבלי לשנות את אופייה. התנהגות המערכת קבועה, אינה תלויה בהיסטוריית נתונים, ואינה משתנה עם הזמן.
במערכת כזו המשתמש יודע למה לצפות. כאשר תנאי מתקיים, פעולה מתבצעת. האחריות ברורה, המערכת מיישמת והאדם שומר על שיקול הדעת במקומות שהוגדרו מראש. העומס הקוגניטיבי צפוי, ואינו דורש פרשנות מתמשכת. המשתמש אינו נדרש "לקרוא בין השורות" של המערכת.
לעומת זאת, מערכת המבוססת על למידת מכונה פועלת אחרת לגמרי. היא אינה נשענת על כללים מפורשים, אלא על מודל הלומד דפוסים מתוך נתונים. הקשר בין הקלט לפלט אינו קבוע, והמערכת עשויה לשנות את התנהגותה לאורך זמן. גם כאשר מתקבלת תוצאה עם רמת ביטחון, לא תמיד ניתן להסביר מדוע התקבלה דווקא עכשיו.
כאשר מודל ממשיך להתעדכן, ייתכנו שינויים בדיוק מבלי שהמשתמשים מודעים לכך. בסביבות תפעוליות רוויות התראות, כל שינוי כזה מתורגם לעומס נוסף, יותר צורך בפרשנות, יותר אימות, יותר בדיקה. המשתמש נדרש להעריך אם התוצאה מתאימה למציאות, ולא רק אם היא "נכונה" מבחינה חישובית.
הבעיה מתחילה כאשר ארגונים משתמשים ביכולות ML חדשות, אך מתייחסים אליהן כמו אל חוקים עסקיים. ההתנהגות אינה יציבה, אך הציפייה כן. המשתמש מניח שהמערכת פועלת בעקביות, וכאשר היא אינה עושה זאת נוצר בלבול, שחיקה באמון וקושי לתחקר אירועים בזמן אמת.
במערכת מבוססת חוקים, תקלה נתפסת כבאג, שגיאה שניתן לאתר ולתקן. במערכת מבוססת ML, "תקלה" היא לעיתים תוצאה של הסתברות שלא עבדה לטובתנו, או של דפוס נתונים שהשתנה. אם אין הבחנה ברורה בין שני המצבים, הארגון מאבד את היכולת להבין מה קרה, לא רק למה זה קרה.
כאן מתגלה תפקידו האמיתי של המשתמש האנושי. לא כמי שמאשר אוטומטית, אלא כגורם שמעריך, מפרש ומזהה מתי המערכת חורגת מהתנהגות סבירה. במערכות לומדות, המשתמש אינו תוספת למערכת אלא חלק ממנגנון הייצוב שלה. האחריות האנושית אינה נעלמת, היא משנה צורה.
כאשר תכנון המערכת אינו מגדיר במפורש מתי נדרש שיקול אנושי, מתי המערכת צריכה לעצור, ומתי יש להציג אי ודאות, העומס נופל על המשתמש ברגעים הלא נכונים. לא כי המערכת "טעתה", אלא כי לא הוגדרו גבולות הפעולה שלה.
לכן ההבחנה בין אוטומציה מבוססת חוקים לבין אוטומציה לומדת אינה עניין טכני. היא תנאי לתכנון מערכות מידע שפועלות בתוך מציאות ארגונית מורכבת, שבה קשב אנושי הוא משאב מוגבל, והחלטות מתקבלות תחת לחץ.
ההבדל בין מערכת שמתפקדת כשותפה לבין מערכת שמכבידה על המשתמש אינו נובע מרמת התחכום שלה, אלא מהבהירות שבה הוגדר מה היא עושה בפועל, ואיפה האחריות עוברת חזרה לאדם.