המעבר ממערכות מבצעות למערכות מחליטות אינו שינוי טכנולוגי נקודתי, אלא שינוי עומק באופן שבו מבינים שליטה, סמכות ואחריות. תשתיות הענן, שבעבר שימשו בעיקר כאמצעי לאחסון והרצה, הפכו לסביבה שבה מתרחשת קבלת החלטות בפועל. בתוך אותה תשתית פועלים מודלים של בינה מלאכותית, ועל גביהם נבנים סוכנים שמסוגלים לא רק לנתח מידע אלא גם לפעול, לקרוא מערכות, לעדכן נתונים, ולהניע תהליכים עסקיים שלמים. הסוכן כבר אינו שכבה תומכת, הוא חלק מהמערכת המבצעת.
המשמעות היא שהגבול המסורתי בין מערכת לבין משתמש מתחיל להיטשטש. בעבר, ההנחה הייתה ברורה, המערכת מבצעת בהתאם לפקודות והאדם מחליט. היום, הסוכן מפרש, שוקל ומבצע, ולעיתים אף עושה זאת במהירות ובהיקף שאדם אינו מסוגל להם. בתוך מציאות זו, השאלה אינה רק כיצד להפעיל טכנולוגיה מתקדמת, אלא כיצד לשלוט בה. כאשר סוכן מקבל הרשאה לפעול, הוא למעשה מקבל גם חלק מהאחריות. אך בניגוד לאדם, הוא אינו נושא באחריות משפטית או ארגונית ולכן האחריות חוזרת אל מי שתכנן את המערכת, הגדיר את גבולותיה ואישר את פעולתה.
הנקודה הזו משנה את האופן שבו יש להתייחס לאבטחת מידע. אבטחה כבר אינה רק שכבת הגנה שמתווספת מעל מערכת קיימת, היא חלק בלתי נפרד מתכנון המערכת עצמה. כל החלטה על אוטומציה, כל הרשאה שניתנת לסוכן, וכל תהליך שמוגדר כאוטונומי הם למעשה החלטות אבטחה. במובן הזה, המעבר לענן ול-AI אינו רק הרחבה של יכולות טכנולוגיות, אלא שינוי במבנה קבלת ההחלטות הארגוני.
לא עוד חולשה טכנית: אבטחה כניהול של תהליך והחלטה
בעולם הענן הקלאסי, האבטחה התמקדה בזיהוי חולשות: הרשאות יתר, תצורות שגויות, חשיפה של משאבים. ישנם כלים שפועלים בדיוק בנקודה הזו, הם ממפים את הסביבה, מזהים סיכונים, ומתריעים על נקודות כשל. זהו מודל שמניח שהמערכת עצמה יציבה, והבעיה היא באופן שבו היא מוגדרת. אך כאשר נכנסים לתמונה מודלים וסוכנים, ההנחה הזו כבר אינה מספיקה.
האתגר המרכזי אינו רק מה מוגדר במערכת, אלא כיצד המערכת מפרשת ופועלת. סוכן יכול לקבל החלטה על סמך מידע חלקי, לשלב נתונים ממקורות שונים באופן שלא תוכנן מראש, או להיות מושפע מקלט זדוני שמכוון את פעולתו. כאן כבר לא מדובר בפירצה במובן הקלאסי, אלא בהתנהגות בלתי צפויה בתוך גבולות תקינים לכאורה. המערכת פועלת כפי שתוכננה אך התוצאה אינה בהכרח זו שהתכוונו אליה.
מצב זה מחייב הרחבה של מושג האבטחה. במקום להתמקד רק בזיהוי חריגות, יש צורך לתכנן מראש את גבולות הפעולה. אילו החלטות סוכן רשאי לקבל באופן עצמאי, ואילו החלטות מחייבות אישור? כיצד מגדירים נקודות עצירה בתוך תהליך אוטומטי? ואיך ניתן להבין בדיעבד מדוע התקבלה החלטה מסוימת? שאלות אלו אינן טכניות בלבד, הן נוגעות לליבת התהליך.
ישנן מערכות מתקדמות שכבר משלבות מנגנוני הגנה ייעודיים לסביבות AI, אך גם הן נשענות על עקרונות בסיסיים: הגבלת הרשאות, ניטור מתמשך, והפרדה בין שלבי קבלת החלטות. עם זאת, הכלים לבדם אינם מספיקים. ללא הבנה של התהליך העסקי ושל נקודות החיכוך האנושיות שבו, גם מערכת מאובטחת היטב עלולה לייצר טעויות בקנה מידה רחב.
המעבר הזה מדגיש נקודה נוספת: האיום כבר אינו חיצוני בלבד. לא מדובר רק בגורם שמנסה לפרוץ למערכת, אלא גם בהתנהגות פנימית של המערכת עצמה. סוכן שפועל במסגרת הרשאות שניתנו לו עלול לייצר נזק משמעותי, גם ללא כל כוונה זדונית. לכן, אבטחה הופכת להיות לא רק הגנה מפני תקיפה, אלא גם מנגנון שמונע מהמערכת לפעול מעבר למה שנכון לה.
עתיד התחום: בין אוטומציה, סמכות ובקרה אנושית
ככל שסוכנים יהפכו לחלק בלתי נפרד בחיינו, כך תגדל החשיבות של תכנון נקודות הבקרה. לא מדובר עוד בניטור בדיעבד, אלא בהטמעה של מנגנוני עצירה בתוך התהליך עצמו. מודלים של Human-in-the-Loop אינם רק שכבת פיקוח נוספת, אלא דרך להגדיר מחדש את חלוקת התפקידים בין אדם למערכת. במקום לראות באדם גורם שמעכב את האוטומציה, ניתן לראות בו רכיב שמייצב אותה.
המשמעות עבור עובדים בתחום היא שינוי בתפקיד, הידע הטכני ימשיך להיות חשוב, אך לא יספיק. נדרשת יכולת להבין כיצד תהליכים חוצים מערכות, כיצד החלטות מתקבלות בפועל, ואילו מנגנונים יכולים למנוע טעויות עוד לפני שהן מתרחשות.
בתוך מציאות זו, אחת השאלות המרכזיות נותרת פתוחה: עד כמה ניתן לאפשר לסוכן לפעול באופן עצמאי? כאשר סוכן משתלב במערכות קריטיות, כגון: פיננסיות, תפעוליות או רגולטוריות, כל החלטה שהוא מקבל נושאת השלכות רחבות. האם ניתן להסתמך על מודל סטטיסטי בקבלת החלטות רגישות? האם יש נקודות שבהן נדרש שיקול דעת אנושי, גם אם הוא איטי יותר? וכיצד ניתן להבטיח שהמערכת אינה רק יעילה, אלא גם אחראית.
העתיד אינו נמצא בבחירה בין אוטומציה לבין שליטה אנושית, אלא ביצירת איזון מדויק ביניהן. מערכות שידעו לשלב בין יכולת חישוב מהירה לבין מנגנוני בקרה ברורים יוכלו לפעול באופן יציב לאורך זמן. לעומת זאת, מערכות שיתבססו על אוטומציה מלאה ללא גבולות ברורים עלולות להיתקל בכשלים שלא ניתן יהיה לזהות בזמן.
בסופו של דבר, השאלה אינה טכנולוגית בלבד. היא נוגעת לאופן שבו בני אדם מבינים אחריות. כאשר סוכן מקבל הרשאה, הוא אינו רק מבצע פעולה, הוא נכנס למרחב שבו מתקבלות החלטות. מי שמגדיר את גבולות המרחב הזה, קובע למעשה כיצד תיראה המערכת כולה.