האם נכון לוותר על המפעיל האנושי במערכות לחימה אוטונומיות

סוללת "יהלום" של מערך הגנ"א משגרת טיל MIM-104D פטריוט במהלך תרגיל. שילוב מערכות אוטומטיות איננו אמור להוציא את המפעילים האנושיים מתהליך התפעול של מערכות הלחימה, אלא רק משנה את תפקידיהם (צילום: דו"ץ)

בתצוגת "AUSA 2019" הציגה חברה ביטחונית ישראלית רק"ם המאויש בשני לוחמים בלבד.1 שאר הפעולות ברק"ם (נהיגה, זיהוי מטרות, הקצאת חימוש למטרות) בוצעו באמצעות מערכת בינה מלאכותית. ניכר כי זרוע היבשה מכוונת לתהליך שעבר חיל האוויר כבר לפני שנים רבות: הפעלת מטוסים מאוישים מרחוק, בעלי נפח טיסה גדול כמעט פי ארבעה מזה של מטוסים מאוישים.2 במקביל להתקדמות יכולות הבינה המלאכותית ומרוץ החימוש העולמי3 לשילוב מערכות נשק אוטונומיות במערכי הלחימה,4 יִגְבְּרו ודאי הלחצים לצמצום של כוח אדם איכותי, ומנגד יתעצמו אתגרי הצפיפות בתווך האלקטרו־מגנטי והצורך בשמירה על קשר רצוף ושליטה בשדה הקרב. כתוצאה מכך יגברו הקולות הקוראים לתת יותר עצמאות ואוטונומיות למערכות הנשק האוטומטיות. מערכת הביטחון תתמודד בשנים הבאות עם השינויים הכרוכים במעבר שבין משימות המפעילים האנושיים ובין תחומי הפעלת מערכות אוטונומיות מסוגים חדשים לחלוטין, בהן נחילי כלי טיס לא מאוישים ומערכות רובוטיות ימיות ויבשתיות.

במאמר זה אטען כי שילוב מערכות אוטומטיות איננו אמור להוציא את המפעילים האנושיים מתהליך התפעול של מערכות הלחימה, אלא רק משנה את תפקידיהם. שינוי תפקידי הלוחמים - מהפעלה ידנית, לבקרה והשגחה (Supervisory Control) על פעולתה של מערכת אוטומטית - טומן בחובו אתגרים רבים, הואיל ושילוב המפעיל האנושי, החיוני בהפעלתן של המערכות, אינו מובן מאליו. מערכות ההגנה האווירית מסוגלות כיום, בין היתר, לגלות ולזהות מטרות המצויות במרחק מאות קילומטרים, לשלוח מיירט למרחק עשרות קילומטרים ולפגוש מטרה בחלל במהירויות חליפה של אלפי מטרים לשנייה. לצורך כך מבצעות המערכות מדי רגע חישובים מורכבים, מעל ומעבר לכל יכולת חישוב אנושית. עם זאת, פותחה במערכות ההגנה האווירית הישראליות תפיסת בקרת מפעילים ייחודית, המזהה נכון וממצָה באופן מיטבי את יתרונות המפעילים האנושיים של אותן מערכות אוטומטיות.

מוֹתר האדם מן הבינה המלאכותית

בספרות המקצועית ובמאמרים אקדמיים שונים יש התייחסות מקיפה למגבלות האינטליגנציה המלאכותית.5 במערך ההגנ"א, מהניסיון שנצבר עד כה בהפעלת מערכות אוטומטיות מתקדמות, ניכר יתרון המפעילים האנושיים על המערכת האוטומטית בכמה היבטים: מערכת אוטומטית תדע תמיד לא יותר ממה שלימדו אותה. גם "מערכת לומדת" למדה רק את סט הלמידה שלפיו הוכשרה ולכן תתקשה מול שינויים פשוטים.6 במהלך קרבות נתקלת המערכת לא פעם בתופעות שאיתן לא התמודדה מעולם ולא נערכה אליהן מראש.7 במצבים כאלה, שאותם לא הצליחו מפתחי המערכת לחזות או להעביר את הידע הנדרש להתמודד איתם, בגלל מגבלות במשאבי הפיתוח וכדומה, ייתכנו שתי אפשרויות: אי זיהוי המצב החדש; או זיהוי המצב החדש באופן שגוי, כמצב מוכר אחר. במקרים אלה, שבהם המערכת לא תגיב כלל, או שתגובתה למצב תהיה לא מותאמת - תפקידו של המפעיל האנושי יהיה לזהות את שגיאת המערכת ולתקנה במהירות האפשרית.

בליל 29 בינואר 1991, במהלך מלחמת המפרץ הראשונה, שוגרו טילי אל־חֻסֵיין עיראקיים לתל־אביב, ולראשונה התמודדה מערכת אוטונומית מורכבת ("פטריוט") עם תופעות שדה הקרב שאליהן המערכת לא הייתה ערוכה ולא נבדקה יכולתה מולן. ואכן, המערכת זיהתה לא נכון את המצב החדש ועמדה לפעול באופן שגוי. פעולה מהירה של המסו"ל הישראלי עצרה מבעוד מועד את המערכת מלשגות. מפתחי המערכת מהתעשיות האמריקניות, שבשלב ראשון כעסו וייחסו את כישלונותיה לתפעולו החריג של המסו"ל, שאותו האשימו בתוצאות, הודו לבסוף שפעולתו מנעה מבוכה גדולה יותר. במלחמת המפרץ השנייה שהחלה ב־2003 כבר הצליחה מערכת הפטריוט להתגבר על הכישלונות מהמלחמה הקודמת וליירט בהצלחה תשעה טילים ורקטות, ששוגרו לעבר כוחות אמריקניים וקואליציה ששהו בכווית ובסעודיה. הצלחה זו הוכתמה באירועי הפלת עמיתים והרג טייסים אמריקנים ובריטים, שהתרחשו בעקבות זיהוי שגוי: מטוס טורנדו של חיל האוויר הבריטי סווג על־ידי המערכת בטעות כטיל נגד קרינת מכ"ם, הועסק באופן אוטומטי והושמד. מטוס F-18 של הצי האמריקני הופל בטעות על־ידי טילי PAC3 ששוגרו על־ידי סוללת פטריוט נגד טיל קרקע-קרקע, מה שהתברר כסיווג שווא. בעקבות זאת, כתוצאה ממטחי אש "ידידותית", נספו שלושה אנשי צוות אוויר בשני האירועים.8

בקרת המערכת בעת קבלת החלטות קריטיות, ובמיוחד לצורך מניעת פגיעה בכוחותינו ובבלתי מעורבים

ביולי 1988 אירע בצי האמריקני כשל טרגי של מערכת ושל הממשק שלה עם מפעילים אנושיים. ספינת הטילים "USS Vincennes" הפילה מטוס אזרחי שהמריא מאיראן, וגרמה להרג 290 נוסעיו. מערכת הנשק האוטומטית (Aegis) של ספינת הטילים זיהתה את המטוס האזרחי באופן שגוי כמטוס קרב מאיים מסוג F-14 של חיל האוויר האיראני. הלחץ בשל החשש מתקיפת הספינה גרם למפעילים של מרכז ידיעות הקרב (CIC) בספינה להיכשל בהבנת המצב: המטוס היה במסלול נסיקה ולא בצלילה לכיוון הספינה, כפי שסברו, קריאת מערכת הזע"ט הייתה שגויה ומספר הנתיב שהתחלף יצר חוסר הבנה בין אנשי הצוות למפקד הספינה. בעקבות זאת השלימו את תהליך היירוט השגוי, שגרם לפגיעה.9 בעקבות הפלות מטוסי עמיתים במלחמת המפרץ השנייה, ערכה ARL (מעבדת המחקר של צבא היבשה) מחקר מקיף סביב הסיבות לכשלים. התברר שמפעילי הפטריוט האמריקנים הפעילו את המערכת במוד אוטומטי לחלוטין, ונמנעו מלהתערב בתהליכי היירוט השגויים. בסדרת מאמרים שפורסמו בעקבות המחקר, ניכרת הכאה על חטא בשל האמון העיוור שנתנו מפעילי הפטריוט במערכת האוטומטית, והודגשו פערים ברמת ההכשרה המקצועית שנדרשה לפיתוח מודעות מצבית (SA) של מפעילי המערכות.10

שיגור "חץ 3" באלסקה. אנשי היחידה הוכיחו שהם יודעים להתגבר על הפער ביכולות המערכת ולהתמודד עם כל איום

יכולת זיהוי ויצירת מודעות מצבית על רקע רעשי הקרב

היכולת האנושית לראות ולהבין את "התמונה הגדולה" מתעלה על היכולת הממוחשבת להעריך נכון משמעויות, לזהות דפוסי התנהגויות ולראות מבעד למידע הזמין, באמצעות רמות גבוהות יותר של הפשטה, אסוציאטיביות והיקש אנלוגי להבנה גבוהה של המשימה והממשק עם הטכנולוגיה.11 ואמנם, למרות התקדמות הפיתוח של מערכות זיהוי תמונה בעלות למידה עצמאית מתקדמת, אנחנו עדיין נדרשים למבחני זיהוי כתב ותמונה (כמו "I'm Not A Robot") בכניסה לאתרי אינטרנט. סביר שיתרון אנושי זה יישמר בעתיד הנראה לעין. יתרון מובהק של האדם על־פני מכונה הוא היכולת להפעיל אמות מידה של מוסר וחמלה, הנדרשות בלחימה המעורבת באזרחים.12 יכולת אוטונומית של מערכת נשק לבחור מטרות ולהעסיקן מעלה שאלות של מדיניות, משפט, אתיקה ומוסר. כל שימוש במערכת נשק צריך שיעמוד בכללי טוהר הנשק: מניעת פגיעה בבלתי מעורבים, שימוש מידתי בכוח וכדומה. הפעלת מערכת אוטומטית שלא תדע להבחין בין לוחמי אויב ואזרחים או עמיתים, תהיה בלתי חוקית ובלתי מוסרית בעליל בסביבה המחייבת יכולת הבחנה כזאת.13

יכולת למידה והתאמה מהירה לשינויים

במלחמת לבנון השנייה ב־2006 נתקלו לוחמי סוללת "יהלום" - מערכת הפטריוט במערך ההגנה האווירית של חיל האוויר הישראלי - בתופעות דומות לאלה שחוותה מערכת הפטריוט האמריקנית שלוש שנים קודם לכן במלחמת המפרץ השנייה. תגובתם הייתה שונה לגמרי. הלוחמים הישראלים הוכיחו כי מודעות מצבית נכונה, מיומנות גבוהה ומקצועיות, הנובעות מהכשרה מתאימה, אפשרו ללוחמים להתמודד עם מצבים חדשים ולא צפויים, לזהות נכון שהמערכת שגתה בסיווג מטרות ולמנוע העסקות שגויות. אירועים מפתיעים בקרב הגנה מפני טילים שבהם נכשלו המערכות בזיהוי המצב, כפי שנחווה במלחמת המפרץ הראשונה, חזרו על עצמם גם במלחמת לבנון השנייה, במבצע "צוק איתן" ובאירועים נוספים.14 חלק מן ההתרחשויות חזרו על עצמן כיוון שהמערכות טרם הספיקו ללמוד ולתקן. במרבית המקרים זיהו לוחמי ההגנ"א את המצב בזמן, וידעו איך לתקן זיהוי שגוי ולשמור על רמת הביצועים למרות טעויות המערכת.

מתן מענה מיידי לפערי המערכת

בהתאם לפערים המובנים ביכולת המערכת האוטומטית, מצויים המקומות המחייבים בקרה והתערבות אנושית. כל מערכת נשק שפותחה מגיעה לשימוש מבצעי בהכילה פערים ומגבלות,15 בהתאם למה שמאפשרים הזמן, המשאבים ותקציב הפיתוח. בדרך כלל, תהליכי תיקון מערכות נשק ושיפורן מתבצעים מדי כמה שנים במסגרת "בלוק שדרוג". כל תכנון של פיתוח בלוק שדרוג מתחיל בהגדרת הדרישות ונקודת העבודה ביציאה לדרך. במקרה של מערכות הגנ"א, לדוגמה, דרישות המעורבים לקראת תחילת תהליך הפיתוח כוללות גם את איומי הייחוס שמולם נדרשת המערכת להתמודד. ואולם במהלך הפיתוח, האויב הדינמי מפתח איומים חדשים. וכך, ביום שבו המערכת אמורה להוכיח את עצמה בזמן אמת, שדה הקרב סביבה שונה מזה שמולו פותחה, והיא נדרשת להתמודד עם איומים חדשים, שלא נבחנו בעת פיתוחה. זה המקום שבו יכולים המפעילים האנושיים, בעזרת תרגולות מתאימות ובגיוס המיומנות הנדרשת, לנצל את יתרונם ולהתגבר על הפער, אמנם באופן זמני, עד שהבלוק הבא שיפותח יוכל לצמצמו. או אז, יידרשו המפעילים להתגבר על הפערים הבאים שיתגלו בהתאמת המערכת למערכה הבאה ועל האיומים החדשים שייווצרו.

דוגמה לכך ניתן למצוא בהתרחשות שאירעה במערך ההגנ"א ב־2001. לקראת סיום פיתוח בלוק 2 של מערכת ה"חץ", הופיע בסוריה לראשונה טק"ק מסוג חדש. בסיכום של ניסויי הקבלה שבוצעו לבלוק 2 לקראת הכרזת המבצעיות של המערכת בגרסת המערכת החדשה, הוכיחו אנשי יחידת ה"חץ" שהם יודעים להתגבר על הפער ביכולות המערכת ולהתמודד עם האיום החדש.16 מיותר לציין שפער זה כבר תוקן ואינו קיים במערכת, ושהמפעילים נדרשים להתגבר כיום על פערים חדשים. מתחילת הקליטה המבצעית של מערכת ה"חץ" בחיל האוויר בסוף שנות ה־90 של המאה ה־20 ועד היום, בכל בלוק חדש של מערכת הנשק מתחיל תהליך הקליטה המבצעית בחשיבה מעמיקה והשוואתית על יכולות המערכת מול המגבלות החדשות שנוצרו, ועל התאמת תרגולות התפעול למצב. זאת הדרך להפיק מהמערכת ביצועים טובים יותר מאלה שהייתה מפיקה באופן אוטומטי, ללא מפעילים.

תפקידי המפעילים האנושיים במערכות לחימה אוטונומיות

השינוי המהותי ביותר שעבר תפקיד המפעילים במערכות אוטומטיות ואוטונומיות, הוא המעבר מהפעלה ידנית מסורתית לבקרה פעילה של המערכת.17 פרופ' תומס שרידן, מחלוצי הרובוטיקה באוניברסיטת MIT, ניסח את עקרונות הבקרה האנושית על מערכות אוטומטיות. לפי שרידן,18 תפקידי המפעיל19 האנושי במערכות האוטומטיות כוללים חמישה שלבים:

1. תכנון. בשלב זה מכין המפעיל את מאפייני מדיניות ההפעלה הנדרשים למיצוי מיטבי של יכולות המערכת למימוש משימתה.

2. הכנת המערכת לפעולה והזנת הגדרות התצורה. בשלב זה "מלמד" המפעיל את המערכת, מזין לתוכה את המאפיינים שהוגדרו בשלב התכנון ומציב אותה לביצוע משימתה.

3. בקרה פעילה. בשלב זה מנטר המפעיל האנושי את פעולת המערכת באמצעות תצוגות המודעות המצבית שלה, על־מנת לוודא שהיא פועלת כמתוכנן ומזהה חריגות המחייבות את התערבותו.

4. התערבות אנושית בהחלטות המערכת, במידת הצורך. המפעיל מחליט מתי להתערב, בין אם המערכת דורשת זאת, ובין אם הוא מזהה פער בביצועיה.

5. למידה. לבסוף, על בסיס התכנון, ביצועי המערכת מול המשימה וההתערבויות שביצע המפעיל, הוא נדרש ללמוד לקחים לגבי אופן הפעלת המערכת בעתיד.

האתגרים שביצירת מערכת משולבת אדם-מחשב

שינויים בתפקידי המפעיל של מערכות אוטומטיות לא תמיד נצפים על־ידי מפתחי המערכות ומפעיליהן. כדי למנוע מקרים שבהם שילוב האוטומציה פוגע באפקטיביות המערכת, חיוני ששינויים אלה יובאו בחשבון מרגע תכנון המערכות וממשקי ההפעלה שלהן וגם בהמשך התהליך, בדגש על הכשרת המפעילים.20 בכל אחד מן השלבים ובעת מילוי תפקידי המפעיל האנושי, עלולים להתרחש כשלים כדלקמן:21

כשלים בשלב התכנון, הגורמים לעיצוב תוכנית היערכות שאינה מיטבית או נכונה, עקב חוסר הבנה של יכולות המערכת ומגבלותיה, לרבות חוסר הבנה של האופן שבו מאפיינים שונים משפיעים על פעולתה. כשלים נוספים עלולים להיגרם עקב הבנה לקויה של המשימה ושל האיום, בשל פערי מידע אצל המתכנן או בגלל תפיסה שגויה של המתכנן בנוגע למודל המערכת. ב־2003 הכתים כישלון נוסף את הצלחת מערכת הפטריוט ביירוט איומי תמ"ס במלחמת המפרץ השנייה. היה זה כישלון יירוט טילי שיוט עיראקיים ששוגרו וטסו מתחת לספי הגילוי של סוללות הפטריוט. מפעילי הפטריוט האמריקנים לא הצליחו ללמוד את אופן הפעלת המערכת ולתקן בזמן. ב־2019 נכשל מערך ההגנה הסעודי בניסיון להגן על מתקני הנפט של המדינה מפני תקיפה איראנית. באופן דומה, נראה שסיבת הכישלון היא היערכות לאיום מסוג מסוים, שאינה מתאימה להתמודדות עם איום מסוג אחר.22 לעומת זאת, במלחמת לבנון השנייה התאימו מערך ההגנ"א של חיל האוויר, בסיוע מפא"ת והתעשיות הביטחוניות, את מערכות הנשק והסנסורים להתמודדות עם האיומים החדשים ששיגר חזבאללה. כך, באמצעות גילוי ואיכון פגיעה מדויק, יכלו מערכות הנשק לספק התרעות מדויקות ולהציל חיי אדם בעורף.23

כשלים בשלב הכנת המערכת לפעולה. הכשלים בשלב ההכנה נגרמים בדרך כלל בגלל הזנה שגויה של נתונים. מכיוון שלעיתים קרובות הפרמטרים המוזנים למערכות בשלב זה תקינים מבחינת המערכת, ולמערכת אין דרך לדעת ולהתריע שהם שגויים, פותחו במערך ההגנ"א נהלים לבדיקות כפולות של תקינות הזנת הנתונים. ואכן, לא פעם, בבדיקות שנערכו, התגלו שגיאות בהזנת מיקומים וכיוונים, שהיו עלולות להכשיל את המערכת.

כשלים בשלב הבקרה והניטור של פעולת המערכת. הכשלים בשלב הבקרה נובעים בעיקר מהאתגר של זיהוי פערים וחריגות בביצוע המשימה. פערים אלה נובעים מכמה סיבות:

1. מגבלות מובנות ביכולת הניטור שמקורן בהיותנו אנושיים: האדם, באופן מוכח מחקרית, הוא בעל יכולת ניטור מוגבלת (לדוגמה, במשך זמן ריכוז במשימה).

2. המערכת מציפה את המפעיל בעודף מידע ואינה מדגישה מצבים חריגים הדורשים התערבות באופן מספק, המאפשר את זיהוים. לדוגמה, כשהמידע הנדרש לאיתור בעיה מופיע בשורה מס' 14 בין רבות אחרות, וממוקמת בתחתיתו של טופס מס' 17 שכדי להגיע אליו נדרש דפדוף בין טפסים רבים אחרים שכוללים מידע רב אף הם, משימת האיתור מקבלת משקל נוסף ודורשת התייחסות, בעודה חלק ממשימות רבות אחרות שביניהן נדרש המפעיל לתמרן ולקבל במהירות המרבית החלטות, דווקא ברגע האמת.

3. המפעיל מוריד את רמת הקשב במהלך סקירת מסכי המערכת מתוך אמון במערכת וביכולתה לזהות חריגים ולדווח עליהם מיידית למפעיל (אם המערכת נתקלת במצב לא מוכר או לא צפוי ואינה מזהה אותו כחריגה הכשל אף מחמיר).

4. תגובת המערכת שנדרש לזהותה כחריגה נראית לעיתים כתגובה אפשרית ולאו דווקא חריגה. הסיבה לכך היא שהמערכת בחרה בה מתוך אוסף תגובות אפשרי. האתגר של המפעיל הוא לזהות שהתגובה אינה מתאימה למצב, ולכן אינה נכונה בנסיבות המסוימות ומחייבת התערבות.

כשלים בשלב ההתערבות בפעולת המערכת. הכשלים בשלב ההתערבות מקורם לרוב בבחירתה של שיטת התערבות שגויה, בעקבות חוסר הבנה של הבעיה או של הדרך הנכונה להתגבר עליה, בפרט אם המערכת אינה כוללת נדבך המאפשר למפעילים להתערב בפעילותה באופן שיתקן את הבעיה. האתגר מחמיר כאשר ההתערבות האנושית נדרשת דווקא במצבים שבהם המפעילים מצויים בשיא העומס והלחץ. ככל שמפתחי המערכת סומכים פחות על המפעילים האנושיים שיתערבו נכון במקרים בלתי צפויים, כך הם משאירים להם פחות אפשרויות התערבות, ובכך מונעים מהם למעשה אפשרות להציל את המערכת כשהיא בבעיה. במערכות הגנה אווירית אירעו בעבר מקרים שבהם פערים אלה מנעו מהמפעיל להציל את המערכת מכישלון.

במערכות מורכבות כמו מערכות ההגנ"א נדרשת מקצועיות רבה לצד הבנה מעמיקה במערכת כדי להיות מסוגל להבין את מקור הבעיה מיד כשהיא מתעוררת, לאפיינה במהירות ולהתאים לה את הפתרון היעיל ביותר בנסיבות הקיימות. האתגר מעמיק אף יותר כשמדובר בזמן אמת, וההחלטות המחייבות תהליכים חשיבתיים מורכבים נדרשות להתקבל בשיא הלחץ, בהתמודדות עם תקיפה אווירית או בליסטית. אתגר התאמת מהירות התגובה לקצב שבו משתנה שדה הקרב נתפס כייחודי למערכות הגנה אווירית, ואולם ייתכן שכבר בעתיד הקרוב הוא עשוי להיות מנת חלקן של מערכות אוטונומיות נוספות. הכשלים העיקריים בתיאום בין אדם למערכת אוטומטית נובעים מכך שהמערכת האוטומטית לא יכולה "להרגיש" את מטרות המפעיל, ואינה יכולה להבהיר לו מספיק טוב, מה מטרותיה ומדוע היא עושה את מה שהיא עושה, אינה יכולה להסביר למפעיל, כי אינה מבינה טוב את פעולות ההתערבות שלו ואינה מבהירה למפעיל מספיק טוב את מגבלותיה.24

כשלים בשלב הלמידה. למידת הלקחים הלא נכונים או חוסר היכולת ללמוד מניסיון. כשלים אלו יחמירו את הפערים בהבנת המערכת ותגובותיה, ועלולים ליצור כשלים בשלבי התכנון, הניטור וההתערבות העתידיים. במערך ההגנ"א מבוצע בכל סבב לחימה מאמץ מיוחד לתחקור ושיפור הביצועים תוך כדי לחימה. במהלך מבצע "צוק איתן" הביאו יכולות התחקור האלה לשיפור ביצועי היירוטים של כיפת ברזל ולשיפור ביצועי סלקטיביות ההתרעה לאזרח, תוך כדי הלחימה.

תקיפת מתקני הנפט בערב הסעודית, 2019 . נראה שסיבת הכישלון היא היערכות לאיום מסוג מסוים, שאינה מתאימה להתמודדות עם איום מסוג אחר

מה נדרש ממפעילי מערכות לוחמה אוטומטיות

מהניסיון שנצבר במערך ההגנה האווירית בשנים האחרונות מתבררות כמה תכונות מאפיינות, החיוניות להפעלת המערכות המוכרות בהצלחה בלחץ הקרב.

נחישות קרבית. גם אצל לוחמים היושבים בקרונות ממוזגים ולוחצים על כפתורים, תועדו תופעות עקת קרב.25 יכולת הפעולה האוטומטית של מערכות הלחימה לא מצדיקה את צמצום הקשב והעומס שעל המפעיל. להפך, לעיתים היא מרכזת את עומס המידע לזמנים המלחיצים ביותר. לכן נדרש מהמפעילים לעבור "מאפס למאה" ובזמן הקצר ביותר. לוחמי "כיפת ברזל" הוכיחו יכולת לאשר העסקות תוך שניות בודדות, ממצב של שגרה מוחלטת. במהלך מבצע "צוק איתן" הצילו פעולותיהם לא פעם העסקות שהמערכת נכשלה בהן.

חוש אחריות. ככל שהמפעילים שולטים ביכולות גדולות יותר, ולכל החלטה שלהם יש משמעות רבה יותר - גוברת אחריותם. החייל הבודד הופך להיות גורם מרכזי, כדברי סמנכ"ל תע"א בנובמבר 2019. 26 מפעיל שמאמין כי ייעודו הוא ללמוד כיצד לגלות בעיות ולהתגבר עליהן, חייב יהיה לפתח אחריות ומודעות גבוהות יותר. על המפעילים להכיר בכך שביצועי המערכת הם באחריותם, ולא באחריות המערכת. אחריותם מוגדרת בכך שהם המפקדים על ביצוע המשימה על־ידי המערכת, ולא רק מלווי המערכת בביצוע משימתה. על המפעיל לנהוג במערכת האוטומטית כמי שנוהג ביצור אינטליגנטי ורציונלי, אך לא אחראי.27 מארי "מיסי" קאמינגס, פרופסור באוניברסיטת דיוק בארצות־הברית וטייסת F-18 בעברה, חוקרת ממשקים בין אדם ובין מערכות בינה מלאכותית. קאמינגס טוענת שאחריות המפעילים מצליחה לבוא לידי ביטוי כאשר תפעול המערכת מבוצע במוד "חצי־אוטומטי" (שבו המפעיל נדרש לאשר פתיחה באש), אבל לא במוד אוטומטי. כאשר מאפשרים למערכת לשגר באופן אוטומטי, היא טוענת, המפעילים מעבירים את תחושת האחריות למערכת ומורידים אותה מעצמם. לפי קאמינגס, זאת אחת הסיבות שיכלה לגרום למערכת הפטריוט להפיל מטוס F-18 במלחמת המפרץ השנייה.28

הבנה, מומחיות ומיומנות. רמת המומחיות הנדרשת בהפעלת מערכות אוטומטיות היא היכולת לפתור בעיות ולהתמודד עם מגבלות ופערים בפעולת המערכת. כדי שיוכלו להבין, לצפות מראש ולהתערב נכון בפעולת המערכת,29 על המפעילים להבין את ההשפעות ההדדיות בין מרכיבי המערכת וביניהם - לא רק בהיכרות עם יכולות המערכת ויישומן אלא בעיקר עם מגבלותיה. דומה הדבר, למומחיות נגן כינור אמן שמסוגל להשלים קונצרט קלסי גם עם מיתר קרוע.

יכולת למידה והסתגלות לשינויים. מורכבות המערכת והסיכונים שנגרמים בעקבות מידע חסר, ובעיקר כזה שחסרונו אינו ידוע למפעילים, מחייבים למידה מתמדת. היכולת ללמוד כוללת גם את היכולת לתחקירים עצמיים, כנים ואמיצים, ואת היכולת להטמיע וליישם לקחים שהופקו לצורך שיפור עצמי. את לוחמי המערכת נדרש לאמן ב"הפתעות הצפויות", על־מנת שיהיו מוכנים גם להפתעות הלא צפויות. השינויים התכופים ביכולות המערכות והעדכונים על אודותיהם מחייבים את המפעיל האנושי להתעדכן וללמוד ללא הרף.

מיקוד במערכת ובהתנהגותה. בניגוד ללוחם רגיל הנדרש להתמקד רק באויב, לוחם המפעיל מערכת אוטומטית שעלולה להפתיע אותו בהתנהגותה, נדרש להיות ממוקד גם בפעולת המערכת שלו ולדעת "לעקוף" החלטות שגויות. לצורך כך, עליו להכיר את הרקע שמאחורי פעולת המערכת ולהבין כיצד היא מחליטה, מהם הפרמטרים השונים שנקבעו לצורך כך וכיצד הם משפיעים על פעולתה.30 מערכות מופעלות במרבית המקרים בידי צוותים, ולא על־ידי אנשים בודדים. הניסיון שנצבר ב־20 השנים האחרונות במערך ההגנ"א בנושא הוכיח כי בכל מקום שבו פועל צוות להפעלת מערכת נשק בקרב, יש חשיבות למרכיבי המנהיגות של מפקדי הצוות (דוגמה אישית, הצבת רף דרישות גבוה, חניכה והדרכה של כפיפים, הפגנת אמון בהשגת המשימה ובכפיפים וכדומה). להתנהגות הפיקודית של בכירים במשמרת מבצעית כלפי הכפיפים יש חשיבות לא רק בתפקוד השוטף במשמרת, אלא בעיקר במצבי לחץ ובמצבים של קשיי תפקוד. בכך, ליכולת הפיקודית במשמרת המבצעית השפעה ישירה על הביצועים המבצעיים. בניגוד לדיסטופיה שפורסמה לאחרונה בצבא, שרמזה שניתן להחליף מפקדים ברובוטים,31 מלאכת הפיקוד חייבת להישאר אנושית, גם כאשר האנשים שעליהם מפקדים עוסקים במערכות רובוטיות. מכלול התכונות הללו יאפשרו למפעילים לגלות את היוזמה, התושייה, העצמאות והאחריות הנדרשות, שעליהן דיבר הרמטכ"ל בדצמבר 2019 במפגש עם לוחמי ההגנה האווירית.32

כיצד מכשירים ומאמנים נכון מפעיל להפעלת מערכת נשק אוטומטית

ועדת החקירה של צבא ארצות־הברית שחקרה את אסונות הפלת מטוסים עמיתים במלחמת המפרץ השנייה על־ידי מערכת הפטריוט, ביקרה בחריפות את מקצועיות המפעילים ואת רמת ההכשרה והאימונים שקיבלו. מסקנתה העיקרית הייתה כי האימונים צריכים להתמקד ביכולת המפעילים להפעיל שיקול דעת, להפגין יכולת הסתגלות למצבים חדשים ולפתור בעיות, ולא להסתפק באימוני תרגולות קבועות ובתסריטים שגרתיים צפויים מראש.33 חקירת הצי האמריקני בנוגע לכישלון המשחתת Vincennes, בהפלת מטוס הנוסעים שהמריא מאיראן ב־1988, נמשכה כמעט עשר שנים. ממסקנות החקירה עלה, שאימון מפעילי מערכת ההגנה האווירית, שעל־גבי משחתות הצי מסוג  Aegis, חייב לשים דגש על פיתוח מיומנויות של קבלת החלטות בסביבה מסתגלת, יכולת עבודת צוות, יכולת לחשוב מחוץ לקופסה והתמודדות אפקטיבית במצבי עמימות.34 הכשרות ואימונים לתפקידי הפעלת מערכות לחימה אוטומטיות נדרשים לכלל מרכיבי המיומנות, בהתאם לניתוח המפורט של תפקידי המפעיל שבוצע למערכת. אך יותר מכך, ההכשרה והאימונים נדרשים למצוא ולחזק במפעילים את מרכיבי האישיות התומכים בביצוע משימות אלה: עמידה בלחץ, כולל קבלת החלטות מורכבות בתנאי לחץ, גמישות בהתמודדות עם מצבי אי־ודאות ושינויים, אחריות ויכולת למידה מהירה. הכשרה לתפקידים הבכירים במשמרות מחייבת גם פיתוח וחיזוק של מרכיבי המנהיגות. על מפתחי ההכשרות להכיר ולהבין היטב את המגבלות של ממשקי המערכת ושל מערכות האימון כדי לדעת להתגבר על פערים אלה. חשוב שמפעילי המערכות יבינו שבלי קשר לכמות התרחישים שלפיהם תרגלו בהכשרה ובאימונים, ייתכן שאף אחד מהם לא דומה לתרחיש שיפגשו בשדה הקרב. אימון להפעלת מערכת אוטומטית שאינה אמינה באופן מוחלט, דומה למצב של הליכה על חבל דק. מובן שהמפעילים חייבים לסמוך על המערכת שלהם. ואולם הסכנה היא שככל שאמינות המערכת גבוהה יותר, למפעילים יהיה קשה יותר לזהות את המקרים שבה היא שוגה. יש לחנך את הלוחמים לתת במערכת "אמון מותנה מצב": במצבים שבהם המערכת מוכחת כאמינה יותר צריך לתת לה הזדמנות "להוכיח את עצמה", אולם אסור שהמפעילים יחונכו לסמוך עליה ב־100%; חשוב שיכירו לעומק את מגבלותיה ויפתחו את המודעות שתאפשר להם להבין מצד אחד את הסיבות שבגללן היא עלולה לטעות, ומהצד האחר את הדרכים שבהן יוכלו לזהות את שגיאות המערכת ולהתגבר עליהן.35

בהמשך לחקירת כשלי העסקות העמית במלחמת המפרץ השנייה פרסמה ARL דוח ייעודי בנושא האימונים הנדרשים להפעלת מערכות אוטומטיות.36 הדוח מדגיש כי מיומנות מפעילים ברמת המומחיות הנדרשת לתפקידם מחייבת 10,000-5,000 שעות של אימונים בחניכה, כולל קבלת משוב מסודר על כל פעולה. הדוח השווה את תהליך ההכשרה שעובר קצין פטריוט במערך ההגנ"א הישראלי לזה האמריקני, והראה שבמערך הישראלי צובר הקצין במהלך שנות שירותו מספר שעות אימונים ממוקדים בהפעלת מערכת, המתקרב למספר השעות הנדרש להשגת מומחיות, בהיבטים כמו משך ההכשרות, צבירת ניסיון ביחידה באמצעות אימונים בין ההכשרות, הכשרות מתקדמות לתפקידים הבכירים, ומבחני כשירות תקופתיים, שהצלחה בהם מחויבת לכשירות ביצוע משמרת מבצעית.37 בעקבות ממצאי הדוח וכדי להקנות ללוחמים ולטכנאים את המומחיות הנדרשת בעבודתם עם המערכת שיפר בית הספר האמריקני לנ"מ את תהליכי ההכשרה, שדרג את מערכות האימון ופיתח קורסים מתקדמים להשגת שליטה מרבית במערכת הפטריוט.38 אימוני צוות, שבהם המפקדים מלווים את הצוות משלב התדריך ועד שלב התחקיר והחניכה, הם כלי פיקודי חשוב בפיתוח הן של יכולות הצוות לעבודה משותפת ותמיכה הדדית בלחימה, והן של כישורי הפיקוד והמנהיגות של בכירי המשמרת.39

שיגור טיל מיירט "קלע דוד", 2015 . מערכות מופעלות במרבית המקרים בידי צוותים, ולא על־ידי אנשים בודדים

פיתוח מיטבי של מערכת נשק אוטונומית בבקרת מפעיל אנושי

הנחיית משרד ההגנה האמריקני שעודכנה ב־2017 בנושא אוטונומיות במערכות לחימה,40 מחייבת להוסיף למערכות האוטונומיות נדבך שיאפשר למפקדים ולמפעילים להפעיל שיקול דעת אנושי בהפעלת הכוח. בהתאם להנחיה זאת, וכדי לאפשר למפעילים לקבל החלטות מתוך מודעות מרבית בזמן אמת, הוחלט שיש לבדוק את המערכות בדיקות אימות ותיקוף קפדניות, ולערוך בהן ניסויי קבלה והערכה מציאותיים, כך שיותאמו לנסיבות המשתנות ויכילו מנגנוני בטיחות והגנה למניעת פריצה. נוסף על כך, על המערכות האוטונומיות לספק למפעילים ממשק ברור ומובן וכן משוב עקבי על תהליכי המערכת והחלטותיה. חוברת שפרסמה באוקטובר 2019 ועדת החדשנות הביטחונית במשרד ההגנה האמריקני, מפרטת עקרונות אתיקה לפיתוח שילוב א"מ (אינטליגנציה מלאכותית) במערכות לחימה. בין העקרונות מופיע עקרון האחריות, שלפיו האדם חייב להפעיל רמות מתאימות של שיקול דעת ולהישאר האחראי לפיתוח, להפעלה, לשימוש ולתוצאות של מערכות הא"מ. נוסף על כך, נקבע שתישמר כל העת יכולת התערבות אנושית למקרים שבהם תידרש הפסקת פעולה או כיבוי של המערכת במקרה של פעולה שגויה או לא מכוונת.41

דוח ARL מייחס חשיבות רבה לדרך הנכונה בפיתוח מערכות אוטומטיות המבוקרות על־ידי פעילים אנושיים, ומפרט את האמצעים לטיפול בפערים המתגלים לעיתים ביכולות המערכות האוטומטיות וביכולות המפעילים האנושיים להתמודד עם פערים אלה: לשלב אוטומציה רק במקומות שבהם היא אכן חיונית, למשל בביצוע פעולות פשטניות אבל לא בכאלה הדורשות החלטות קוגניטיביות מסובכות; להשתמש באוטומציה מסתגלת (אדפטיבית) בכל מקום אפשרי, להתייחס לאמינות המערכת בעין ביקורתית, לאפשר למפעילים מודעות מצבית, ולא להעמיד בפניהם רק דרישה להחלטות, ובעיקר - להימנע מהפיתוי להסתפק בפתרון הטכנולוגי, תוך התעלמות מהאדם שמפעיל את הטכנולוגיה.42 במקרים רבים קשה למפתחים להעריך מראש מה יהיו תפקידי המפעיל במערכת חדשה. ניתוח נכון של תפקידי המפעילים במערכת עתידית, יכול להתבצע באמצעות מעבדות קרב שמסוגלות לדמות מערכות נשק הנמצאות עדיין בפיתוח. מעבדת הקרב הישראלית להגנה אווירית אפשרה וממשיכה לאפשר להדגים ולבחון פרדיגמות ותפיסות שונות של תפעול וממשקים, ובכך לסייע בתהליכי פיתוח של ממשקי המשתמשים.43 הניסויים במעבדה זו אפשרו להשוות בין שיטות הצגת מידע למפעיל, לבחור את היעילות ביניהן ולפסול את היעילות פחות.

אין ספק, כיום כבר ברור שיכולת אימון היא קריטית לצורך הכשרת מפעילים מיומנים. יכולת אימון זו נדרשת כדי לאפשר להם להכיר את מגבלות המערכת, לאמן אותם למצבים הצפויים, כמו גם לאלה שלא ניתן לצפות. על מערכת האימון להיות גמישה יותר מהתוכנה המבצעית של המערכת כדי שתוכל ללמוד להתאים את עצמה ולדמות את שדה הקרב במגוון מצבים. מערכת אימון מתקדמת תאפשר לאמן את המפעילים לגמישות מחשבתית, ליצירתיות וליכולת ההתאמה הנדרשת למצבים משתנים, ותמנע מהמתאמנים להאמין שיש רק דרך אחת ויחידה, שבלונית, שתיתן להם את התשובה ברגע האמת, אם רק ישננו את הנהלים וילמדו בעל־פה את התרחישים. כלי תכנון שכוללים הערכת ביצועים ממוחשבת לתצורות הפעלה צפויות מול משימות שונות, יאפשרו למפעיל המבצעי להכין את המערכת נכון יותר לפעולתה. יכולות תחקור מתקדמות יאפשרו הבנה מעמיקה יותר ושיפור באופן פעולת המערכת והפעלתה, בקיבועי זמן קצרים תוך כדי לחימה. על גופי הפיתוח במערכת הביטחון לעמוד על הדרישות בתחום המשתמש המבצעי מול התעשיות והמפתחים. כבר היו בעבר מקרים שבהם היה על חיל האוויר להתעקש מול המפתחים להוסיף לתצוגות מידע שעמד בבסיס החלטות המערכת כדי לתמוך את המודעות המצבית של המפעיל, והדרישות הוכיחו את עצמן כחיוניות ואף הכרחיות לצורך הסתגלות לשדה הקרב המשתנה. פיתוח ממשקי משתמש נאותים, יכולות אימון, כלי תכנון ויכולות תחקור, עלולים להיזנח בפיתוח מאולץ משאבים, המעדיף תכולות הנדסיות במערכת המבצעית.44 חשוב להדגיש בפני מקבלי ההחלטות ומפתחי המערכות, שביצועי המפעיל תלויים רבות בחשיבה עליו כחלק מן המערכת עוד בשלבים הראשונים של תכנונה, ואין ספק שההבנה של פעולתם כשלם יכולה לתרום רבות לביצועי המערכת ולחלקו של המפעיל בהצלחתה. מתחקור של אירועים מבצעיים שהתרחשו בסביבתנו בשנתיים האחרונות למדנו, מאוחר מדי - לצערנו - שיכולת מבצעית הנמסרת ללא ממשק משתמש מתאים, ובלי להקנות למפעילים את מלוא המיומנות הנדרשת להפעלת מערכת - היא יכולת חלולה. יכולת כזו יכולה אולי לעבור בהצלחה מבחן בשדה הניסוי, אך אינה עומדת בדרישות בזמן אמת, בהיקלעות לשדה הקרב.

סיכום

לא ירחק היום ומכוניות אוטונומיות יהיו מחזה נפוץ בכבישים (ואולי אף מעלינו, באוויר). ההתקדמות המהפכנית הזאת מחזקת את אלה המצדדים בשילוב יכולות אינטליגנציה מלאכותית במערכות לחימה. עם זאת, המלחמה תישאר לנצח מעשה אנושי, ולכן יידרש תמיד ממשק אנושי שיקשר בין המפעילים ובין מערכות הלחימה. מערכות אוטונומיות לא יחליפו לוחמים, אלא רק ישנו את האופן שבו הלוחמים יפעילו את מערכות הלחימה. היסוד האנושי יישמר תמיד, לטוב ולרע. ואולם מיומנויות הלוחמים יידרשו להתאים את עצמן לשינויים בשדה הקרב: בדיוק כשם שהלוחמים של היום לא נדרשים להשתמש בחרבות ורומחים, לרכוב על סוסים או להפעיל סירות מפרש, כך תפקידי ה"טייסים", ה"חובלים", ה"טנקיסטים", וה"חי"רניקים" של העתיד ייראו שונים לחלוטין מאלה של היום. ולמרות הכול - אין ספק שהדרישה לקבל החלטות תחת לחץ וערפל הקרב, ועימה גם אתוס הלחימה המלווה את הלוחמים משחר ההיסטוריה - ישמרו על מקומו הייחודי של האדם ועל יתרונו - אל מול המכונה.45 אז נכון שהמפעיל האנושי לא יחליף לעולם את יכולת החישוב המהירה של המכונה. הוא גם לא יידרש לכך. אבל בכל מערכת שעלולה לטעות טעויות יקרות ולסכן עמיתים, תידרש בקרה אנושית על תהליכי קבלת החלטותיה שהן, אחרי הכול, החלטות של מכונה. בכל מקום שבו המפעיל למד את פערי המערכת והוא מסוגל להתגבר עליהם, הוכיח מערך ההגנה האווירית שביצועי המפעיל עם המערכת טובים מביצועי פעולה אוטומטית של המערכת בעודה חסרה מפעיל אנושי. במערכות שבהן מחיר הטעות הוא עצום, דוגמת בקרה אווירית, או במערכות אסטרטגיות דוגמת מערכת ה"חץ", שילוב המפעילים האנושיים מאפשר להגיע לרמת האמינות הנדרשת והיעילה. תנאי הכרחי לכך הוא ממשק משתמש מתאים, ומפעילים מוכשרים ומאומנים לרמת המומחיות הנדרשת.46 מערכת נשק ללא בקרה אנושית מתאימה עלולה, במקרה הטוב, לעלות באפקטיביות נמוכה או חוסר יעילות, ובמקרה הרע - באובדן חיי לוחמינו. לכן מומלץ לבחון בביקורתיות הצעות לתכנון מערכות נשק חדשות, בעיקר כאלה המבטיחות פתיחה באש אוטומטית ללא צורך בבקרת מפעיל, או כאלה שלא מביאות בחשבון את זמן התגובה של המפעיל בתהליך המבצעי. מערכות נשק אוטונומיות עם יכולת למידה עצמאית מתקדמת וקבלת החלטות אוטומטית ללא בקרת מפעיל - טוב להן שיפעלו כאוות נפשן, אבל רק בסרטי אימה.47