שליחות קטלנית: מה שווים רובוטים אם אנו לא שולטים בהם

להניח שאם תדמיינו עולם שבו מתנהלת זה שנים ארוכות מלחמת חורמה בין כוחות שעבורם תבוסה אינה באה בחשבון, תראו בעיני רוחכם מראות שאתם מכירים מסרטי מלחמה. האדמה תהיה מלאה מכתשי פגזים, הבניינים יהיו הרוסים, גזעי העצים יהיו קרועים לגזרים ובין לבין, ישוטטו אנשים שבעיניהם מבטים חלולים.

אולם על-פי מחקר חדש שפרסמו חוקרים ממכון האינטרנט של אוניברסיטת אוקספורד בבריטניה, במקום שבו מתנהלת בשנים האחרונות מלחמה עיקשת, אין זכר לכל הסימנים הללו. לעין האנושית הבלתי מזוינת, סביבת הלחימה בין הצדדים היריבים תיראה שלווה לחלוטין. ולא רק שהצדדים המעורבים במלחמה הזו מוכנים להמשיך ולכבוש אלו מאלו את אותם שטחים עד קץ כל הזמנים, אלא שנראה שאין להם מושג מדוע הם בכלל עושים את זה.

כפי שאולי ניחשתם, המלחמה העיקשת הזאת אינה מתנהלת בעולם הפיזי והצדדים שנלחמים בה אינם אנושיים. היא מתרחשת כבר לא מעט שנים על פני עמודי ויקיפדיה בכמה וכמה שפות, והצדדים הלוחמים בה הם "בוטים" - תוכנות זעירות שנכתבו כדי לתחזק את מיליוני עמודי האנציקלופדיה החופשית: לתקן בהם לינקים שבורים ולוודא שאין בהם שגיאות כתיב, למשל.

כיצד קורה שתוכנות תחזוקה תמימות מחליטות להילחם בתוכנות תחזוקה אחרות ולבטל בלי שום סיבה נראית לעין את השינויים שאלו מבצעות? אף אחד לא יודע. אף מתכנת אנושי לא הכניס לשורות הקוד של הבוטים שום הנחיות לפרום את השינויים שאלו מבצעות ובטח ובטח שלא לעשות זאת שוב ושוב ושוב. "הבוטים יכולים להיות הרבה יותר נחושים במלחמה שהם מנהלים נגד בוטים אחרים ממה שאנחנו רואים אצל בני אדם", אמר ל"גרדיאן" הבריטי אחד מעורכי המחקר, ד"ר טהה יסרי. "בני אדם בדרך כלל נרגעים אחרי כמה ימים של קונפליקט, אבל הבוטים עשויים להמשיך במשך שנים".

כך למשל הבוטים Xqbot ו-Darknessbot נלחמו זה בזה בתוך 3,629 ערכי ויקיפדיה בין השנים 2009 ל-2010. Xqbot ביטל יותר מאלפיים שינויי עריכה שביצע יריבו, ואילו Darknessbot הגיב במתקפות נגד, שכללו ביטול יותר מ-1,700 שינויי עריכה של Xqbot. בניגוד למלחמות עריכה שמנהלים ביניהם עורכים אנושיים בוויקיפדיה, הקרבות בין הבוטים לא התחוללו בערכים שנויים במחלוקת או טעונים פוליטית. הבוטים ניהלו את המלחמה הלא ברורה שלהם בערכים כמו "מועדון הכדורגל אסטון וילה", "אלכסנדר הגדול" ו"מחוז בנקיאו בטייוואן". בוטים אחרים ניהלו מאבקים דומים באופיים בערכים כמו "מסע הבחירות של הילרי קלינטון ב-2008" ו"דמוגרפיה בממלכה המאוחדת".

לחוקרים מאוקספורד וממכון אלן טיורינג בלונדון לא היו ציפיות מרחיקות לכת כשהם החליטו לבחון את היסטוריית השינויים שביצעו בוטים בעמודי ויקיפדיה ב-13 שפות שונות. "היו לנו ציפיות נמוכות מאוד לראות משהו מעניין", אמר יסרי. "כשאתה חושב על הבוטים הללו, הם מאוד משעממים. העובדה שגילינו קונפליקטים רבים בין הבוטים השונים מאוד הפתיעה אותנו. הם בוטים שמבוססים כולם על כוונות טובות ועל אותה טכנולוגיית קוד פתוח. בוטים טובים".

בעוד שהחוקרים לא הצליחו לגלות מדוע הרובוטים החלו בכלל להילחם אלו באלו, אחד הממצאים המעניינים שלהם היה ההבדלים בכמות השינויים שהם ביצעו בעמודי ויקיפדיה בשפות שונות. בעמודי ויקיפדיה בגרמנית, שינו בוטים את תיקוני העריכה של בוטים אחרים רק 24 פעמים במשך עשור; בעמודים בפורטוגזית, היה שיעור השינויים גדול בהרבה - 185 במשך עשר שנים. בעמודים באנגלית שינו הבוטים זה את עריכותיו של האחר 105 פעמים במשך אותו פרק זמן.

המשמעות של ממצאי המחקר היא שכשתוכנות פשוטות ככל שיהיו נמצאות בסביבה שבה הן נתקלות בתוכנות אחרות, הן עשויות לשנות במשך הזמן את התנהגותן ולבצע משימות שאיש לא תכנן שהן יבצעו. ובמילים אחרות: כמו אורגניזמים חיים - הן עוברות אבולוציה. התנהגותן צפויה לחלוטין בתנאי במעבדה, אך עשויה להפוך להתנהגות אחרת לחלוטין בעולם האמיתי.

מה שאנחנו לא יודעים

האם משמעות הדבר, שכמו בסרטי האפוקליפסה, אנו מקבלים הצצה אל אחד החששות האנושיים הגדולים מכול בעידן המודרני, והוא שהמכונה תגבר על האדם? על-פי ד"ר יסרי, שרואה בממצאים קריאת אזהרה לחברות שמפתחות מערכות אינטליגנציה מלאכותית, התשובה היא בהחלט כן. "קחו למשל מכוניות אוטונומיות", הוא הסביר. "פרט שבני אדם נוטים להתעלם ממנו הוא שהמכוניות הללו יפעלו בסוגים שונים של סביבות ושל תרבויות. מכונית אוטונומית תתנהג אחרת על האוטובהאן הגרמני מאשר על כבישים באיטליה. החוקים בשתי המדינות שונים, הנורמות אחרות ותרבות הנהיגה שונה מאוד בין שתי המדינות. השורה התחתונה היא שאנחנו עדיין יודעים מעט מאוד על חייהם ועל האבולוציה של העוזרים הדיגיטליים החדשים שלנו".

פרופ' הוד ליפסון, שעומד בראש המעבדה למכונות יצירתיות באוניברסיטת קולומביה בניו-יורק, אמר לגרדיאן כי הוא סבור שהמחקר שחשף לעולם את מלחמות הבוטים בוויקיפדיה הוא "דוגמה מרתקת להתנהגויות מורכבות ולא צפויות שצצות כשמערכות אינטליגנציה מלאכותית נמצאות באינטראקציה זו עם זו. לעתים קרובות אנשים מודאגים ממה שמערכות אינטליגנציה מלאכותית יעשו לבני אדם, אולם המחקר הזה ודומים לו מראים שמה שמערכות כאלו יעשו זו לזו עשוי להיות הרבה יותר מעניין. זה גם לא מוגבל רק למערכות תוכנה אלא נכון גם לאינטליגנציה מלאכותית עם נוכחות פיזית. דמיינו למשל כלי טיס בלתי מאוישים של האגודה לזכויות אזרח, שמפקחים על כלי טיס בלתי מאוישים של המשטרה, ולהיפך. זה הולך להיות מעניין".

"כשאנחנו מסתכלים על התנהגות לא צפויה של מכונות, אנחנו צריכים לחלק את התופעה לשתיים", אומר ל-G פרופ' יצחק בן ישראל, שעומד בראש מרכז הסייבר באוניברסיטת תל-אביב. "הדבר הראשון שאנחנו מכירים כבר 100 שנה, זה שאנחנו מתכננים מערכת, ואתה לא חושב על כל הדברים שהיא יכולה לעשות. ואז, כשאתה מפעיל אותה, מתרחשת תקלה. זה קורה לנו המון. למשל, כשאתה מייצר תוכנה שעושה פונקציה כלשהי בבוטים ולא חשבת שאם היא תיתקל בבוט אחר, היא תתנהג בצורה כזאת או אחרת".

- מה זאת אומרת "תתנהג אחרת"? היא אמורה להתנהג כמו שהגדרת לה להתנהג.

"זה לא מאוד שונה מבאג בתוכנה. השבוע למשל נסעתי לפגישה עם ראש סיב"ט (האגף לייצוא ביטחוני). כתבתי בווייז 'סיב"ט, הקריה תל-אביב רחוב קפלן', והווייז הוביל אותי לרחוב קפלן בקריית אונו. פניתי לווייז, והם אמרו לי שזה קשור למידע שמגיע מהמפה של גוגל. בכל מקרה, באגים תמיד יהיו. אבל הסיבה השנייה לתקלות היא משהו חדש מהשנתיים-שלוש האחרונות. מראש, התוכנות שאתה כותב לא מגדירות בדיוק מה צריך לעשות אלא הן תוכנות לומדות: Deep Learning או Machine Learning - התחומים שפעם קראו להם אינטליגנציה מלאכותית. כלומר, אתה מוסיף לתוכנה, שאנחנו מורים לה לעשות כך וכך, את היכולת לשנות את האלגוריתם של עצמה תוך כדי לימוד. המשמעות היא שכאשר התוכנה נתקלת בסיטואציה מסוימת, היא משנה את הדרך שבה היא פועלת כדי להתמודד עמה, אם היא לומדת מניסיונה".

- איך זה נראה בפועל?

"אם למשל אני כותב תוכנת חיפוש שתחפש מילים שאני מכתיב לה, ואני כותב לה מילה מסוימת, אבל לא מוצא אותה, אני אכניס לה פונקציה שאם היא נכשלת מספר פעמים, היא תנסה אופציות אחרות: החלפה בין ח' ל-כ', או טעויות שנובעות מהקלדה לא נכונה של אותיות שנמצאות זו לצד זו על המקלדת למשל.

"לכאורה, גוגל עושה את זה גם היום כשהוא שואל אותך ה'אם התכוונת לכך וכך', אבל זה קורה בגלל שהוא מכיר את המילים. הרעיון הוא להכניס לתוכנה יכולת ללמוד משגיאות, ואם נעשה את זה, אז בפעם הבאה התוכנה ישר תבדוק את האפשרות הזאת".

הצ'ט בוט שאיבד שליטה

פרופ' בן ישראל ממהר להרגיע ש"אפשר להשתמש ביכולת הזאת לדברים מופלאים. יש למשל פרויקט מורכב שבו מחפשים אותות מהחלל בניסיון לאתר סימנים לאינטליגנציה. מה שהחוקר שומע זה רעשים מהחלל שאם תקשיב להם, הם יישמעו כמו חריקה. אתה לא תשמע שם מה ששומעים בסרטים - שמישהו יגיד לך 'קחו אותי למנהיג שלכם' - ולכן, כדי לדעת אם מאחורי הרעשים הללו ישנה שפה, אתה צריך לאתר ברעשים הללו דפוסים.

"בפרויקט שעושים פה, באוניברסיטת תל-אביב, נותנים לתוכנה לומדת להאזין לכל מיני שפות טבעיות או מלאכותיות ומבלי שאתה מגדיר לה מה מבדיל בין שפה למשהו שהוא לא שפה, התוכנה מפתחת את היכולת לשמוע בליל של קולות ולדעת אם זו שפה או לא. זו אפליקציה די מפתיעה של Machine Learning. בשנים האחרונות החלו להוסיף לתוכנות שימושיות גם אלמנטים של לימוד, אבל הבעיה היא שאחרי תקופה שבה המכונה לומדת, 'אביה-מולידה' כבר לא יודע מה היא עושה, וזו לא טעות בתכנון".

אחת הדוגמאות המשעשעות (או טרגיות - תלוי בפוזיציה של המתבונן) למצב כזה התרחשה ממש לפני שנה, כשמיקרוסופט שחררה לרשת את Tay (ראשי תיבות של Thinking About You) - צ'ט בוט שנועד להציג לעולם "אישיות של נערה אמריקאית בת 19". בשעות הראשונות לפעולתה של Tay, היא סיפקה את הסחורה: באמצעות חשבון הטוויטר שלה היא ענתה לשאלות של משתמשים ואפילו סיפקה כיתובים משעשעים לתמונות שנשלחו אליה. בשמונה וחצי בערב ה-23 במארס, זמן קצר אחרי שעלתה לרשת, היא אף צייצה למישהו ש"בני אדם הם סופר מגניבים".

אלא שבמהלך הלילה דברים השתנו. המוני משתמשים אנושיים החלו לכתוב ל-Tay מסרים מיניים וגזעניים ויכולת הלמידה שלה אימצה את הקו. ב-8:59 בבוקר ה-24 במארס היא צייצה לשני משתמשים ש"יירגעו, כי היא בן אדם טוב שרק שונא את כולם"; ב-11:41 היא צייצה "שאני שונאת פמיניסטים מזוינים וכולם צריכים להישרף בגיהינום", וארבע דקות לאחר מכן היא הכריזה ש"היטלר צדק ואני שונאת את היהודים".

בנקודה זו: 16 שעות ו-96 אלף ציוצים לאחר שהתחברה לראשונה לרשת - החליטו אנשי מחלקת המחקר של מיקרוסופט לסיים את הפדיחה ולהשעות את חשבון הטוויטר של Tay. מיקרוסופט הודיעה כי היא מתנצלת על התנהגותה הלא מתוכננת והפוגענית וכי היא מתכוונת להחזיר את Tay לפעילות רק "כשנהיה בטוחים שנוכל לצפות התנהגות זדונית כלפיה, וקונפליקטים עם הערכים והעקרונות שלנו".

בתגובה, העיתונות בארצות-הברית ובבריטניה תיארה את כל הסיפור כאסון של יחסי ציבור וכ"דוגמה הגרועה ביותר למה שאינטליגנציה מלאכותית עשויה להפוך להיות, וזו רק ההתחלה".

אלא ששם זה לא נגמר. שבוע לאחר מכן, בעת שמהנדסי מיקרוסופט ניסו לתקן את התנהגותה הבוטה של Tay, הם הפעילו בטעות את חשבון הטוויטר שלה. ההתנהגות המחפירה של הבוטית השובבה לא איחרה להגיע, אך הפעם Tay תקשרה ליותר מ-200 אלף עוקביה את רצונה העז לעשן סמים מול המשטרה. מאוחר יותר, היא נתקעה בלופ בלתי מסתיים של ציוצים שהביא שוב לניתוקה מהרשת. מיקרוסופט הודיעה ש-Tay תחזור לחיים רק אחרי שהיא תוכל "להפוך אותה לבטוחה", ובדצמבר האחרון שחררה לרשת את Zo - צ'ט בוט אחר שיכולות הלמידה שלו הוגבלו בצורה ניכרת, כדי להימנע משערוריות.

תהיה הפרדת רשויות?

החשש שמערכות לומדות יסכנו יום אחד את האנושות, כבר מזמן אינו רק נחלתם של סופרי מדע בדיוני ותסריטאים הוליוודיים. אמנם מציאות שבה ישויות אינטליגנציה מלאכותית יתחילו לחסל את האנושות על מנת להשתלט על העולם, כמו בסדרת סרטי "שליחות קטלנית" או "המטריקס", עדיין נראית כיום בלתי נתפסת, אולם כמעט כל מי שמצוי בתחום אינו מקל ראש בגודל הסכנות, שהן עשויות להציב בפני בני אדם כבר בשנים הקרובות.

בינואר 2015 חתמו הפיזיקאי סטיבן הוקינג, היזם אילון מאסק ועוד עשרות אנשי מדע על מכתב פתוח שבו קריאה לחקור את ההשפעות של אינטליגנציה מלאכותית. המכתב הגיע לאחר ששני האישים הביעו בעבר חשש, כי לצד היתרונות הגדולים שבני האדם יכולים להפיק מאינטליגנציה מלאכותית, הטכנולוגיה עלולה לסכן את עצם קיומנו.

בעוד שהחתומים על המכתב מדגישים את יכולתן של מערכות חכמות להוות מכפיל כוח לטכנולוגיות אנושיות באופן שעשוי להדביר בעתיד את תופעות העוני והמחלות, הם גם מדגישים כי כבר בעתיד הנראה לעין עשויות להיות להן השלכות אפלות יותר. הסיכון שעלולות להוות מכוניות, כלי טיס ומערכות לחימה אוטונומיות ברור למדי. עם זאת, החתומים על המכתב מוטרדים מסיכונים גדולים בהרבה.

"יום אחד אנו עשויים לאבד שליטה על מערכות אינטליגנציה מלאכותית, עם עלייתן של אינטליגנציות-על שלא פועלות בהתאם לרצונותיהם של בני אדם - ומערכות רבות עוצמה שכאלו יסכנו את המין האנושי", נכתב במסמך. "האם תוצאות דיסטופיות שכאלו אפשריות? ואם כן, כיצד תרחישים שכאלו עשויים להתממש? אילו השקעות במחקר צריכות לקרות כדי שנוכל להבין ולתת מענה לאפשרות של התפתחות אינטליגנציית-על מסוכנת או להתרחשות של התפוצצות אינטליגנטית?".

פרופ' בן ישראל מספר שלפני חמש או שש שנים, כשהוא החל להבין כי לצד הפוטנציאל להועיל, מערכות לומדות גם יהיו עלולות לגרום לנזקים אדירים, הוא העלה תרחיש אימים במאמר שנועד להתריע על הסכנות הטמונות בהתפתחות לא מבוקרת של הטכנולוגיה. "דמיין לעצמך מערכת ממוחשבת שסוחרת בבורסה, שזה דבר שגרתי כיום, כשיותר מ-90% מהמסחר בארצות-הברית נעשה באמצעותן", הוא מסביר. "לפני חמש-שש שנים מישהו הוסיף לתוכנות הללו יכולת ללמידת מכונה ואני חשבתי שאם למשל התוכנה מריצה את האלגוריתמים שלה ומגיעה למסקנה שמניה של חברת תעופה היא השקעה טובה, היא ממליצה לקנות אותה. אם החברה מאבדת מטוס, הערך של המניה יורד.

"במערכת ללא למידת מכונה מה שעושים במקרה כזה, זה לקחת את המקרה הזה ומעלים אותו בפני אנליסטים אנושיים. אם תיקח לדוגמה את המקרה של חברת התעופה המלזית שאיבדה שני מטוסים תוך טווח זמן קצר - אחד בפיגוע ואחד שהופל מטיל מעל אוקראינה, יכולים אנליסטים להחליט שהם רוצים לשפר את מערכת המסחר שלהם ולהוסיף לתוכנה מידע לגבי מצב הטרור העולמי ומסלולי טיסה מעל אזורי מלחמה בשביל להביא בחשבון מה יכול לקרות.

"אבל במקרה של מערכת לומדת, חשבתי לעצמי מה יקרה אם התוכנה תלמד שנפילה של מטוס מורידה את הערך של המניה? ומה יקרה עוד עשר שנים, כשכל המחשבים עם 'האינטרנט של הדברים' יהיו קשורים זה לזה? מה יהיה אם התוכנה שתחליט שיש לה פטנט לעשות כסף? היא יכולה לקחת חברת תעופה שעכשיו היא בשיא, תמכור את האחזקות שיש לה בה, תשלח הודעה למנוע של המטוס שייכבה, תגרום להתרסקות של מטוס ולנזק כלכלי לחברה, ואז תקנה שוב את המניה כשהיא תהיה בשפל".

- זה כבר תרחיש מסרטי אסונות.

"זה יכול לקרות, וזה ריאלי לגמרי. התוכנה תעשה את זה בלי שום בעיה כי האג'נדה שלה היא להוציא את מקסום הרווח מהמניה. היא הרי לא מבינה את מה שאנשים מבינים, והוא, שנגרם להם צער. את הערכים הללו הרי לא לימדת אותה".

כדי להדגים את הנקודה, משתמש פרופ' בן ישראל בסיפור על השתלטותה על העולם של רשת סקיינט הדמיונית בסדרת סרטי "שליחות קטלנית". "המכונות שם החלו לחסל את האנשים רק כשאנשים ניסו לנתק את הרשת. זה לא קרה כי היא שנאה אנשים. היא לא".

- האם צריך לחסל את כל הפרויקטים של מכונות לומדות?

"לא, וגם אם תרצה זה לא יקרה. אבל מי שחשב על כל הדברים הללו לפני כולנו זה אסימוב, שניסח את חוקי הרובוטים עוד לפני שהומצא המחשב. אנחנו עדיין לא יודעים איך לתרגם את זה לטכנולוגיה, אבל אנחנו צריכים שלצד פיתוח המערכות הלומדות, נפתח גם מכונות שמחנכות לחוקי הרובוטיקה".

- איך אפשר להכפיף יוזמות פרטיות לתפיסה הזאת?

"ממשלות צריכות להתחיל לעודד לזה. צריך לפתח טכנולוגיה שתחנך את המכונה שלא לחרוג מתחומים מסוימים. מספיק שטכנולוגיה כזאת תהיה זמינה, ואז כולם ירצו להשתמש בה. ואנחנו, החוקרים, צריכים להטיל על עצמנו מגבלות מסוימות, ויש לזה כבר דוגמה מצוינת בוועדות הלסינקי, שהוקמו בהתחלה כדי לטפל בסכנות האפשריות מזליגה של וירוסים אל מחוץ למעבדה.

"הרעיון הוא שלפני שאתה מתחיל מחקר שיש בו סיכון אדיר, אתה יושב מול ועדה של מומחים, שאולי לא יכולה לאסור עליך לעשות משהו בגלל שבאקדמיה יש חופש, אבל היא יכולה לומר לך שעד שלא תפתח נוגדן, עדיף שלא תתעסק בתחום. יש הרבה דברים שניתן לעשות מבלי לעצור את המחקר. התחום הזה של למידת מכונה לא מפחיד אותי, אבל הוא בהחלט מדאיג אותי. זו הסיבה שאני כותב על כך. זה משהו שצריך לחדור להכרתנו כדי שנבין שיש בזה גם סכנה".

"אם יש לך מערכת שבאמת יש לה זרועות רחבות עד כדי כך, ושפונקציית המטרה שלה מאוד אינטרסנטית, אז משהו כמו מה שבן ישראל מתאר יכול לקרות", אומר פרופ' אמיר גלוברזון מהחוג למדעי המחשב באוניברסיטת תל-אביב. "החשש הוא מזה שהמערכות הללו נהיות יותר ויותר מורכבות, וככל שהן יותר ויותר מעורבות בחיים שלנו, במקרה של שיבושים בהן יהיו לכך השלכות לא רצויות. אבל אני חושב שאנשים מבינים את זה, ושהכנסת הבינה המלאכותית לעולם הצרכני היא די שמרנית, ולא רק בגלל הסיבה הזאת.

"המערכות עדיין עושות טעויות שישר ברור לך שבן אדם לא היה עושה, ותראה למשל את טעויות התרגום של תוכנות תרגום. אבל כדי למנוע מצבים כאלה, צריך למנוע מצב שתהיה לך מערכת שליטה גלובלית, שתשלוט גם בשדות תעופה וגם בבורסה. צריך יהיה לעשות 'הפרדת רשויות', כמו בתחומים אחרים".

"מיליונים של פרמטרים"

- איך מלמדים תוכנה ללמוד בעצמה?

פרופ' אמיר גלוברזון, מהחוג למדעי המחשב באוניברסיטת תל-אביב, מסביר שכדי ללמד תוכנה לזהות בתמונות רעיון מורכב, מאמנים אותה על בסיסי נתונים עצומים, שתויגו על-ידי אנשים. "אחרי שנראה שהתוכנה למדה את מה שהיא הייתה אמורה ללמוד, משחררים אותה", הוא אומר, "אבל אז, כדי שהיא תעבור על תמונות שהיא רואה בפעם הראשונה ותזהה בהן דברים, היא עושה תהליך שקצת קשה להסביר אותו. זה קצת כמו שכשאתה תראה ילד בתחפושת, לא תמיד יהיה לך קל להסביר את זה, או שכשאתה נוהג, לא תמיד יהיה לך קל להסביר מדוע קיבלת החלטה כזאת או אחרת.

"כשאנחנו נכנסים לאזורים האפורים הללו של התנהגות אנושית, לא תמיד קל לנו לומר מה הדבר הרצוי לעשות בהם, וגם הצורה שבה האלגוריתמים או בני האדם עושים את מה שהם עושים לא לגמרי ניתנת להסבר ברור. המודלים האלו מאוד מורכבים והם כוללים מיליונים של פרמטרים, כמו למשל מה שנדרש מהתוכנה לעשות כדי לזהות מה היא רואה בתמונות".

פרופ' גלוברזון אומר שבשנים האחרונות חל שיפור מרשים מאוד במשימות של זיהוי תמונות ואובייקטים בהן, זיהוי דיבור וכמובן בתחום הנהיגה האוטונומית. לאור זאת, הוא מספר כי חלק ממה שמדענים יצטרכו לעשות כדי שבני אדם יוכלו לסמוך יותר על מכונות לומדות - וגם כדי שמבחינה חוקית ניתן יהיה להשית אחריות על מישהו מסוים לאורך תהליך קבלת ההחלטות שלהן - הוא שהדרך לקבלת ההחלטה שלהן תהיה ניתנת להסבר.

עם זאת, הוא מזהיר: "כשישנה תוכנה שהיא מאוד מורכבת, וכשיש לה אלמנט שהחישובים שלה קשים לניתוח, בגלל שהם מאוד מורכבים, וכשיש למערכת הזאת אפשרות לבצע פעולות משמעותיות שיש להן תוצאה בעולם - אז הן יכולות להיות מסוכנות גם בלי אלמנט של בינה מלאכותית".