"המידע נראה נכון, אבל הוא לא": חוקרת פוליטיקה של המידע מסבירה מה מדאיג ב-ChatGPT

פרופ' קרין נהון, הבינה המלאכותית (AI) כבר מזמן חלק מהחיים שלנו. יש מכוניות אוטונומיות, עוזרות אישיות בטלפון, כמו סירי, ואלגוריתמים שמפענחים שיקופי MRI. למה לדעתך אנחנו כל כך מתלהבים דווקא ChatGPT? עבור מי שלא מכיר, מדובר בבוט שיכול לענות על שלל שאלות, לכתוב קוד, לכתוב תקציר של פסקה לספר ואפילו לחבר שירים.
"הייחוד טמון בעובדה שאנחנו יכולים לכתוב כל שאלה, ללא הגבלה, בשפה חופשית ופשוטה יחסית, ולקבל תשובה שנראית אינטליגנטית יחסית. זאת אומרת, נקבל משהו שבנוי בצורה הגיונית, שתואמת את איך שבני אדם רגילים לראות טיעונים והיסקים".

● המדריך המלא לסירוב: 8 שלבים למנהלים שקשה להם לומר לא | חצי שעה של השראה 
● דן פרופר פורש מאסם אחרי 56 שנה ומסביר למה אסר על ילדיו לעבוד בחברה: "זה חומר נפץ" | ראיון 
● הקרב הסוער של החורף: מי ישלוט בתחזית מזג האוויר בישראל 

מה הרגשת כשהתנסית בצ'ט בפעם הראשונה?
"בתור גיקית של מידע וטכנולוגיה מיד רצתי לשחק עם זה. הרגשתי כמו ילדה שנכנסה לחנות ממתקים ואומרים לה: תפתחי את הכול. אבל אז הגיעה המחשבה השנייה, והיא שעליי גם לחבוש את הכובע הביקורתי. חשבתי על האתגרים החברתיים שהמערכת מייצרת ואיך פותרים אותם".

בעיניי, הגדולה והייחודיות של הצ'ט הן בעובדה שהוא מצליח להביא לידי ביטוי תכונות שעד היום ייחסנו בעיקר לבני אדם: יצירתיות והומור למשל. הצ'ט יכול לכתוב שיר בחרוזים על אילון מאסק אם נבקש ממנו. ואז הוא יכול לכתוב - בתוך שניות - את אותו השיר בסגנון שייקספירי. הוא גם יכול לכתוב קוד.
"יש ויכוח בשאלת היצירתיות. אני חושבת שהצ'ט יצירתי מאוד, אבל צריך לזכור איך הוא עובד. הוא חי מכמות דאטה גדולה מאוד, אבל הוא לא מבין הקשרים כמו שאנחנו חושבים. הוא מבין את ההקשרים יחסית למילה או למשפט הקודם, ולפיהם הוא מביא את ההקשר הבא.

"למה היכולות שלו נראות לנו כל כך מדהימות? כי הוא למד עם הזמן אילו הקשרים מתאימים יותר. אבל עדיין, הוא לא מבין את ההקשר הכולל, את האקוסיסטם, כפי שבני האדם מבינים אותם. לכן המערכת יכולה להיות לא מדויקת".

באיזה מובן לא מדויקת?
"במובן זה שהמידע עשוי להיות לא נכון, אבל הוא ייראה לנו מאוד נכון, כי האופן שבו הטיעונים נכתבים מאוד נכון".

זה בדיוק ההסבר לתוצאות בעייתיות שסיפק הצ'ט כשביקשתי ממנו לכתוב רשימת מאמרים שעוסקים בבעיות של חיסוני קורונה. הוא נתן רשימת מאמרים שנראתה מקצועית לעילא, אבל בגוגל לא היה להם זכר. ייתכן שהם כלל לא קיימים. במקרה אחר שאלתי את הצ'ט מה יהיה המגדר של נשיאת ארה"ב הראשונה. התשובה הייתה - לארה"ב כבר יש נשיאה, קמלה האריס, שמונתה לסגנית נשיא בינואר 2021. במקרה הזה הרבה יותר קל לזהות את הטעות הגסה והדי משעשעת.
"מעניין. תראי, בדרך כלל כשמפתחים ומטמיעים טכנולוגיות חדשות, יש תוצרי לוואי שהמפתחים ותהליכי הבקרה שלהם לא עלו עליהם מראש. האיזונים והרגולציה מגיעים הרבה אחרי כן. בינתיים בעלי אינטרס ובעלי כוח אומרים לעצמם: רגע אחד, יש לנו פה טכנולוגיה שאנחנו יכולים להשתמש בה לצרכינו. כרגע לא משנה מה האינטרס - הוא יכול להיות פוליטי או כלכלי - למפתחי ChatGPT יש אינטרס להקטין את הפייק והרעש ואחוז התשובות הלא רלוונטיות, כדי שיותר אנשים ישתמשו בה וכדי שהיא תהפוך לסטנדרט. בינתיים, עד שהטכנולוגיה והמודלים של הבינה המלאכותית ChatGPT יפתרו חלק מהבעיות, בעלי אינטרס יכולים לנצל את החולשות. הם יכולים למשל להציף את הרשת במאמרים כוזבים, לדאוג לפמפם אותם מספיק בהרבה מקומות ברשת וכך להגדיל את הסיכוי שהצ'ט ימשוך אותם אליו כחלק מהתשובות שהוא נותן".

כשנהון ועמיתיה עימתו את הצ'ט עם שאלות שנוגעות לרפורמה המשפטית שנידונה כיום - למשל, מה קורה כשזרוע אחת בממשל משיגה שליטה מוחלטת בזרוע אחרת? - התשובה שנתן להם הייתה שזו לא דמוקרטיה, אך בכל פעם בניסוחים מעט שונים. "אני וקולגה גם שאלנו את הצ'ט לגבי האתגרים שטמונים בדיפ פייק (שימוש בבינה מלאכותית לצורך הפקת פייק ניוז בסרטונים ואודיו - ה"ו), וכל אחת מאיתנו קיבלה תשובה אחרת. מצד אחד, זה חלק מהאופן שבו ה-AI בנוי וחלק מהיופי שלו, הוא כל הזמן משתנה. מצד שני, אין עקביות בתשובות".

פארק היורה של ה-AI

גארי מרקוס, פרופסור לפסיכולוגיה ומומחה AI מאוניברסיטת ניו יורק, כתב באחרונה מאמר מעורר הדים בבלוג שלו, שכותרתו "רגע פארק היורה של הבינה המלאכותית". גם שם וגם בראיון שלו לפודקאסט של עיתונאי ניו יורק טיימס עזרא קליין, הוא דיבר על החשש ש"מחיר הבולשיט" יגיע לאפס. "למערכות האלה אין שום תפיסה של אמת", הסביר. "לפעמים התשובות הן אמת ולפעמים לא. זה בולשיט במובן זה שהן משכפלות דברים שמישהו אחר כבר אמר ומנסות להביא לכדי מקסימום את הסבירות לתשובה מדויקת. זה אוטו־קומפליט. אנחנו עלולים להיתקל באתרים ברשת שיוצפו במידע רפואי כוזב, והכול כדי למכור מודעות".

לדבריו, לפני כמה שנים המחיר של מערכות כאלה - ששירתו למשל את הרוסים למטרות התערבות בבחירות 2016 בארה"ב - היה יותר ממיליון דולר בחודש. אך מאז הוא ירד דרמטית, וממשיך לרדת כל הזמן. בסרט "פארק היורה" המדען, בגילומו של ג'ף גולדבלום, אומר: "המדענים היו כל כך עסוקים ב'אם יוכלו' (If they could), שהם לא עצרו לחשוב אם הם צריכים בכלל (If they should)". לדברי מרקוס, בעת חיפוש במנועים כמו גוגל אנחנו רואים מהו המקור שממנו הגיע המידע, וקל יחסית להבחין בין אתרים אמינים ללא אמינים. אך ב-ChatGPT התשובה מתקבלת כפסקה, והרבה יותר קשה להעריך את רמת הדיוק והאמינות שלה.

"AI לא מתוכנתת כמו אלגוריתם קלאסי, שאת נותנת לו אחד ועוד אחד שווה שתיים", ממשיכה נהון את אותו הרעיון. "היא לומדת בכל פעם מחדש לפי הנתונים שנמצאים בפניה ולפי האימון שלה, ובכל פעם בונה מחדש את השלב הבא בטיעון.

"הנחת היסוד בבינה מלאכותית היא שגדול יותר ומאומן יותר - הופך למדויק יותר. זה לא נכון. הגדול יותר יכול לתת לנו הרבה אופציות לתשובה מסוימת ולפעמים היא תהיה נכונה, אך לפעמים לא. אם כל המידע במרחב הציבורי בעולם היה אמת, אז סביר להניח שהצ'ט היה הופך ליותר מדויק ויותר עקבי. דווקא בעידן המידע, הפייק ניוז מתפשט הרבה יותר ולקהלים יותר מגוונים. לכן נקבל הרבה פעמים תוצאות שהן כוזבות, אבל מנוסחות בצורה טובה".

"עלולה להקצין פערים"

חושבים לגבייך שאת מגיעה עם מטען ביקורתי כלפי טכנולוגיות. לפני עשור נלחמת במאגר הביומטרי בשל טענות לפגיעה בפרטיות, מאבק שהגיע עד כדי עתירה לבג"ץ. אבל האם יש ל־AI גם יתרונות בעינייך? זו לא תמונה של שחור ולבן.
"בנוגע למאבק במאגר לא היינו נגד הטכנולוגיה של הביומטריה, היינו נגד המאגר. אלה שני דברים שונים. התפקיד שלנו כחברה אזרחית הוא להיות ביקורתיים, אבל זה לא אומר שאנחנו רוצים לחזור לעידן המערות".

מהן ההזדמנויות שטמונות בזה?
"היכולת לשפר יעילות, לייצר אוטומציה לתפקידים מסוימים. הזכרת את סירי, העוזרת האישית באייפון. זה כלי שיכול לעזור לאנשים עם מוגבלויות, למשל, או כשאנחנו בפקק. היתרון הגדול של הבינה המלאכותית הוא ביכולת לעבד כמויות גדולות של מידע מהר".

זה בדיוק השלב בדיון שצריך להזכיר בו שמשרות מסוימות עלולות להיעלם.
"אספר סיפור שממחיש זאת. לא מזמן הגעתי לנתב"ג כדי לאסוף חבילה שהזמנתי ממרוקו. הפקיד שקידם את פניי אמר שהוא הולך להביא אותה, אבל לא זז מהמקום. ואז שמתי לב שמאחוריו מתניידים רובוטים עולים ויורדים. זה היה כמו בסרט מדע בדיוני. הוא אמר לי: אנחנו כבר לא עושים כלום. המערכת מתעדפת את סדר היציאה של החבילות".

ברור שבעבר היו שם שמונה פקידים והיום יש אחד.
"יהיו משרות שייכחדו, ויהיו משרות שיתווספו, אבל סביר להניח שאלה יהיו משרות עם רמת אוריינות גבוהה יותר, למשל מדעני ומנתחי נתונים. המדינה תצטרך לתת סט מיומנויות חדש לאנשים שמשרתם נמצאת בפוטנציאל של היעלמות. מהפכת ה־AI עלולה להקצין פערים חברתיים".

מערכות AI גם עלולות לייצר אפליה נגד אנשים מקבוצות מסוימות. בארה"ב, למשל, יש מערכת בשם COMPAS שמסייעת לשופטים לקבל החלטות הנוגעות למידת מסוכנות של אנשים שעומדים לדין. היא אומדת את הסבירות שלהם לעבריינות חוזרת ונותנת ציון לכל אחד. מחקרים גילו שהמערכת תייגה שחורים כבעלי סבירות כפולה למסוכנות. הם גם גילו שהיא די כשלה בניבוי.
"חשוב להדגיש: את לא תראי משתנה בתוך מערכת ה־AI הזאת שאומר 'צבע עור'. בכל זאת, המערכת כנראה יודעת לזהות שמדובר באדם שחור. היא בונה מודל שאולי מתאים ל־80% מהאנשים, אבל לא ל־20% מהם. כששואלים את המהנדסים למה תכנתו כך את המערכת, הם אומרים: מה אתם רוצים מאיתנו? זה מה שהראו החלטות בית המשפט לאורך שנים. אנחנו לא אשמים שהשופטים גזענים. אך אפשר בקלות לייצר מערכות בקרה שמנטרלות הטיות מהסוג הזה".

מי ייקח אחריות?

בהקשר זה נהון חוזרת לתקופת משבר הקורונה, אז דובר על האפשרות לפתח מערכת בינה מלאכותית שתאמוד את הסבירות של כל ישראלי להפיץ את הווירוס. "היה לנו ברור שאם מערכת כזו תפעל, מי שיופלו לרעה הן אוכלוסיות שנתפסות מראש בידי המערכת כמועדות לסיכון: חרדים וערבים. אם אתה משתייך לאחת הקבוצות האלה, רמת הסיכון שלך עולה, לא משנה אם בפועל אתה מסוכן או לא מסוכן.

"ואז מה קורה? המדינה יכולה להחליט שהיא לוקחת לך משאבים. כשהאזרח מנסה להבין מדוע, הוא מבקש לערער, דורש הסברים, אומרים לו: זה מה שהבינה המלאכותית אמרה לנו לעשות, יש לה לעתים מיליוני משתנים, ואין דרך להבין כיצד התקבלה תוצאה מסוימת. זה עוד אתגר: המתח הזה, בין השקיפות והיכולת לתת הסבר לאזרח הקטן לבין היכולת לדייק ולהיות הרבה יותר יעילים מבעבר בזכות ה-AI".

לפני כמה חודשים ראיינתי לצוללת את חתן פרס נובל פרופ' דניאל כהנמן, שנוכח מחקריו על הפגמים האנושיים בקבלת החלטות מאדיר דווקא את האלגוריתמים. בנוגע לעולם הרפואה אמר: "אלגוריתמים מדייקים כבר היום יותר מאשר רדיולוגים. במירוץ שבין אנשים לבין א לגוריתמים - האלגוריתמים ינצחו".
"אני מסכימה עם פרופ' כהנמן באופן חלקי. טכנולוגיות ואלגוריתמים אכן משפרים את חיינו. אך ההסתכלות שלו היא כלל־חברתית. זו חשיבה שאנחנו קוראים לה בעולם האתיקה יוטיליטריאנית: אסתכל על המצרף ואראה מה יותר טוב לכלל האוכלוסייה, גם אם יחידים נפגעים. פה אני כבר מתחילה להיכנס לתפר של אפליה במקום העבודה.

"בואי ניקח את הדוגמה של HireVue, מערכת לקיום ראיונות מרחוק, שמבוססת על בינה מלאכותית ובין לקוחותיה אפשר למצוא חברות כמו אמזון ויוניליוור. המערכת בוחנת פרמטרים כמו סוג השפה שבה המועמדים משתמשים. היא גם ניתחה הבעות פנים, אך ויתרה על הפיצ'ר הזה לפני כשנה, כי הוא עורר ביקורת. מחקרים העלו כי אנשים עם מוגבלויות למשל עלולים להיות מופלים לרעה בסוג זה של ראיונות.

"HireVue מחפשת סיגנלים מסוימים במועמדים, למשל עד כמה הם מחייכים ועליזים, ולפעמים לאנשים עם מוגבלויות יותר קשה להראות את הסממנים האלה. ייתכן שמערכת כזו טובה יותר לארגון מבחינת התוצאות או הרווחיות, אבל ישולם פה מחיר בדמות הפגיעה באותם אנשים, הגיוון הפחות בכוח האדם, היכולת לקבל אנשים עם קול שונה, שלא עונים ל'נורמה' שנקבעה בידי הבינה המלאכותית ומהנדסים״.

השימוש ב־AI גם מציף שאלות שנוגעות לאחריות. נניח הרופא שלי נסמך על פענוח של רובוט לצילום הרנטגן שלי ויש טעות בפענוח. מי אחראי? הרופא? הרובוט?
"העולם עוד לא מוכן לשאלות הקשות האלה. יש כיום דיון שלם ברחבי העולם בשאלות האלה, שחברות הביטוח הן חלק לא קטן בתוכו. מכונית אוטונומית שהייתה מעורבת בתאונה - מי אחראי? המכונית או הנהג? אולי המהנדס? שלא לדבר על החלטות שנוגעות לשימוש בנשק, להשלכת טילים ממטוס. מי מחליט בעניין? הטייס או הבינה המלאכותית? בעיניי, בנושאים שדורשים יצירתיות ומומחיות מערכות הבינה המלאכותית הן כלי עזר, ובסופו של דבר ההחלטה צריכה להיות נתונה לנו, בני האדם".

מה השורה התחתונה?
"בגלל ההתפתחות המהירה של הטכנולוגיה הגענו לנקודה הזאת בהיסטוריה האנושית שבה הגיע הזמן לאסדר גם את ה־AI. אסדרה היא לא מילת גנאי. בכביש יש רמזורים שמסדירים את ההתנהגות שלנו, ובמדינה יש חוקים לאותה המטרה".

לנהון חשוב להדגיש עוד עניין: "הדבר האחרון שאנחנו רוצים הוא הטיות שמשתמשים יתייחסו אליהן כאמת מדעית. כולם חושבים שמכיוון שבינה מלאכותית ניזונה מהמון מידע, אז זו האמת האבסולוטית. אבל אנחנו צריכים לזכור שהיא אינה מדויקת. זו בדיוק ההטיה".