האם הצעות חוק ימנעו מאלגוריתמים לשלוח אנשים לכלא?

בית המשפט העליון של ויסקונסין דן באפריל 2016 בטענה ייחודית: עורכי דינו של אריק לומיס, שהורשע שלוש שנים קודם לכן בניסיון הימלטות מהמשטרה ובגניבת רכב, טענו כי הופלה לרעה על ידי אלגוריתם.

מקור הקשר בין האלגוריתם לקביעת גזר הדין הוא בתוכנה פופולרית של חברת אקוויבנט (Equivant), שבה נעזר השופט. התוכנה, COMPAS, מיועדת לניהול פרופיל עבריין לצורך ענישה חלופית, והיא לוקחת בחשבון גורמים שונים, בהם למשל שימוש בסמים, גיל הנאשם בעת מעצרו הראשון והאם יש לו תמיכה משפטית. זאת כדי לקבוע את מידת הסבירות שהנאשם יחזור לבצע עבירות גם בעתיד. לפי הנחיות גזר הדין, השופט לא נדרש להטיל עונש מאסר, אך התוכנה טענה כי קיימת סבירות שלומיס ישוב לבצע עבירות בעתיד, והשופט גזר עליו שש שנות מאסר.

אלגוריתם הוא אך ורק סט של הוראות לגבי הדרך שבה צריך לבצע פעולה מסויימת. ההוראות נעות מתוכניות מחשב פשוטות, מוגדרות ומיושמות בידי בני אדם, ועד למערכות בינה מלאכותית מורכבות בהרבה, שעוברות הכשרה באמצעות הררי נתונים. בכל מקרה, ההטיה האנושית משפיעה גם על האופן שבו הן מתוכנתות. מערכות זיהוי תווי פנים עוברות הכשרה באמצעות חשיפה לתמונות של מיליוני פנים, אך הבעיה מתחילה כשמאגרי התמונות אינם מספיק מגוונים. כך נפגעת רמת הדיוק של התוכנה בזיהוי תווי פנים של אנשים בעלי צבע עור שונה מזה שאליו נחשפה התוכנה לעתים תכופות יותר. מומחים חושבים שהדבר עלול לגרום לגרום לכוחות משטרה להתמקד באופן לא פרופורציונלי באנשים חפים מפשע שכבר זוכים ליחס חשדני יותר, אך ורק בשל הופעתם החיצונית.

"אפליה תהיה, השאלה מי מופלה"

COMPAS הפכה למוקדו של דיון סוער ולמושא של ניתוחים קפדניים מצדם של עיתונאים בפרופבליקה (מרכז לעיתונות עצמאית ללא מטרות רווח) וחוקרים באוניברסיטאות שונות, כולל סטנפורד, הרווארד וקרנגי מלון שבפיטסבורג - ואף בחברת אקוויבנט עצמה. באופן מתסכל, המסקנות לא בהכרח חד-משמעיות. לא משנה כמה אנו יודעים על האלגוריתמים ששולטים בחיים שלנו, קשה - וייתכן שאף בלתי אפשרי - להפוך אותן ל"הוגנות". אך למרות ההטיה של האלגוריתמים, לפחות הם עקביים. כשמדובר בבני אדם, ההטיה משתנה באופן ניכר מאדם אחד למשנהו.

ממשלות ועסקים משתמשים באלגוריתמים כדי להגדיל את מידת העקביות, לחסוך כסף או כדי לנהל הליכים מורכבים. ואולם התלות בהם מתחילה להדאיג פוליטיקאים, פעילים לזכויות האדם וחוקרי טכנולוגיה. חברה אנושית שבה נעשה שימוש תכוף כדי לסייע בביצוע תהליכים מתאפיינת לעתים קרובות בניצול לרעה ובהטיה: מי מקבל את הג'וב, מי ייהנה משירותים ממשלתיים, למי יוצעו שיעורי הריבית הטובים ביותר, וכמובן - מי יילך לבית הסוהר.

"יש אנשים שמדברים על להיפטר מההטיה של אלגוריתמים, אבל זה לא מה שאנחנו עושים - אפילו במצב אידיאלי", אומרת קתי אוניל, לשעבר אנליסטית כמותית בוול סטריט, שהפכה למה שהיא עצמה מתארת כמבקרת אלגוריתמים, וכתבה את הספר "נשק השמדה מתמטית" (Weapons of Math Destruction).

 קתי אוניל,/ GRuban / צילום: אתר ויקיפדיה

"אין כזה דבר כמו כלי אבחנה נטול הטיה, שקובע מי ראוי לג'וב, מי ראוי ליחס הזה. האלגוריתם מפלה מעצם מהותו, אז השאלה היא איזו הטיה אתה רוצה שתהיה לו?", מוסיפה אוניל.

קשה מאוד לקבוע אילו הטיות נמצאות בתוך אלגוריתם, וקשה עוד יותר לאמוד את הנזק הפוטנציאלי שגורם אלגוריתם מוטה. אלגוריתם שנמצא בשימוש הולך וגובר אמור לחזות אם הורים יפגעו בילדיהם, ומבסס את קביעתו על הנתונים הזמינים. אם להורה יש הכנסה נמוכה והשתמש בשירותי בריאות הנפש הממשלתיים, עולה דירוג הסיכון של אותו הורה. אך לגבי הורה אחר, שיכול להרשות לעצמו ביטוח בריאות פרטי, לא יהיה נתון זה זמין. פעילים למען שקיפות אלגוריתמית טוענים כי אלגוריתם כזה יוצר הטיה לא מכוונת נגד הורים בעלי הכנסה נמוכה.

למרבה האירוניה, באימוץ מערכות מודרניות אלה, מציפות הקהילות מחדש דיונים ציבוריים מהעבר, שבהם נקרא תיגר על הטיותיהם ומניעיהם של מקבלי החלטות אנושיים. רשידה ריצ'רדסון מארגון AI Now, שמסייע לממשלות שפועלות למען שקיפות אלגוריתמית, אומרת שהצוותים שקובעים אם קיימת הטיה במחשבים צריכים לכלול לא רק אנשי מדע וטכנולוגיה, אלא גם מומחים משפטיים שמכירים את ההיסטוריה העשירה של חוקים ותביעות משפטיות בכל הנוגע לזיהוי ותיקון הטיה, כמו למשל בחוקי התעסוקה והדיור.

המחוקקים חוששים מנטל רגולטורי

בתחילת 2018 הפכה עיריית ניו יורק לגוף הממשלתי הראשון בארה"ב שאישר חוק שנועד להתמודד עם הטיית האלגוריתמים שבהם משתמשת העירייה. בסופו של דבר החוק ירד מהשולחן והוחלט על הקמת צוות משימה שיבדוק ויציע המלצות בסוגיה. הדוח הראשון של הצוות צפוי להתפרסם בדצמבר.

הרגולטור שאחראי על הביטוח במדינת ניו יורק הבהיר בתחילת ינואר כי לצורך קביעת העמידה בתנאי ביטוח ותעריפי הפוליסה, מונעים החוקים הקיימים מחברות הביטוח להפלות מבוטחים על בסיס גזע, דת, מוצא לאומי ועוד - וכי חוקים אלה תקפים גם לגבי אלגוריתמים שעוברים הכשרה על בסיס רישומי בעלות על יחידות דיור, שימוש באינטרנט ומקורות נתונים לא קונבנציונליים אחרים.

במדינת וושינגטון יזמה קבוצה דו-מפלגתית הצעת חוק שנועדה "להבטיח שימוש הוגן, שקוף ואחראי במערכות תומכות החלטה" מצידה של הממשלה, וזאת באמצעות קביעת הנחיות לרכישה ולשימוש במערכות תומכות החלטה. הצעת חוק דומה מוצעת גם במסצ'וסטס.

הצעת החוק באילינוי הרחיקה לכת ומוצע במסגרתה כי בתחומים כמו קביעת קבלת אשראי או שכירת עובדים, אסור שאלגוריתמי חיזוי "יכילו מידע שמתייחס לגזע או לאזור מגוריו של המועמד". בניסוח הנוכחי, עשוי חוק כזה להשפיע על חברות פרטיות.

חברות מסחריות מתחילות להפנים כי יצטרכו להיות כפופות לרגולציה. רנטלוג'יק (Rentlogic), חברה שמדרגת דירות בעיר ניו יורק על בסיס קריטריונים של בריאות ובטיחות, העסיקה את אוניל לצורך ביקורת אלגוריתם במטרה לבנות אמון מול הלקוחות ולהתכונן לרגולציה עתידית. לדברי מנכ"ל החברה ייל פוקס, ייתכן שבסופו של דבר יהיה סמנכ"ל ציות בחברות גדולות כמו גוגל.

המחוקקים לוקחים בחשבון את הנטל הרגולטורי שיושת על החברות. חוק השקיפות האלגוריתמית המקורי של העיר ניו יורק רוכך, לדברי ג'יימס ואקה, חבר מועצת העיר לשעבר ומחבר החוק, מכיוון שחלק מפקידי העירייה חששו להבריח את חברות התוכנה. חששות דומים בגופים ממשלתיים מקטינים את הסיכויים שהצעת החוק בוושינגטון תאושר במתכונתה הנוכחית, לדברי שנקר נריאן, לשעבר עורך דין של מיקרוסופט ואמזון, שמנהל כעת את פרויקט הטכנולוגיה והחופש באיגוד האמריקאי לזכויות האזרח בוושינגטון.

במקרה של לומיס, האלגוריתם התומך בקביעת גזרי דין היה חשוף בסופו של דבר לביקורת בצורת הערעור שהגיש לומיס לבית הדין העליון במדינה. עורכי דינו, התובעים והעדים המומחים שלהם דנו בהצדקות לגזר דינו. בית המשפט החליט כי גזר הדין עלה בקנה אחד עם גזר דין שהיה נותן שופט אנושי גם ללא עזרה מהאלגוריתם. לומיס ישתחרר מהכלא השנה.