זהירות: גם התוכנה להערכת דירוג אשראי עלולה להפלות נשים

הכותבת היא ראש החוג ממשקי טכנולוגיה, חברה ורשתות, חברת סגל בבית הספר להנדסה ומדעי המחשב ובמרכז לחקר הרציונליות, האוניברסיטה העברית

לאחרונה הציגה מדינת ישראל מערכת ריכוזית להערכת דירוגי אשראי. כתוצאה מכך, כיום, כאשר אתה מגיש בקשה להלוואה, המלווה יכול לשלם לסוכנות דירוג אשראי כדי ללמוד את דרגת כושר האשראי שלך. אחד המניעים של היוזמה החדשה היה להגביר את הגישה ההוגנת והבלתי משוחדת לאשראי, על-ידי שימוש במחשבים במקום בבני אדם כדי ליצור הערכות אלו.

זה אולי לא מפתיע שפקידי הלוואות יכולים להיות מוטים, להפלות לרעה נשים, מיעוטים אתניים, מיעוטים דתיים, קהילת הלהט"ב, אנשים עם מוגבלויות וקשישים, אם למנות רק כמה קבוצות. עם זאת, עצם העברת הסמכות לאלגוריתם אינה מבטיחה שההחלטות יהיו נקיות מהטיה.

אבל למה שמחשבים יהיו לא הוגנים? האם הם לא צריכים להיות תמיד קרים ורציונליים? למעשה, מחשבים אינם "יודעים" באופן קסום אם מישהו עם פרטים מסוימים בבקשת ההלוואה וההיסטוריה הפיננסית שלו צפוי להחזיר הלוואה, ומי צפוי לעמוד בהחזר. מחשבים יכולים להיות טובים מאוד בניחוש הזה, אבל הניחושים שלהם יתבססו על נתונים על אנשים שקיבלו הלוואות בעבר. והנתונים ההיסטוריים הזמינים כמעט תמיד מקודדים בהטיות.

בעיה היסטורית

תארו לעצמכם עולם שבו הנתונים ההיסטוריים על הלוואות מגיעים מהחלטות של פקידי הלוואות מוטים, ונניח שאותם פקידים נתנו באופן היסטורי ריבית גבוהה יותר לנשים מאשר לגברים (גרמו לנשים לשלם יותר עבור אותן הלוואות), קיבלו החלטות גרועות יותר לגבי אילו נשים היו ראויות לאשראי (מה שהגדיל את השיעור שבו נשים שמקבלות הלוואות לא עמדו בהלוואותיהן), וקיבלו פחות בקשות להלוואות מנשים מאשר מגברים מלכתחילה. סביר להניח שאלגוריתם שהתבסס על הנתונים ההיסטוריים המעוותים הללו יורש חלק מההטיות שהנתונים משקפים: אם באופן היסטורי נשים היו מקבלות שיעורי ריבית גבוהים יותר מאשר גברים בעלי כישורים שווים, הריבית הגבוהה הזו הייתה יכולה לגרום לנשים לעמוד במחדל בשיעורים גבוהים יותר, ולגרום להן להיראות כמו מלוות מסוכנות יותר.

אלגוריתם יכול ללמוד שמתן תעריפים גבוהים יותר לנשים הוא הדבר ה"נכון" לעשות, גם אם זה היה למעשה תוצאה של טיפול לא הוגן בידי פקידי הלוואות אנושיים. בנוסף, אם היסטורית, פקידי הלוואות לא היו הוגנים לגבי מתן הלוואות לנשים כמו לגבי מועמדים גברים (אולי בגלל שהם היו מוטים או חסרי ניסיון בפענוח בקשות של נשים), אלגוריתם המשתמש בנתונים המתקבלים עשוי להסיק שנשים הן לוות מסוכנות יותר ממה שהן באמת, רק בגלל הטעויות של המלווים האנושיים. יתר על כן, אלגוריתמים בדרך כלל מתוכננים לביצועים טובים במקרה ה"טיפוסי", על חשבון היותם פחות מדויקים במקרים "נדירים" יותר. אז אם היסטורית גברים היו רוב הלווים, אלגוריתמים היו נוטים להתמקד בשימוש במשתנים שהם מנבאים טובים להחזר של גברים, ולעתים קרובות היו משתמשים באותם מנבאים על נשים, גם אם ההחזר של נשים מנובא טוב יותר על-ידי משתנים אחרים.

קל יותר לתקן

החדשות הטובות הן שקל יותר לתקן הטיות אלגוריתמיות מאשר הטיות אנושיות. אבל זה לא אומר שזה פשוט. חשוב להבין שכדי להבטיח שאלגוריתמים של דירוג אשראי יהיו הוגנים לנשים, לא עוזר פשוט למחוק את עמודת "המין" מהנתונים המשמשים לאימון האלגוריתם. הסיבה לכך היא שהנתונים של נשים וגברים נוטים להיות שונים בהמון דרכים אחרות מעבר לשאלה אם האדם מסומן כ"אישה" או "גבר", ומחשבים טובים מאוד בזיהוי הבדלים מסוג זה. אז אלגוריתמים עדיין יכולים ללמוד לתת ריביות גבוהות יותר לאנשים ש"נראים כמו נשים", לפי הנתונים שלהם. אלגוריתמים עדיין יושפעו מבחירות היסטוריות גרועות של הלוואות שהגדילו את שיעורי ברירת המחדל של אנשים ש"נראים כמו נשים". ואם אנשים ש"נראים כמו נשים" הם מיעוט במערך הנתונים, אלגוריתמים עדיין ייטו להזניח את הדיוק עליהם, לטובת דיוק על אנשים ש"נראים כמו גברים".

הדרך להבטיח שקבלת ההחלטות האלגוריתמית תהיה הוגנת היא לא על-ידי מחיקת עמודות הנתונים "הרגישות" והחזקת אצבעות, אלא על-ידי ביסוס נהלים רשמיים ושקופים לניטור אקטיבי של מתאמים בעייתיים. אם הניטור הזה היה מעלה הטיות, ניתן היה לשנות את התהליכים המאמנים את האלגוריתמים כדי לתקן באופן אקטיבי להטיה. דירוג אשראי הוא רק דוגמה אחת משלל ההחלטות החשובות שהאלגוריתמים מקבלים לגבי חיינו. קבלת החלטות אלגוריתמית מציעה לנו הזדמנות ענקית להשאיר מאחור כמה מההטיות של מקבלי ההחלטות האנושיים, כי אלגוריתמים - בניגוד לבני אדם - ניתנים בקלות לתכנות מחדש. אבל ללא גישה שקופה לביקורת, ככל הידוע לנו, אלגוריתמים עשויים למעשה להחמיר את המצב.