נשים? מערכת זיהוי הפנים של אמזון לא ממש מכירה במגדר שלכן

מערכת זיהוי הפנים של אמזון, Rekognition, מתקשה יותר בזיהוי מגדר כשהיא סורקת תמונות של נשים, ובמיוחד נשים כהות עור - כך מצא מחקר חדש של MIT. לפי המחקר, בכל התמונות שנסרקו של גברים בעלי עור בהיר, המערכת לא ביצעה טעויות. לעומת זאת, ב-19% מהפעמים שנסרקו בה תמונות נשים, היא סיווגה אותן כגברים, וב-31% מהפעמים שסרקה נשים כהות עור, היא סיווגה את תמונותיהן כשל גברים.

אמזון הכחישה כי תוצאות המחקר מצביעות על רמת הדיוק של התוכנה ואמרו כי לא נבחנה בו הגרסה האחרונה והמעודכנת ביותר שלה, וכי מבחן זיהוי המגדר לא תואם את השימוש שנעשה בתוכנה - להתאים פנים של אנשים לתמונות של מבוקשים.

זאת למרות שמחקר שנערך בשנה שעברה ע"י האיגוד האמריקאי לזכויות האזרח (ACLU) מצא בעיה גם באספקט הזה במערכת של אמזון - כאשר נסרקו תמונות חברי הקונגרס האמריקאי,עבור 28 מהם נמצאה התאמה מוטעית לצילומי מעצרים ממאגר משטרתי.

את המחקר הנוכחי הובילה החוקרת ג'וי בולמוויני, בהמשך למחקר שערכה בפברואר 2018, בו מצאה הטיות דומות במערכות של מיקרוסופט, IBM והחברה הסינית מגוויל. מיקרוסופט ו-IBM התחייבו בעקבות תוצאות אותו מחקר לשפר את המערכות שלהן, וכעת בולומוויני מצאה כי הצליחו בכך.

אלגוריתמים של בינה מלאכותית שמבצעים זיהוי פנים לומדים לבצע סיווגים שונים לאחר שהם עוברים "אימון" בעזרת מאגר של תמונות. כאשר המאגר לא מכיל תמונות מגוונות מתקבלות הטיות כמו אלה שנמצאו במחקר. מסיבה זו, IBM פרסמה מאגר שנבחר בקפידה ולדבריה יגביר את הדיוק, ומיקרוסופט אף קוראת להחלת רגולציה בתחום.

בעבר אף דווח כי אמזון גילתה שתוכנה פנימית שלה שמשתמשת בבינה מלאכותית כדי לעבור על קורות חיים של מועמדים לעבודה ולדרג אותם, מפלה נגד נשים, והפסיקה להשתמש בתוכנה זו. גם כאן הסיבה הייתה המאגר שבו נעשה שימוש כדי לאמן את התוכנה, שהורכב בעיקר מקורות חיים של גברים. על סמך מאגר זה, התכנה החלה להעניק לקורות חיים של נשים שביקשו להתקבל לעבודה באמזון ציון נמוך יותר.