המחקר המקיף מסוגו: במרבית האלגוריתמים יש הטיה גזעית ומגדרית

הטיה באלגוריתמים של בינה מלאכותית היא אחד האתגרים הכי משמעותיים בשימוש בטכנולוגיה הזאת. הדוגמה הבולטת ביותר היא הטיות גזעיות ומגדריות. החשש מכך אמנם ידוע, אך מחקר חדש, המקיף ביותר בסוגו, מצא שמרבית האלגוריתמים טעו בזיהוי של קבוצות מסוימות באוכלוסייה פי עשרה עד מאה יותר פעמים מאשר בזיהוי של גברים בוגרים ממוצא אירופי. המחקר נערך על ידי המכון הלאומי של ארה"ב לסטנדרטים ולטכנולוגיה (NIST) ופורסם בשבוע שעבר.

המכון בדק 198 אלגוריתמים מ-99 ארגונים ברחבי העולם, שלפי מחברי הדוח מהווים את מרבית מערכות זיהוי הפנים שנמצאות בשימוש גלובלי. הבדיקות נערכו גם עבור זיהוי "אחד על אחד", המשמשות לזיהוי של אינדיבידואל מול תמונה אחת, בתעודת זהות או בדרכון למשל; וגם "אחד מרבים", המשמש לזיהוי של אינדיבידואל אחד בתוך מאגר נתונים רחב, כמו לדוגמה מאגר משטרתי של תמונות חשודים.

באופן כללי, האלגוריתמים טעו יותר בזיהוי של אנשים ממוצא אפרו-אמריקאי, אמריקאי-ילידי ומזרח אסייתי, של נשים ושל קשישים. אלגוריתמים שנמצאו בשימוש בארה"ב התקשו הכי הרבה עם זיהוי של נשים ממוצא אפריקאי. בנוסף, החוקרים מצאו שאלגוריתמים שפותחו במדינות אסייתיות דווקא הצליחו לזהות פנים של אנשים ממוצא אסייתי באותו שיעור הצלחה כפי שהצליחו לזהות פנים של אנשים ממוצא אירופי. על כן, החוקרים ציינו כי שימוש בסט נתונים מגוון יותר לאימון האלגוריתמים יכול להפחית את ההטיות.

מערכות זיהוי פנים בשימוש ה-FBI והמשטרה

המחקר התבצע על ידי קבוצה שפועלת במכון מאז שנת 2000 ובודקת אלגוריתמים לזיהוי פנים שמגישים אליה בהתנדבות מפתחים פרטיים מהתעשייה או מפתחים מהאקדמיה. הקבוצה ביצעה בדיקות בשנת 2000, 2002 ו-2006, וזוהי הפעם הראשונה בה הקבוצה בדקה הטיות. בעבר היא בדקה עשרות בודדות של אלגוריתמים ובחנה את ההתקדמות הטכנולוגית שלהם לשימושים שונים. גם המחקר הנוכחי נשען על אלגוריתמים שהוגשו לבדיקה באופן התנדבותי, ובולטים בהעדרם מהרשימה האלגוריתמים של אמזון - שנמכרים לחוקרים פדרליים ולרשויות שיטור מקומיות בארה"ב.

הדוח מפורסם בתקופה שבה הדיון הציבורי בארה"ב סביב טכנולוגיות זיהוי פנים נמצא בשיאו. סן פרנסיסקו ושתי ערים נוספות במדינת מסצ'וסטס נמצאות כעת בהליך חקיקה שנועד למנוע שימוש באלגוריתמים של זיהוי פנים על ידי גורמי ציבור רשמיים. אלגוריתמים כאלו נמצאים בין השאר בשימוש של כוחות הביטחון בארה"ב.

בדיון שנערך בקונגרס האמריקאי לפני שנתיים בנושא שימוש בטכנולוגיות זיהוי פנים על ידי רשויות שיטור ואכיפה, נציג ה-FBI סיפר על שתי מערכות זיהוי פנים שנמצאות בשימוש ה-FBI והמשטרה בארה"ב ומשמשות לזיהוי של אנשים במאגרים של עשרות ואף מאות מיליוני תמונות פנים. נציג ה-FBI הצהיר שהמערכות הללו משמשות לצורכי תמיכה בחקירות בלבד, ולא נעשה בהן שימוש ככלי זיהוי העומד בפני עצמו. לפי נתוני ממשלת ארה"ב, מאז 2011 ה-FBI השתמש באלגוריתמים כאלה כ-400 אלף פעמים. אמנם מדובר בשימוש מבוקר אך זיהוי לא נכון עדיין עשוי להביא לחקירות ארוכות, הכללה בלתי מוצדקת ברשימות מעקב ולמעצרי שווא.

בנוסף ל-FBI, המשרד האמריקאי לביטחון פנים הודיע מוקדם יותר השנה כי אלגוריתמים של זיהוי פנים ישמשו לזיהוי של כמעט כל הנוסעים בטיסות יוצאות מארה"ב בתוך ארבע שנים, טכנולוגיה שהחלו לפרוס בשדות תעופה במדינה כבר ב-2017. בשנים האחרונות גם המכס וגם משמר הגבול האמריקאי החלו להשתמש בטכנולוגיה מסוג זה.

"בדרך כלל לא נכון לצאת בהצהרות על אלגוריתמים רבים מסוג מסוים, אך אנחנו מצאנו הוכחות אמפיריות לקיומם של הבדלים דמוגרפיים במרבית האלגוריתמים לזיהוי פנים שבדקנו", נמסר מטעם פטריק גרות'ר, המחבר הראשי של הדוח ומדען מחשבים ב-NIST. לדבריו, מטרת המחקר היא ליידע מחוקקים ומפתחי תוכנה בביצועי האלגוריתמים הללו.

לפי דיווח ב"וושינגטון פוסט" הדוח אכן הכה גלים בקרב מחוקקים בארה"ב, שקראו לתוצאות הדוח "מזעזעות". לפי הדיווח, מחוקקים קראו לממשל טראמפ לעצור מיד את תוכניותיו להרחיב את השימוש באלגוריתמים של זיהוי פנים בתוך המדינה ובגבולותיה בעקבות ממצאי המחקר. "מערכות זיהוי פנים הן אפילו פחות אמינות ומוטות גזעית מכפי שחששנו", אמר יו"ר הוועדה לביטחון פנים בארה"ב, בני ג'י. ת'ומפסון, בהודעה שהוציא בעקבות פרסום המחקר.