אמזון גילתה שהבינה המלאכותית שלה מפלה לרעה מועמדות לעבודה

מומחי הלמידה החישובית של אמזון חשפו בעיה גדולה: מנוע הגיוס החדש שלהם אינו מחבב נשים. משנת 2014 בונה הצוות תוכניות מחשב לבדיקת קורות החיים של מועמדים לעבודה, במטרה לבצע אוטומציה של החיפוש אחר האנשים המוכשרים ביותר, לדברי חמישה מקורות יודעי דבר.

האוטומציה משחקת תפקיד מפתח במעמדה הדומיננטי של אמזון בתחום הקניות המקוונות, בין אם מדובר במחסנים ובין אם מדובר בהחלטות תמחור. כלי שכירת העובדים הניסויי של החברה השתמש בבינה מלאכותית כדי לדרג את המועמדים בסולם של אחד עד חמישה כוכבים, בדומה לאופן שבו מדרגים הקונים מוצרים באמזון, לדברי חלק מהמקורות.

"כולם רצו את מכשיר הפלאים הקשה להשגה הזה", אמר אחד המקורות. "הם רצו שזה יהיה פשוטו כמשמעו מנוע שכשמכניסים לתוכו 100 קורות חיים, הוא יפלוט את חמשת המובילים ואנחנו נשכור אותם". אך בשנת 2015 הבינה החברה שהמערכת החדשה אינה מדרגת מועמדים למשרות טכניות, כגון מפתח תוכנה, באופן ניטרלי מבחינה מגדרית.

הסיבה לכך הייתה שמודלי המחשב של אמזון הוכשרו לבדוק מועמדים באמצעות זיהוי דפוסים מסוימים בקורות חיים שהוגשו לחברה לאורך תקופה של עשר שנים. מרבית קורות חיים אלה נשלחו בידי גברים - מה שמשקף את הדומיננטיות הגברית בתעשיית הטכנולוגיה.

למעשה, לימדה המערכת של אמזון את עצמה שמועמדים עדיפים על מועמדות. המערכת התייחסה בשלילה לקורות חיים שהכילו את המילה "נשים", כמו במשפט "ראש קבוצת הנשים במועדון שחמט". כמו כן העניקה המערכת דירוג נמוך לבוגרות קולג'ים של נשים בלבד, לדברי מקורות יודעי דבר. המקורות לא ציינו את שמות הקולג'ים.

אמזון הכניסה שינויים בתוכניות המחשב כדי להפוך אותן לניטרליות בכל הנוגע לביטויים אלה, אך הדבר לא הבטיח שהמכונות לא ימציאו לעצמן דרכים מפלות אחרות למיון מועמדים, לדברי המקורות.

בסופו של דבר פירקה אמזון את הצוות בתחילת השנה שעברה, מכיוון שהמנהלים איבדו את אמונם בפרויקט. מגייסי כוח האדם של אמזון בחנו את ההמלצות שהפיקה תוכנית המחשב כשרצו לשכור עובדים חדשים, אך אף פעם לא ביססו את החלטותיהם אך ורק על המלצותיה של התוכנית הזאת, לדבריהם.

אמזון סירבה להגיב בסוגיית מנוע גיוס העובדים והאתגרים הכרוכים בו, אך היא מציינת שהיא מחויבת לגיוון ושוויון במקום העבודה.

הניסוי של אמזון מספק דוגמה למגבלות הלמידה החישובית. כמו כן, מספק ניסוי זה לקח לרשימה המתארכת של חברות גדולות, כולל הילטון וורלדווייד הולדינגס וגולדמן זאקס, שבוחנות ביצוע אוטומציה של חלק משלבי תהליך גיוס העובדים החדשים.

"משתמשים בגרסה מדוללת מאוד"

הניסוי של אמזון החל בנקודת זמן משמעותית מבחינתה של הקמעונאית המקוונת הגדולה בעולם. הלמידה החישובית החלה לצבור חשיבות בעולם הטכנולוגיה הודות לעליה בעוצמה המיחשובית שעלותה נמוכה. מחלקת משאבי האנוש של אמזון עמדה לפצוח בחגיגת שכירת עובדים. מיוני 2015 זינק מספר עובדי החברה בעולם ביותר מפי שלושה ל-575,700 על פי מסמכים שהוגשו לרגולטורים.

לפיכך הקימה אמזון צוות במרכז ההנדסה שלה באדינבורג, ומספר חבריו גדל לכתריסר. מטרתם הייתה לפתח בינה מלאכותית שתתפקד כזחלן רשת מהיר שיאתר מועמדים ראויים לגיוס, על פי מקור יודע דבר.

הצוות יצר 500 מודלי מחשב שהתמקדו בפונקציות ואתרי משרה ספציפיים. הם לימדו כל אחד ממודלים אלה לזהות כ-50 אלף מונחים שהופיעו בקורות החיים של מועמדים מהעבר. האלגוריתמים למדו לייחס חשיבות מועטה למיומנויות נפוצות בקרב מועמדים למשרות טכנולוגיית מידע, כגון היכולת לכתוב קוד. במקום זאת, העדיפו האלגוריתמים מועמדים שתיארו את עצמם באמצעות שימוש בפעלים שמופיעים לעתים קרובות יותר בקורות החיים של מהנדסים-גברים, כמו "ביצעתי" ו"לכדתי", לדברי אחד המקורות.

אך ההטיה המגדרית לא הייתה הבעיה היחידה. בעיות עם הנתונים שעליהם התבססו הקביעות השיפוטיות של המודלים גרמו לכך שמועמדים נטולי הכשרה זכו לעתים קרובות להמלצות לכל סוגי המשרות, לדברי המקורות. מכיוון שהטכנולוגיה הניבה תוצאות באופן כמעט אקראי, הפסיקה אמזון את הפרויקט, לדברי אותם המקורות.

אמזון הצליחה לנצל חלק מהלקחים שהפיקה מניסוי הבינה המלאכותית הכושל שלה. כיום היא משתמשת ב"גרסה מדוללת מאוד" של מנוע הגיוס לביצוע כמה מטלות בסיסיות, כולל הסרת פרופילי מועמדים כפולים מבסיסי נתונים, לדברי אחד המקורות.

מקור אחר אמר שהחברה מקימה צוות חדש באדינבורג כדי לנסות שוב לבצע אוטומציה של תהליך סינון המועמדים, וכי הפעם יתמקד הצוות בגיוון.