התפטרות ממשלת הולנד צריכה להזכיר לנו עד כמה חשוב לפקח על אלגוריתמים ולהסדירם

ב-15 בינואר התפטרה ממשלת הולנד על רקע סקנדל במסגרתו רשויות המס האשימו שלא בצדק משפחות בעיקר מרקע סוציו-אקונומי נמוך בהונאות בהטבות סוציאליות.

כ-26 אלף משפחות הואשמו כי הגישו בקשות כוזבות לקצבת ילדים. הממשלה, שהנהיגה מדיניות של אפס סובלנות כלפי הונאות מס דרשה מאותן משפחות להשיב למדינה סכומי עתק שנוגעים לא רק לאותה תקופה בה בוצעה ההונאה לכאורה אלא גם סכומים בגין תקופות בהן לא הייתה מחלוקת על הזכאות לקצבה.

על פי מדיניות הממשלה, כל חוסר התאמה ולו מינורית בין נתונים, וכל פספוס של חתימה על אחד מעמודי הטופס, הובילו לסיווג המקרה כהונאה. בנוסף, הסתבר כי בקשות של מועמדים בעלי יותר מאזרחות אחת גם כן סווגו אוטומטית כחשודות, וכך מרבית המשפחות שנחשדו בטעות במרמה היו משפחות של מהגרים מהמעמד הנמוך, מה שעורר את השיח לגבי גזענות מוסדית.

הדרך הדרקונית שבה נעשה איתור המקרים וגביית החובות הובילה משפחות רבות לקשיים כלכליים בלתי מבוטלים, הכרזה על פשיטת רגל, וקריסת התא המשפחתי תחת העומס.

דוח פרלמנטרי שחקר את התנהלות הממשלה הטיל את האחריות על פקידי המס, פוליטיקאים, שופטים ובחירים אחרים בממשלה. אומנם הדוח לא מזכיר את השימוש באלגוריתמים כאחת הסיבות שהובילו למחדל, אך ההסתמכות של הולנד ומדינות רבות על אלגוריתמים לקביעת זכאות להטבות מסוימות ולשלילתם, מחייבת אותנו לתהות מה הייתה יכולה להיות התוצאה אם באותו מחדל היה מעורב אלגוריתם.

רק לפני מספר חודשים, בית המשפט שבהאג פסל את אחד האלגוריתמים בהם השתמש המשרד לשירותים חברתיים בהולנד לצורך איתור וחקירת מקרים של הונאה בהטבות סוציאליות. אותו אלגוריתם הוטמע בדרך מכוונת אך ורק בשכונות העניות ביותר של הולנד בהן מטבע הדברים מתגוררים אוכלוסיות מוחלשות ומהגרים.

גם האלגוריתם מושא החלטת בית המשפט סיווג באופן מוטעה משפחות רבות כמעורבות במרמה וכך חסם את דרכם לקבלת הטבות סוציאליות להם היו זכאיות. בנוסף, רשות השידור הציבורית של הולנד חשפה ב-2019 שימוש נרחב של משרדי ממשלה רבים באלגוריתמים כמו למשל לצורך איתור היכן נעברות עבירות פליליות, כדי להעריך כמה תמיכה סוציאלית כל אדם יצטרך ומה הסיכויים שתלמידים מסוימים ינשרו מבית הספר לפני השלמת לימודיהם.

משרדי הממשלה לא תמיד שקופים באשר לשימוש באותם אלגוריתמים והאזרחים לא תמיד יודעים שהחלטה מסוימת בעניינם התקבלה על ידי תוכנה ממוחשבת. מסיבה זו, הרשות ההולנדית להגנה על מידע, מתכוונת להדק את הפיקוח על השימוש באלגוריתמים במשרדים ממשלתיים בעקבות הסכנה שאותם אלגוריתמים יבססו אפליה של קבוצות מוחלשות.

כאמור, הולנד אינה המדינה היחידה שעושה שימוש נרחב באלגוריתמים משוכללים לצורך דירוג והערכה של אזרחים. דוח של הממונה מטעם האו"ם על עוני קיצוני וזכויות אדם פיליף אלסטון שפורסם באוקטובר 2019 מזהיר מפני דיסטופיה, מצב שבו הטכנולוגיה מוצגת על פניה ככלי שאמור להיטיב עם האזרחים ולהעניק להם שירותי ממשל ברמה גבוהה יותר, אך בפועל ממשלות משתמשות בטכנולוגיה בעיקר כדי לאכן ולעקוב אחר אזרחים בעיקר אלה המוחלשים ובמטרה לצמצם את תקציבי הרווחה ואת מספר הזכאים לתמיכה ממשלתית.

כשההחלטה לשלול זכאות מתקבלת על ידי אלגוריתם, לא תמיד לפקיד הציבור יש אפשרות להבין בדיוק מה הוביל לאותה פסילה, ולא תמיד לפקיד הציבור יש את האפשרות להתערב ולשנות את ההחלטה. כמובן שהאלגוריתם משקף באופן ישיר את המדיניות המוכתבת על ידי הממשלה.

לכן אם המטרה העליונה היא לאתר כמה שיותר מקרי הונאה בהטבות סוציאליות, האלגוריתם מכויל להשיג את אותה תוצאה, ואותה החלטה לתייג כל חוסר בחתימה או אי מילוי שדה מסוים בטופס תוביל את האלגוריתם לסווג את המקרה כהונאה, בדיוק כמו שהוביל את פקידי המס להתייחס למקרה כהונאה.

למרבה ה"מזל" לוועדה הפרלמנטרית שבחנה את התנהלות המדינה בנוגע למחדל קצבאות הילדים הייתה אפשרות להבין בדיוק מה הוביל לכך שהרבה משפחות סווגו בטעות כמעורבות במרמה.

הוועדה בחנה את הנהלים והקריטריונים שנקבעו לצורך סיווג כל מקרה ומקרה כהונאה, וכך חשפה את העובדה שאי מילוי שדה מסוים בתום-לב או חוסר בחתימה אחת מיני רבות הוביל לסיווג המוטעה.

בעקבות כך היה אפשר לנהל שיח ציבורי על הלגיטימיות של כל אחד מהקריטריונים שאמורים להוביל לסיווג מקרי הונאה, ולהגיע למסקנה שאלה לא מהווים סיבה מוצדקת לשלילת הקצבה ותיוג כמרמה. במקרה וההחלטה הייתה מתקבלת על ידי אלגוריתם החשש הוא שבגלל העמימות הטכנולוגית שאופפת את הפעולה של האלגוריתם היה קשה יותר להצביע על המחדל של הממשלה.

אם כן, מקרה זה מדגים באופן מובהק מדוע הטמעת עקרונות של שקיפות ובקרה באלגוריתמים שמקבלים החלטות הרות גורל לגבי אנשים היא הכרחית. עקרונות של שקיפות ובקרה עוזרים בהקפדה על ממשל תקין ובעיקר על מנת לדרוש דין וחשבון מהגורמים שאימצו את האלגוריתם או אלה שבנו אותו.

הכותבת היא עמיתת מחקר במרכז ברקמן קליין לחקר אינטרנט וחברה באוניברסיטת הרווארד ופוסטדוקטורנטית באוניברסיטת סיינס פו בפריז