לכאורה, מהפכת האלגוריתמים הייתה אמורה להוביל לעולם שוויוני יותר: בלי גזענות, בלי אפליה, כשההחלטות מתקבלות ללא דעות קדומות. בפועל הם מפלים מיעוטים, נוהגים בגזענות ומעמיקים את אי־השוויון. איך זה קורה, ומה אפשר לעשות כדי לתקן
כל פעולה שאנחנו עושים באינטרנט נרשמת. כל אינטראקציה חברתית, כל קנייה, כל פריט מידע שסיפקנו – נאגרים, נסרקים, מעובדים, ומופק מהם מידע. כך בנטפליקס יודעים להמליץ לנו על הסדרה לבינג' הבא, באמזון על הספר שמתאים בדיוק לאופי שלנו, ופייסבוק מספקת לנו פיד חדשות שהוא בבואה מושלמת של עצמנו.
האלגוריתמים שמנהלים את השירותים והאתרים השונים למדו אט־אט להכיר ולתפור לכל אחד ואחת את המידע, את הפרסומות שמופיעות בתזמון מושלם, אבל גם מסרים תפורים אישית מפוליטיקאים, הצעות העבודה וחדשות.
למדנו להכיר וגם לחיות את החדירה של כל אלו לפרטיות שלנו, והסכמנו לשלם מדי פעם קצת יותר לטיסה, כאשר הבינה המלאכותית זיהתה את הנואשות שלנו לחופשה מיידית דקה לפני ששוב נסגרים השמיים.
אבל זהו רק היבט אחד של האלגוריתמים וכל אותן בינות מלאכותיות שצצו כמו פטריות דיגיטליות אחרי הגשם.
מה אם ניקח את כל המידע העצום הזה ובעתיד נתכנן בעזרתו אלגוריתמים שיקבעו את גובה הערבות של עצורים, גזר הדין של אסירים, עלות הביטוח הרפואי ואם בכלל נבוטח, סכום ביטוח הרכב שנשלם ועוד־ועוד? האם מערכות רווחה יוציאו ילד מהבית לפי פרמטרים שאינם ידועים לנו?
עתיד מטריד, דיסטופי כמעט? מטרידה יותר העובדה שהעתיד הזה כבר כאן. הדברים הללו קורים במציאות כבר כמה שנים, והקצב שבו המערכות הללו נכנסות לחיינו רק הולך ומתעצם.
איך זה עובד? ניקח למשל אלגוריתם שמטרתו להכריע אילו בדיקות יש לערוך לאדם עם קבלתו במיון בבית חולים. כדי להגיע למצב אופטימלי, שבו לא נעשה בדיקות מיותרות ולא נחסוך בבדיקות נדרשות, ניתן לאלגוריתם ללמוד ממקרים רבים ככל האפשר.
בפועל האלגוריתם יקבל כמות אדירה של תיקי מטופלים קודמים, ויחליט בעצמו מה הפרמטרים הרלוונטיים. בהתבסס על הידע שצבר, ובשילוב מידע שנזין על חולה חדש שהגיע למיון, ייתן לנו האלגוריתם רשימת בדיקות לביצוע.
היכולת לעבד כמות אדירה של מידע ולבסס עליה החלטה מעניקה לאלגוריתם יתרון אדיר על בני האדם. עם זאת, האלגוריתם לא יחלוק איתנו את הפרמטרים השונים שהביא בחשבון בעת קבלת ההחלטה, או את אופן החישוב, ויעניק רק תוצאה סופית.
לומדים מההטיות שלנו
הכוונות של מפתחי האלגוריתמים היו טובות בעיקרן. למה שניתן למישהו שרוצה לגייס אותנו לעבודה מסוימת להכריע אם אנחנו מתאימות, או לשופט ספציפי לקבוע את רמת המסוכנות של אדם? בני אדם מושפעים ממגוון של הטיות כמו גזע, מגדר, גיל ומעמד סוציו־אקונומי, וסביר שאלו ישפיעו על ההחלטה גם באופן לא ממש מודע ולא רצוני.
הפרמטרים הללו עלולים לגרור אי־קבלה לעבודה או שכר נמוך יותר, קביעת ערבות גבוהה יותר והשתת עונשים חמורים יותר, ולהפך, כמובן. אז למה שלא נשתמש באלגוריתמים סובייקטיביים שעיוורים לצבע, מין, גיל ומעמד – סובייקטיביים על פניו – כדי לקבוע דברים כאלה?
בפועל, המחשבה שהפתרון לחולשות האנושיות, הוא בנטרול של כל ההטיות בידי אלגוריתם עיוור להבדלים, שוויוני וצודק, הייתה מוטעית. אפשר היה להניח שהבעיה היא הקלות שבה אפשר לנצל את המדיום ולכתוב אלגוריתמים דכאניים ונצלניים, אבל זה לא העניין. חוסר ההבנה שלנו את דרך פעולתם של האלגוריתמים, וגם את המציאות, הם הגורמים לכך.
הלכה למעשה מתברר שגם האלגוריתמים אימצו את ההטיות האנושיות המוכרות.
זה לא באמת אמור להפתיע אותנו. הרי האלגוריתמים לומדים מהעבר שלנו, ממידע רב שנצבר ומהחלטות שבני אדם קיבלו בעצמם, רפרטואר שמייצג בדיוק את כל הכשלים שמהם ניסינו להימנע ואת כל ההטיות ששאפנו לנטרל.
הבעיה החריפה עוד יותר, משום שאלגוריתמים לא רק משקפים את כל אלה, אלא מעמיקים אותם בסדרה של היזונים חוזרים, שבתורם מוסיפים נתונים שמצדיקים כביכול את ההחלטות הללו. במקום למחוק את ההטיות שלנו, האלגוריתמים הופכים לכלי לאוטומציה שלהן בקנה מידה עצום.
תקועים בלולאה
קחו למשל את מערכת הכליאה בארה"ב. כבר יותר מחמש שנים נעשה בכמה מדינות שימוש באלגוריתמים שנועדו לסייע לשופטים ולשופטות להעריך את רמת המסוכנות של העצור המובא בפניהם, כדי לקבוע אם לשחררו ובאילו תנאים; לעזור בקביעת גובה הערבות; ואף לסייע בקביעת עונש המאסר שירצו מורשעים.
על פניו, האלגוריתם לא מביא בחשבון את צבע עורו של העצור, אבל כולל בחישוב את המיקוד של ביתו, שבמקרים רבים, בארה"ב כמו בישראל, מלמד על שיוך אתני, מעמד סוציו־אקונומי, ועוד. לא מפתיע לגלות, אם כן, שאותה מערכת מפלה באופן עקבי מיעוטים ודנה אותם למאסרים ארוכים יותר, בשל נטייתם לכאורה לחזור לפשע, בעוד נאשמים מקבוצות אוכלוסייה שונות, המובאים בשל מעשים דומים, נידונים לתקופות פחותות.
גם אם ננסה להסתיר מהאלגוריתם את השיוך האתני, צבע העור או מינו של אדם, הוא יוכל להסיק זאת בקלות ממכלול הנתונים האחרים. הרי raison d'être של האלגוריתמים הללו היא מציאת תבניות נסתרות. הם יצליחו לאתר מתאמים שונים בין הנתונים ולחשוף את הפרמטרים שהיינו רוצים שהם יהיו עיוורים לגביהם.
בעיה חמורה יותר היא שהאלגוריתמים לא חושפים את אופן החשיבה ואת הדרך שבה הגיעו למסקנתם. במילים אחרות, אנחנו לא יודעים אילו פרמטרים הם מביאים בחשבון ואיזה משקל ניתן לכל אחד מהם, אך עדיין מקבלים את קביעותיהם ללא ביקורת כמעט.
אם שופט היה אומר "אני דן אותך ל־X שנות מאסר, כי צבע העור שלך הוא Y ויש לך Z בבנק", הייתה קמה מהומה מוצדקת. כאשר אלגוריתם עושה דבר דומה, מבלי לשתף אותנו בנימוקים, ההחלטה מתקבלת כלגיטימית. יתרה מזאת, הציבור נוטה לקבל את מסקנותיהם של אלגוריתמים כדבר אובייקטיבי, או לפחות אובייקטיבי יותר מבני אדם.
דוגמה נוספת שממחישה את הבעייתיות הגלומה באלגוריתמים כאלה היא מערכת בשם PREDPOL, שתכליתה לחזות היכן יבוצעו פשעים. בהסתמך על מסד נתונים הכולל פשעים ועבירות שבוצעו בעבר, כוחות משטרה מוקצים לאזורים מסוימים בעיר.
על פניו, נראה שמדובר ברעיון חיובי. בפועל מדובר בלולאת היזון חוזר, שגורמת לשיטור יתר באזורים מוחלשים, וזה מניב יותר נתוני פשיעה באזורים הללו, מה שגורם להקצאת שוטרים נוספים וחוזר חלילה. המערכת הזו ממוקדת בפשעים שממוקמים גיאוגרפית, ועל כן אינה מכוונת כלל לעבירות צווארון לבן למיניהן, כמו שוחד והונאה.
הדיסטופיה הופכת למציאות
אם נפנה לאזורנו, אחד האלגוריתמים שידוע שנמצא בשימוש שב"כ וצה"ל מאז שנת 2015 אוגר מידע שמפרסמים ישראלים ופלסטינים ברשתות החברתיות, כולל פוסטים ותמונות, קשרי חברות ועוקבים, שיתופי מיקום ועוד. האלגוריתם מתיימר לזהות משתמשים ולסכל אירועים ביטחוניים שונים, על סמך צורת הכתיבה של המשתמש, ביטוי של מצוקה אישית, ציטוט תכנים דתיים, שינויים בתמונות פרופיל ומאפיינים אישיים.
למעשה אי אפשר לעצור בהליך רגיל אדם רק מפני שאלגוריתם ניבא שהוא יפעל בצורה כלשהי בעתיד. במצב כזה, לשירותי הביטחון הישראליים יש שתי אפשרויות. האחת, הצגת מסקנתו של האלגוריתם לשופט ודרישה לעצור את האדם במעצר מינהלי, מבלי להאשים אותו בדבר. השנייה, חיפוש אחר עילה כלשהי להעמדתו של האדם לדין, לרוב אישום בהסתה.
בין היתר, טוענים שירותי הביטחון הישראליים כי האלגוריתם אחראי לעצירת "אינתיפאדת היחידים". האינתיפאדה אכן הסתיימה, אך גופים אלה לא הציגו הוכחות שמעידות על תרומתו של האלגוריתם לתוצאה.
נקודה מעניינת בהקשר הזה היא שכאשר בתקשורת הישראלית מציינים שניכר שברקע פעולה מסוימת ישנן נסיבות אישיות של המבצע, קמה זעקה רבתי, אך כשאותן סיבות משמשות אלגוריתמים לזיהוי מוקדם כביכול של משתמשים, הציבור מקבל זאת בהבנה, כמו גם שופטים בבואם לקבל החלטות מנהליות על סמך המערכת.
גיג אקונומי על סטרואידים
דוגמה בולטת נוספת היא ה"גיג אקונומי" המתפתחת בעולם. כולנו מכירים את אובר ואת וולט, שמציעות שירותים ספציפיים דרך חיבור בין לקוח ונותן שירות. מקרה מעניין יותר הוא הסופר־אפליקציה RAPPI, מהיוניקורנים המעטים שיצאו מאמריקה הלטינית, שמציעה מגוון ענקי של שירותים בפלטפורמה אחת.
RAPPI מבוססת על אלגוריתם שמחבר בין לקוח שמחפש אחר שירות מסוים על בסיס קרבה גיאוגרפית ועלות לנותן השירות המתאים ביותר. השימוש באפליקציה, שעולה בקצב מסחרר ביבשת הלטינית, מוביל לפגיעה אדירה בזכויותיהם של העובדים השונים. האלגוריתם, שמחפש אחר העסקה הטובה ביותר עבור הלקוח ובכך ממקסם כמובן את רווחי המפתחים, מעדיף נותני שירות במחירים זולים וזמינות גבוהה. האלגוריתם מדרג את העובדים השונים כדי להגדיל את הרווחים וכך יוצר מאבק מתמיד ביניהם על היכולת לקבל עוד עבודות, בדרך של הפחתת מחירים וזמינות מסביב לשעון.
התוצאה היא כלכלות שמבוססות על עובדים בעלי הכנסה נמוכה, ללא תנאים סוציאליים וללא יחסי עובד־מעביד, הנאבקים ביניהם על פרוטות כדי לשרוד לאורך כל שעות היום – ללא שעות מנוחה – כאשר הם נמדדים בצורה רציפה ומעקב מתמיד, וללא שום יכולת לשיפור תנאיהם. הם מקבלים עבודות ואף מפוטרים לפי החלטות האלגוריתם, בלי שום יכולת להבין את ההחלטות או לערער עליהן.
אלגוריתם נוסף, שנוגע לחיים של כולנו, הוא כזה שנועד להציע סדר טיפול אופטימלי בחולים שונים בבתי החולים. הרעיון שבבסיס האלגוריתם היה לסדר את חומרת המקרים וכך לטפל בחולים קשים יותר קודם. אחד הפרמטרים שהוכנס למערכת הוא מספר הפעמים שאותו חולה אושפז בעבר. על פניו, מדובר בפרמטר הגיוני, כיוון שסביר להניח שמצבם של חולים שאושפזו בעבר קשה יותר משל אלו שלא אושפזו ובעלי סימפטומים דומים.
גם הפעם, לא הובא בחשבון המתאם הבעייתי בין מספר האשפוזים של אדם לבין מוצא, מקום מגורים ומעמד סוציואקונומי. הפרמטר האובייקטיבי לכאורה הוביל לדחיקתם של אנשים מקבוצות מסוימות אל סוף התור, כיוון שמספר האשפוזים מלמד גם על יכולת כלכלית לקבל טיפול ונגישות למערכת הבריאות, ולאו דווקא על חומרת המחלה.
אלגוריתמים אחרים המתמחים בהמלצות על הטיפול המתאים לחולה נוטים גם כן לשגות באופן לא פרופורציונלי, כאשר החולים מגיעים מקבוצות עם ייצוג חסר במחקרים ובנתוני עבר שעליהם החישובים מבוססים כמו מיעוטים אתניים ונשים.
קיימות עוד מגוון דוגמאות לתקלות שיצרו אלגוריתמים שונים. כך, אלגוריתם למידת מכונה של אמזון הפלה נשים בגיוס לעבודות תכנות, מפני שרוב המתכנתים הם גברים והאלגוריתם הניח שנשים מתאימות פחות למשרות אלו; מערכות גיוס אחרות הפלו מהגרים ונתנו להם דירוג נמוך יותר במועמדות למשרה בגלל שגיאות כתיב ושפה עשירה פחות בטפסים שהגישו; במגוון תרמיות נעשה שימוש במערכות שידעו לזהות אנשים נואשים ומשכילים פחות, כדי להונות אותם, למשל בעידוד הרשמה להכשרות מקצועיות יקרות אך חסרות תועלת.
המסקנה אינה שהגיע הזמן לחדול משימוש בטכנולוגיה. המחקר הקיים מציע פתרונות רבים להתמודדות עם הבעיות השונות שהועלו כאן, שכבר משמשים בתחומים אחרים. כך, למשל, קיימים אלגוריתמים שמביאים בחשבון שהנתונים שעליהם הם מתבססים הם מוטים או אף מסולפים, ומצליחים להתמודד עם ההטיה הצפויה. מדדים להוגנות של בינה מלאכותית מובאים גם כן בחשבון בשנים האחרונות, במטרה לבדוק עד כמה התוצאות שמציג האלגוריתם הוגנות. קיימים גם ניסיונות ראשונים לרגולציה, בעיקר באירופה.
עם זאת, חייבים להבין שלא מדובר בבעיה של מהנדסים, והפתרון אינו רק בשורות קוד, אלא גם במושגים שבהם אנחנו חושבים. אנחנו חייבים ללמד את המחוקקים ואת הציבור על דרך פעולתם של אותם אלגוריתמים וגם על מגבלותיהם. אנחנו צריכים לדרוש ממי שמפתח את המערכות הללו לשקול את התוצאות של מעשיהם ולפעול באופן אתי. אנחנו חייבים לגוון את האוכלוסייה שעוסקת בפיתוח אלגוריתמים ולהרחיב את הפרספקטיבה באמצעות מדענים מדיסציפלינות נוספות.
יותר מכל, אנחנו צריכים להיות מוכנים להקריב את הרווח שמייצרות המערכות הללו לטובת היותן הוגנות. לפני הכל, אנחנו צריכים להחליט שאנחנו רוצים עולם שווה יותר.
