מה הקשר בין חתולים, המוח שלנו והיכולת של מחשב ללמוד?

רשתות לומדות הפכו לחלק מהחיים שלנו. אנחנו משתמשים בהן כשאנחנו מחפשים בגוגל, נעזרים בטכנולוגיה של מובילאיי או משוחחים רשתות מחשב לומדות, הבסיס של מהפכת המידע המכונה "בינה מלאכותית", הפכו לחלק בלתי נפרד עם בוט של שירות לקוחות. והן כנראה רק בתחילת ההתפתחות שלהן. הרשתות האלה עוד יראו לנו מה הן יודעות לעשות, אפילו טוב מאיתנו, אף שההשראה לפיתוח שלהן הגיעה ממבנה המוח האנושי.

מחקר חדש שהתפרסם לאחרונה בכתב העת היוקרתי Neuron מציג תובנות חדשות על האופן שבו הנוירונים במוח פועלים, ועשוי לתרום גם לפיתוח של רשתות לומדות מתוחכמות יותר. המחקר נעשה על ידי תלמיד הדוקטורט דוד בניאגוייב ממעבדתם של פרופ' עידן שגב ופרופ' מיקי לונדון ממרכז אדמונד ולילי ספרא למדעי המוח באוניברסיטה העברית.

"לא חשבתי שיהיו בימי חיי מכונות, שיודעות ללמוד מהניסיון ולהשתנות, כל אחת בעקבות הניסיון הספציפי שלה", אומר שגב בראיון לגלובס. "אין היום כמעט מדען שלא עוסק בנושא הזה באופן כלשהו. הרשתות האלה מדהימות. הן קיבלו השראה מהמוח האנושי, והן גם שונות ממנו, ובדמיון ובשוני הן מלמדות אותנו עוד על המוח שלנו, גם את מי שלא מגיע מהתחום".

המאמר החדש מיפה הבדל אחד משמעותי בין הרשת הלומדת למוח, שיכולה להסביר חלק מהמורכבות והייחוד של המוח. "המוח מורכב יותר מכל מכונה ויש לו המון יכולות, בעוד שלמכונות לומדות יש רק יכולת אחת", אומר שגב, "והוא יכול להתפתח וללמוד יכולות נוספות, ולהכליל מתחום לתחום. אני חושב שהרשתות יכולות ללמוד מהמוח יכולות נוספות".

רשת של העברת מידע

שגב מוכר בהרצאותיו על הפונקציות הגבוהות של המוח - זיכרון, למידה ודמיון, אולם במעבדה הוא מקדיש את רוב זמנו למחקר של התא הבודד. "העצב הבודד הוא יצור מרתק ומורכב מאוד, יפהפה ואסתטי", הוא אומר. "התפקיד שלו הוא לקבל מידע, לעבד אותו ולהעביר אותו הלאה. הוא בנוי כמו מעין עץ, שיש לו שורשים ויש לו ענפים. מהשורשים המסועפים הוא מקבל המון מידע, מהמון תאים שהוא נמצא בתקשורת איתם, הוא מעבד את המידע ופולט אותו הלאה אל המון תאים אחרים, באמצעות הענפים.

"היחידה שמשתנה כאשר המוח לומד היא לא התא עצמו אלא נקודת הקשר בין התאים, הסינפסה. ענף של העץ הקודם נח ליד שורש של העץ הבא, ומשדר אליו מידע באמצעות הפרשת חומר כימי. תרופות פסיכיאטריות או פסיכדליות לרוב פועלות במנגנון הזה, ומחקות את החומר הכימי שמפרישים תאי העצב לתוך הסינפסות כדי לגרות את תא העצב הבא בשרשרת.

  

סינפסה, אזור הרווח בית התאים, יכולה להיחלש או להתחזק באמצעות למידה. כל חוויה שעברנו משנה את הרגישות של הסינפסות, כך שהפרשת החומר מהקצה של תא עצב אחד תפעל בעוצמה רבה יותר או מועטה יותר מבעבר על השורשים של התא הבא. כך אנחנו לומדים, וכך גם מחשבים לומדים היום.

תא עצב מקבל במקביל או בסמיכות זמנים מידע שיכול להגיע מעשרות אלפי סינפסות. המידע עולה בשורשי העץ (דנטריטים), עד שהוא מגיע לגוף התא, שהוא גזע אחד יחיד ועבה. שם מקבל הגזע החלטה "כן" או "לא" לירות מידע הלאה אל ענפי העץ (אקסונים). האם המידע באמת יעבור אל התאים הבאים? תלוי בעוצמת הסינפסה.

"הרשתות הללו הן לא חד-כיווניות", אומר שגב. "לפעמים מידע שתא מעביר הלאה חוזר אליו מכיוון אחר". הפידבק הזה מאפשר לרשתות לחזק או להחליש סינפסות שונות בהתאם לחוויה. סינפסות ש'ירו' לעיתים קרובות יתחזקו, ואחרות יחלשו. עם הזמן יכולים להיווצר גם קשרים סינפטיים חדשים בין תאי עצב, היכן שלא היה קשר בעבר, אבל זה כבר סיפור אחר.

איך מחשבים לומדים

שגב מתמקד רק בחלק קטן מהתהליך הזה - עליית המידע מהשורשים אל גוף הנוירון. זהו כנראה המקום שבו קיים היום ההבדל הגדול ביותר בין "נוירון" של רשת חישוב לבין נוירון אמיתי.

ברשת ממוחשבת אין לנו עצים יפים עם שורשים וענפים. במקום זאת יש שכבות של מטריצות. כל מטריצה מכילה, נניח, 100 "נוירונים" שהם למעשה ביטים שיכולים להיות דלוקים או כבויים. כל ביט בשכבה הראשונה קשור לכל אחד מ-100 הביטים בשכבה השנייה, כך שבסך הכל יש 10,000 קשרים בין כל שתי שכבות. כל ביט בשכבה השנייה קשור ל-100 הביטים בשכבה השלישית, וכך הלאה.

"נניח שאנחנו רוצים ללמד את המחשב לזהות חתול", מסביר שגב. "בני אדם לומדים לעשות זאת באופן אינטואיטיבי. אנחנו יכולים לזהות כל מיני חתולים וכל מיני כלבים בלי שנתנו לנו כללים להבדיל בין כלב לחתול, אלא רק דוגמאות. מתברר שהמטריצה במחשב, עם הקשרים המרובים שלה, יודעת לעשות את זה. "אנחנו לא יודעים בדיוק למה, אבל ברגע שיש לנו סביב 1,000 נקודות בכל מטריצה ולפחות 100 שכבות, זה מתחיל לעבוד".

לקשרים בין שכבות המטריצות אנשי המחשבים קוראים סינפסות, בהשראת הסינפסות במוח. מדוע? כי חוזק הקשר יכול להשתנות. "אני מראה למחשב את תמונת החתול ונותן לו לכייל את הסינפסות לעוצמה אקראית, ואז המידע עובר בין כל השכבות והוא אומר לי 'כן' או 'לא'. אם הוא צדק, אני נותן לו פידבק חיובי. אז הוא מחזק את הסינפסות שהשתתפו בהחלטה. אם אני אומר לו 'לא', הוא מחליש אותן".

על בסיס העיקרון הזה, אפשר ללמד את הרשתות לבצע כל מיני מטלות של זיהוי והחלטה. "במובילאיי יושבים מאות סטודנטים וממש מלמדים את המכונה", אומר שגב. "יושב אדם ומראה למכשיר רמזור, ואז האלגוריתם אומר 'רמזור' וסטודנט אומר נכון, או לא נכון, ואז האלגוריתם מחזק או מחליש את הסינפסות שלו בהתאם. מזל שיש לנו היום גוגל עם מגוון עצום של תמונות שמישהו כבר תייג".

כשמדובר במוח אנושי מתפתח, במקום סטודנט יש לנו הורה, שאומר "הנה חתול!" ואז עוד פעם "חתול!". "כלב?" "לא! זה חתול!". הילד יכול ללמוד לזהות חתול ממספר דוגמאות קטן בהרבה מזה של מחשב. אנחנו עדיין לא יודעים בדיוק איך הוא עושה זאת, אבל אנחנו כן יודעים על הבדל אחד משמעותי בין הרשתות המלאכותיות למוח. בעוד שהביט, אותו נוירון מחשבי, מבצע חיבור פשוט של כל האותות שקיבל ורק אם עבר סף מסוים הוא נדלק, הנוירון במוח מבצע פעולת חישוב מורכבת, בניגוד למה שחשבו בעבר.

"עם השנים", אומר שגב, "גילינו שהנוירון לא עושה חיבור פשוט. הוא עושה איזשהו חישוב על הקלט שמגיע מהדנטריטים (השורשים) ואם התוצאה עוברת סף מסוים הוא יורה ושולח לכל הענפים מסר אחד, אבל החישוב הוא לא סכום. זה חישוב שאפשר לחקות אותו רק באמצעות משוואות דיפרנציאליות מורכבות".

נוירון אחד עושה עבודה של רשת שלמה

לדברי שגב, זו הסוגיה שהוא חוקר כבר שנים, "מה בעצם התא עושה לכל הקלטים האלה מכל הדנטריטים, ומדוע דווקא זו המשוואה? ולמה זה כל כך מורכב?". כלומר, למה לא פשוט לסכום את כל הקלטים כמו שעושים האלגוריתמים הממוחשבים?

התשובה, כפי שעולה מהמחקר החדש, היא שכנראה הנוירון עצמו עושה עבודה דומה לזו שעושה רשת שלמה. 

למה הכוונה? "במחקר אמרנו לעצמנו, אולי במקום ליצור נוירון שהוא מערכת חישוב, ניצור משהו שהוא בעצמו כמו רשת. לקחנו תא מוח של עכבר ואמרנו, בואו נראה אם אנחנו מצליחים לייצג את החישובים שקורים בתוך תא מוח יחיד של עכבר בתור רשת. ראינו שאנחנו יכולים לייצג תא מוח של עכבר ואת החישובים שהוא עושה ברשת שהעומק שלה הוא שבע שכבות". ברשת הזאת, כל ביט הוא לא נוירון אלא דנטריט, שורש אחד. ובמקום סינפסות יש לנו הסתעפויות".

האם את החישוב שקורה בהסתעפות ניתן לשנות באמצעות פידבק כפי שמשנים את הסינפסה? את זה אנחנו עדיין לא יודעים. מה שכן ידוע הוא שהחישוב הוא לא לינארי: בהסתעפות אחת ייתכן שקלט של 1 + 1 יהיה 2, ובהסתעפות אחרת 1 ועוד 1 יוציא 3. התוצאה מושפעת לא רק מהמידע שמגיע מהדנטריטים אלא גם ממאפיינים של ההסתעפויות, כמו שפלט של סינפסה תלוי באות שנכנס אליה אבל גם בחוזק הסינפסה עצמה. המורכבות הזאת יוצרת חישוב מורכב יותר, עמוק יותר.

"הרעיון הזה יכול לתת מפתח לפתרון השאלה שמעסיקה חוקרי מוח: איך אנחנו מצליחים לבצע במוח פעולות יותר מורכבות מאלה של רשתות מלאכותיות, אף שיש להן עומק של 100 שכבות לפחות ובמוח רואים עומק של 20 שכבות בלבד? אבל אם הנוירון עצמו הוא בעומק של 7 שכבות, אז אנחנו מתחילים לראות מהיכן אפשר להביא את המורכבות". לדברי שגב, המודלים של תאי עכבר שונים מיתרגמים לרשתות בעומקים שונים, "תלוי כנראה במורכבות התפקיד שעליהם לבצע".

אם כך, הרשתות הקיימות כבר כוללות גם את המורכבות בתוך תא העצב שגיליתם?
"הרשתות המלאכותיות הן עמוקות, אבל יש מורכבות במוח שאין להן. למשל, כל תא עצב הוא אחר, ואם אני אכניס את הקלט לשני תאי עצב, אני אקבל תוצאה אחרת. יש לנו כינורות ופסנתרים וכל אחד מוציא את הצליל שלו. המורכבות נובעת לא רק מעצם זה שיש המון המון תאים, אלא מכך שכל אחד הוא מכונה קצת אחרת. הרשתות המלאכותיות גם לא בנויות בארכיטקטורה של עץ - האם זה יותר טוב? האם זה פחות טוב? העבודה הבאה שלנו היא להתחיל להשוות את כוח החישוב של מטריצה עם 20 שכבות, שכל 'ביט' בה הוא בעצם רשת נוספת כזו, לבין הרשתות הקיימות".

למה בכלל להשוות בין מוח למחשב

הקשר בין המוח לבין הרשתות הממוחשבות הוא בסך הכול מטאפורה נוחה, שמועילה לשני הצדדים, גם ליוצרי הרשתות וגם לחוקרי המוח, אומר שגב. "לאמנון שעשוע, מייסד מובילאיי, בכלל לא אכפת כל כך אם המכשיר שלו דומה למוח, העיקר שזה עובד. אבל אני שואל את עצמי כל מיני שאלות על המוח דרך החיפוש אחר הדמיון בינו לרשת החברתית והשוני ממנה. מדוע אזורים גבוהים משפיעים על ציפייה ותפיסה? לדוגמה, אם נעבור ליד אדם ונגיד את המילה 'חתול', יש סיכוי גבוה יותר שהוא יראה חתול בתמונה שיש בה צל שטיבו לא לגמרי ברור. מדוע יש פידבק לאחור? יש גם אנשי מחשוב סקרנים, שמנסים לעשות את זה לרשתות ולראות אם הן משתפרות כך או דווקא מתקלקלות".

איך אתה חושב שהמחקר שלך יכול להשפיע על רשתות המחשוב בעתיד?
"אני חושב שאפשר ליצור רשת פחות עמוקה' שהחישוב שלה הוא יותר מהיר, כי כל יחידה בה היא חכמה יותר. אני חושב שזה ייתן רפרטואר גדול יותר של חישובים, כמו שהמוח יודע לעשות כל מיני דברים ולא רק אחד. כי הרשת יודעת לעשות דבר אחד מצוין, ורק אותו. היא לא יודעת לעשות דברים אחרים ובטח לא להכליל ממה שהיא כבר יודעת ליכולות אחרות. בכל זאת המוח לומד טוב יותר".