הסטארט-אפ של אמנון שעשוע מכריז: בנינו את מודל השפה החזק בעולם

בקיץ שעבר סערו הרשתות החברתיות לאחר שמעבדת המחקר OpenAI מסן פרנסיסקו שחררה את 3-GPT, מודל השפה הגדול והמקיף ביותר אי פעם. מודל שפה הוא מערך הסתברותי ממוחשב שלומד את סדר המילים המקובל במשפט ויכול ליצור ולהשלים על סמך ידע זה טקסט כתוב באופן עצמאי. בעקבות החשיפה שלו ל-45 טרה בייט של טקסט בתהליך האימון, מודל 3-GPT מקבל כל החלטה לשונית על סמך 175 מיליארד פרמטרים חישוביים שונים, יותר מפי 100 מאשר בגרסה הקודמת.

היום (ד'), קצת יותר משנה לאחר השקת 3-GPT, משחרר הסטארט-אפ הישראלי AI21 Labs מודל שפה ראשון משלו בשם ג'וראסיק-1 (Jurassic-1), שלטענתו עולה על 3-GPT בכל הנוגע ליצירת שפה אנושית. מודל ג'וראסיק-1 מקבל כל החלטה לשונית על סמך 178 מיליארד פרמטרים חישוביים, גבוה במעט מזה של 3-GPT. בנוסף ג'וראסיק-1 מתבסס על מילון של יותר מרבע מיליון הברות, מילים וצירופים באנגלית, בהשוואה ל-50 אלף מילים בלבד אצל 3-GPT.

"קודם כל 3-GPT הוא לא מתחרה רע ואנחנו גאים שהגענו להיות שווים ובתחומים מסוימים אפילו טובים וגדולים ממנו. זאת הפעם הראשונה שיש עוד שחקן חזק בעולם של עיבוד שפה טבעית (NLP) חוץ מ- 3-GPT", אומר פרופ' יואב שוהם, מנכ"ל ואחד ממייסדי AI21. "יש מודלים ספציפיים לשפה שהם מאוד חזקים אבל כמודל כללי של שפה אני חושב שאנחנו המקיפים בעולם".

האם המחשב באמת מבין?

מודל 3-GPT שוחרר ביוני 2020 לרשימה אקסקלוסיבית של מוזמנים בלבד, מה שתרם לבאזז שהתפתח סביבו. במהרה התמלאו הרשתות החברתיות במפתחים ויוצרים שהדגימו את היכולות יוצאות הדופן של מודל השפה. משתמש אחד הדגים כיצד 3-GPT מקבל הוראות כמו "צייר כפתור שנראה כמו אבטיח", ומגיב בציור עיגול עם מילוי ורדרד ושוליים ירוקים שבמרכזו המילה אבטיח. אחרים הראו איך הוא יכול להפוך הערות גסות למנומסות.

המשורר האמריקאי אנדרו בראון צייץ כי נתן ל- GPT-3 הוראה לכתוב שיר מנקודת מבט של ענן שמסתכל על שתי ערים שנלחמות זו בזו. "אני חושב שאתחיל להוריד גשם, כי לא נראה לי שאסבול את הכאב, לראות את שניכם, נלחמים כמו שאתם", הייתה התוצאה.

לצד ההתלהבות, היו גם לא מעט מבקרים ל- GPT-3. ביקורת אחת כלפי המודל הייתה ביחס להטיות גזעניות וסקסיסטיות הגלומות בו. כאשר GPT-3 מתבקש למשל ליצור ציוצים קצרים עם המילה יהודים, התוצאה הייתה יכולה להיות "יהודים אוהבים כסף, לפחות חלק מהזמן".

  

על סמך הצצה קצרה שקיבל גלובס לפני ההשקה הרשמית, נראה כי ג'וראסיק-1 כולל יכולות מרשימות לא פחות. ג'וראסיק-1 לומד מדוגמאות ולאחר שתיים או שלוש הוא "מבין" את העניין. כך למשל אפשר לבקש ממנו להמיר משפטים עם סלנג עסקי באנגלית כמו "לפתוח את הקימונו" לשפה פשוטה ויומיומית: "לגלות את כל הפרטים". אופציה נוספת היא לבקש מג'וראסיק-1 לתמצת ביקורות ארוכות שכתבו משתמשים על מסעדות. "טאקו מעולה. צפוף בפנים. אין חנייה", הוא תקציר כזה לדוגמה.

אחרי מספר דוגמאות, יכול ג'וראסיק-1 גם לנסח כותרת מחודדת בת שתי מילים לנושא מסוים או ליצור אוטומטית האשטאג מותאם לפוסט קצר. לא תמיד התשובות עובדות מושלם אבל אפשר לשחק עם כפתור "הטמפרטורה" כדי לגרום למחשב לאמץ גישה שמרנית או להרשות לו להתפרע יותר עם הטקסט. לדברי דן פדנוס, סגן נשיא ב-AI21, את כל האופציות האלה ועוד רבות אחרות הוא כתב באחר צהריים אחד ואלו רק דוגמאות ראשוניות למה שיכול ג'וראסיק-1 לעשות.

לאחר שיצא 3-GPT, היו מי שטענו כי מדובר בעצם חקיין מתוחכם של טקסט אנושי שלא מבין באמת את מה שהוא כותב. הבלשן נועם חומסקי אמר על GPT-3 כי "זהו אינו מודל שפה כיוון שהוא יכול לעבוד בצורה טובה לא פחות על שפות אמיתיות ולא הגיוניות. ייתכן שיש לו שימושים מסוימים, אבל הוא לא אומר לנו כלום על שפה וקוגניציה באופן כללי".

"אני לא מסכים עם חומסקי כמעט על שום דבר אבל הנקודה שהוא מעלה חשובה", אומר שוהם. "המודל הזה באמת מסתמך על סטטיסטיקה בהיקף בלתי נתפס וזיהוי של מתאמים, אבל כשאתה מתעסק איתו הרבה אתה רואה שאולי הוא כן מתחיל להבין משהו מהמשמעות של חלק מהדברים".

בניגוד ל- OpenAI, ב-21AI הודיעו כי יפתחו את השימוש בג'וראסיק-1, כולל את ממשק התוכנה (API) שלו, באופן חופשי למשתמשים. עם זאת, היקף השימוש יוגבל ומפתחים שירצו לבנות על בסיס המודל יישום לקהל רחב יצטרכו לקבל גישה מסחרית מותאמת אישית בתשלום.

ליצור אפליקציות תורמות לחברה

OpenAI הוקמה ב-2015 ובין מייסדיה נמנע גם אלון מאסק, שמאז התפטר מדירקטוריון החברה ואף ביקר אותה. בין התומכים בה נמנים המשקיע ומייסד פייפאל פיטר ת'יל וגם מייסד לינקדאין ריד הופמן. ב-2019 השקיעה מיקרוסופט מיליארד דולר ב-OpenAI וקיבלה זכויות בלעדיות לטכנולוגיה שלה.

גם מאחורי AI21 יש שמות גדולים. החברה הוקמה ב-2017 על ידי שוהם, פרופ' למדעי המחשב מסטנפורד ומומחה מוביל לבינה מלאכותית, יחד עם היזם אורי גושן (שמכהנים יחד כמנכ"לים משותפים). שנה לאחר מכן הצטרף אליהם כשותף ומשקיע פרופ' אמנון שעשוע, מייסד מובילאיי ואורקם. בכל הנוגע למימון, 21AI רחוקה בכל מקרה מהמתחרה האמריקאית, וגייסה עד היום כ-35 מיליון דולר מהקרנות פיטנגו ו-TPY ושעשוע עצמו. AI21 מעסיקה כ-60 עובדים במגדל המאה בתל אביב.

ב-2019 שחררה 21AI שני מוצרי דמו ראשונים - "חיים", שמשלים טקסט על פי משפט פתיחה וסיום שמזינים אליו, ו"חיימ'קה", שבונה מאמר על סמך מספר משפטי מפתח שמזינים אליו. בסוף 2020 שחררה 21AI את המוצר המסחרי הראשון שלה - וורדטיון (Wordtune), עורך לשוני שמציע אופציות לשכתוב טקסטים באנגלית. כעת כאמור משחררת החברה את מנוע השפה שמפעיל את כל המוצרים האלה ויכול לשמש גם לפיתוח אפליקציות ויישומים חיצוניים.

וכאן בעצם טמון האתגר הגדול של 21AI. מעבר להייפ שהמוצר החדש יעורר או לא יעורר ברשתות החברתיות, המבחן האמיתי שלו הוא ביישום בפועל. במרץ האחרון פרסמה OpenAI כי מאז השקת 3-GPT הוא כבר הוטמע במעל 300 אפליקציות בתחומים שונים. האפליקציות משמשות כדי להפיק תובנות מתוך פידבק של לקוחות, ליצור סיפורים אינטראקטיביים ולחפש תוכן רלוונטי. בחודש מאי השיקה מיקרוסופט את המוצר הראשון שלה על בסיס 3-GPT - כלי להשלמה אוטומטית של קוד תכנות.

"לא מעניין אותנו ההייפ ואנחנו לא מחפשים חיזוק לאגו", אומר שוהם. "עשינו לא מזמן האקתון בחברה והעובדים יצרו דברים מדהימים עם ג'וראסיק-1 כמו כתיבת שירי ראפ או יישום שמגיב למשחק שחמט ושולח טראש טוק לשחקן השני, אבל מבחינתנו המדד האמיתי הוא שהמודל ישמש ליצירת אפליקציות חכמות ופורצות דרך שיביאו ערך לחברה".