זיופים, טעויות גסות והייפ מוגזם: החוקר שחושף כיצד תרבות הרייטינג משבשת את המדע

לפני כעשור, כשד"ר סטיוארט ריצ'י עשה את הדוקטורט שלו בפסיכולוגיה, הוא ניסה לשחזר ניסוי מוזר מאוד, שתוצאותיו הובילו את החוקר שערך אותו למסקנה שאנשים יכולים לנבא את העתיד. החוקר היה פרופ' דריל בם מאוניברסיטת קורנל הנחשבת, והניסוי שלו פורסם בכתב עת מוביל, The Journal of Personality and Social Psychology. במאמר, הוא תיאר ניסוי שבו 53% מהנבדקים ניחשו נכון באיזה ריבוע במסך מחשב תופיע תמונה אירוטית, שיעור שמבחינה סטטיסטית הוא יותר מאשר ניבוי מקרי. 

■ איזה מין מבוגרים יהיו ילדי הקורונה? החוקרים לא אופטימיים במיוחד 
■ ההשלכות עשויות להיות דרמטיות: מאחורי תביעת חיסוני הקורונה שהגישה מודרנה נגד פייזר 

בם טען שבעבר גם הוא היה סקפטי לגבי היכולת לראות את העתיד ולגבי יכולות "על טבעיות" בכלל, עד שהניסוי שערך שכנע אותו שיש בזה משהו. הוא אתגר חוקרים אחרים לנסות לשחזר את התוצאות שלו.

אז ריצ'י ניסה, ולא הצליח להגיע לאותה תוצאה. "ידעתי אז שזה קורה לפעמים. ניסוי שהצליח מתגלה כבלתי ניתן לשחזור, אבל כשפניתי לכתב העת שפרסם את המאמר המקורי, הם אפילו לא הביטו בתוצאות. הם אמרו 'אנחנו לא מפרסמים ניסיונות שחזור של ניסויים שכבר פרסמנו - אלא רק דברים חדשים", מספר בראיון לגלובס החוקר שנודע במלחמתו בהטיות ובזיופים במדע.

ריצ'י, שהיה אז יחסית בתחילת דרכו האקדמית, היה המום. הוא הבין שכתב העת ויתר מסיבות של רייטינג או מסיבות מסחריות על היכולת לתקן מדע פגום. ואם זה קורה כשהניסוי הוא כל כך שנוי במחלוקת מלכתחילה, הרי שבוודאי זה קורה גם בניסויים דרמטיים פחות. בסופו של דבר, הצליח ריצ'י לפרסם את תוצאותיו שלו בכתב עת אחר, אבל החוויה הותירה בו את רשמיה. הוא החל לשים לב לדוגמאות נוספות של כשלים שיטתיים ביישום המתודה המדעית בעולם האקדמי.

ריצ'י, שמכהן כיום כמרצה באוניברסיטת King's College London, הוא מחבר הספרScience Fictions: Exposing Fraud, Bias, Negligence and Hype in Science, שיצא לאור ב־2021. כפי שניתן להבין משמו, הספר מבקש לחשוף את ההטיות השיטתיות, הטעויות המבניות והגורמים המובילים למרמה פשוטה בעולם המדע.

נתונים שנרקחו במטבח

אחד ממקרי המרמה המפורסמים הוא של חוקר ההתנהגות ההולנדי פרופ' דריק סטפל, שפרסם בכתבי עת מובילים כמו Science. סטפל הראה, לדוגמה, שסביבה מלוכלכת הופכת אנשים לגזענים יותר או שאכילת בשר גורמת לאנשים להיות אנוכיים יותר. אבל הנתונים שלנו היו מומצאים. הם נרקחו אצלו במטבח, ללא נבדקים בכלל.

כאשר כמה סטודנטים הביעו תמיהה על כך שהפרופסור שלהם אוסף את המידע בעצמו, וקולגה ראה דמיון מוזר בין הנתונים שהופיעו בכמה מהמאמרים, כמה יריבים אקדמיים של סטפל הביאו את הדברים לידיעת ממוניו. סטפל סיפר מאוחר יותר בראיון ל"ניו יורק טיימס" שבניסיון להתגונן מפני ההאשמות, הוא חזר לתחנת הרכבת שבה נערך לכאורה המחקר שהראה כי סביבה מלוכלכת גורמת לאנשים לשבת רחוק יותר מאדם ממוצא שונה. אך הוא ראה מיד שבתחנה אין אפילו ספסל שדומה לזה שאותו תיאר במאמרו. חשיפת הזיוף, הוא הבין, תהיה עניין פשוט. הוא החליט להתוודות. לולא היה מתוודה מיוזמתו, האם מישהו באמת היה הולך לאותה תחנה כדי לבדוק זאת? קשה לדעת.

היה זה סיפורו של סטפל, בין היתר, שהוביל ל"משבר השחזירות" (Reproducability crisis). ב־2015, פסיכולוג בשם בריאן נוסק חזר על 100 מחקרים בתחום הפסיכולוגיה שהופיעו בשלושה כתבי עת מובילים. רק 36% מהם הניבו תוצאות מובהקות גם בשחזור. בתחום הפסיכולוגיה החברתית (שבו עורכים מחקרים דומים לאלה של סטפל) הצליחו החוקרים לשחזר רק 25% מהמחקרים. בתחום הפסיכולוגיה הקוגניטיבית (שעוסק בתפיסה, זיכרון וקשב), הצליחו קצת יותר - 50%.

מחקר נוסף, שפורסם ב־2018 בכתב העת Nature Human Behavior, ביקש לשחזר 21 מחקרים שפורסמו בכתבי העת Nature ו־Science בתחום הפסיכולוגיה וההתנהגות. 62% שוחזרו, שזה אומר שבאמת יש עדיפות לכתבי העת המכובדים האלה, אבל עדיין התוצאה נמוכה באופן מטריד. "ומהפסיכולוגיה התוצאות הללו התפשטו גם למחקרי המוח, הבינה המלאכותית, הכלכלה. גם שם היו בעיות שחזור", אומר ריצ'י.

אז מהם בעצם הכשלים השיטתיים שמובילים לפרסום מחקרים לא אמינים ומונעים את חשיפתם?
"העיוות הבסיסי ביותר הוא הרצון של כתבי העת לפרסם רק תוצאות חיוביות ומרגשות. זה לא מרוע לב, אבל התוצאות ה'משעממות', כל הניסויים שבהם התברר שאין לצמחים כוחות על טבעיים או שחתולים לא יכולים לפתור בעיות במתמטיקה לא הגיעו לידי פרסום, כי מדוע שיגיעו?

"בנוסף להטיות, יש גם טעויות. חוקרים מעתיקים ומדביקים במקום הלא נכון, או טועים בהקלדת הנתונים באופן שיכול ממש לעוות את התוצאה. ויש גם הונאות מכוונות. זה נדיר, אבל לא כל כך נדיר כמו שהיינו רוצים לחשוב".

הלחץ לפרסם גובה מחיר

לדברי ריצ'י, למבנה האקדמיה יש "אשם תורם". "לאנשים יש המון מה לאבד אם הם לא מצליחים לפרסם מאמר לאורך זמן. אנחנו אומרים 'Publish or perish', ואנשים מרגישים לעתים קרובות שזה ממש כך. אם אחרי חמש שנים של דוקטורט לא הצלחת להגיע לתוצאות, כל השנים הללו עלולות לרדת לטמיון. אם בפוסט דוקטורט שלך לא פרסמת מספיק ולא תקבלי משרה אקדמית, את יכולה למצוא את עצמך קרובה לגיל 40 ללא מקצוע וללא חסכונות.

"בהחלטה לגייס חוקרים למשרות באקדמיה, הדגש על מספר הפרסומים וכתבי העת שבהם פורסמו היא הרכיב הקובע. ובעולם מושלם, שבו בקרת איכות של כתב עת מוביל הייתה באמת חפה מטעויות, זו הייתה אולי באמת הדרך הנכונה ביותר לקבל את ההחלטה הזאת. אבל אנחנו לא חיים בעולם מושלם".

הלחץ הזה גורם לדעת ריצ'י גם להטיות שגובלות בהונאה, וגם לטעויות. "הכמות, פשוט הכמות האדירה של המחקרים שצריך לפרסם כדי לקבל משרה גורמת לכך שאנשים כבר יוצאים לפרויקט הבא במקביל לכתיבת המאמר הקודם ולא משקיעים מספיק זמן - לא בתכנון הניסוי, לא באיסוף הנתונים ולא בסטטיסטיקה".

ויש עוד מניע. סטפל, לדוגמה, סיפר שהוא רימה משום שרצה להגיע ל"מדע יפה". איפשהו בדרך, הוא שכח שזה גם צריך להיות מדע. התיאוריות שלו נראו לו כמו אמיתות בסיסיות כל כך, בעוד הנתונים התגלו שוב ושוב כמלוכלכים. הוא טען כי בתחילת הדרך, כשעוד השתמש במידע אמיתי, הוא מיפה קשרים מורכבים בין משתנים רבים. "ועורכי כתבי העת כל הזמן אמרו לי, תשאיר חצי מזה בחוץ. אנחנו רוצים להגיד משהו חד משמעי ופשוט". הנתונים לא נתנו זאת, אז סטפל המציא אותם.

"סומכים זה על זה"

המנגנון של ביקורת עמיתים אמור לזהות מחקרים שתוכננו רע ולזהות רמאויות. מדוע הוא נכשל?
"העבודה של המבקרים היא נוספת על תפקידם, שכבר אמרנו שהוא לחוץ. הם מבקרים באנונימיות, ולכן בעצם לא מקבלים הכרה פומבית על ביקורת טובה, ולא קנס מקצועי על ביקורת מרושלת. אם מתברר שמאמר מסוים זויף או שהיו בו טעויות מתודולוגיות גסות, או סתם טעויות, עלולה להיגרם מבוכה לעורך כתב העת, אבל לא לעמיתים המבקרים.

"בעיה נוספת היא שהמבקרים לא מקבלים מידע עשיר מספיק. בדרך כלל הם לא מקבלים את המידע הגולמי, אלא רק את הטבלאות הסופיות שעברו עיבוד של החוקר. זה די ביזארי בעיניי. בעצם כל הרעיון של ביקורת העמיתים היא 'אל תסמוך על המילה שלי, תבדוק אותי', אבל לעתים קרובות פשוט אי אפשר.

"המדענים סומכים זה על זה יותר מדי. זה נשמע נפלא, קולגיאליות וחוסר חשדנות בין עמיתים. בפועל זה הורס את המדע".

לאחרונה החוקר הישראלי פרופ' דן אריאלי כיכב בפרשה כזאת, כשהתברר שמידע שהוא קיבל מצד שלישי היה מוטעה. אריאלי עצמו לא זייף את המידע, אבל ככל שחוקרים מנסים להסתמך על סט מידע גדול יותר, כדי שיוכלו לבצע עליו גם ניתוחים באמצעות בינה מלאכותית, כך קטנה המעורבות שלהם עצמם באיסוף המידע, וניטלת מהם אפשרות הבקרה על תהליך האיסוף. אותם גורמים שאוספים את המידע לא בהכרח מחויבים לסטנדרט מדעי.

ולבסוף, גם לתקשורת המדע יש תפקיד במצב הזה. סטפל תיאר את המדען כ"סוכן נוסע שעובר מהרצאה להרצאה כדי למכור את הרעיונות שלו". ככל שהרעיונות ברורים, פשוטים ומלהיבים יותר, כך התקשורת תתאהב בהם יותר. באופן מודע או לא מודע, הדבר ישפיע על מעמדו של המדען, גם באקדמיה. "אם יש כמה פרשנויות של הנתונים, חלק מהחוקרים בוחרים באופן קבוע להציג בעיתונות המדע הפופולרי את הפרשנות המרגשת והמלהיבה אבל לאו דווקא הסבירה יותר", אומר ריצ'י.

מועדים לפורענות

לגבי מחקר בפסיכולוגיה חברתית, יש אנשים שמתייחסים לזה מלכתחילה כאל מעין בידור מדעי להמונים, בין שהתוצאות נכונות ובין שלא. אבל מה לגבי מחקרים בתחום הרפואי?
"ניסויים קליניים מבוקרים על ידי גורמים כמו ה־FDA, זה עדיין לא מושלם אבל שם המצב הרבה יותר טוב. כל מי שיוצא לניסוי חייב לתכנן ולרשום אותו במאגרים רשמיים מראש, כולל כל הפרטים על אופן איסוף הנתונים והניתוח שלהם. תוצאות שליליות חייבות להיות מדווחות. הגורמים שתפקידם לאשר את המוצר לשיווק, חייבים לעבור על כל הנתונים. יש להם אחריות, ורשלנות יכולה לעלות להם במחיר גבוה מאוד. בכל זאת, יש רמאויות והטיות גם בניסויים האלה. התחושה היא שבעבר הן היו נפוצות יותר, ובשנים האחרונות זה משתפר. הניסויים הקליניים היום הם טובים יותר".

היום, לאחר משבר השחזוריות, האם יש יוקרה מסוימת בניסויים שמדגימים אי־שחזור של מאמרים מפורסמים?
"כן. אפילו אותו כתב עת שבזמנו סירב לי היום אומר מן השפה אל החוץ שהוא מעודד ניסויי שחזור. זה שינוי תרבותי משמח שמתרחש בשנים האחרונות, או לפחות זה מה שנאמר.

"המדענים שעוסקים בשחזור הם עדיין מיעוט, וזה חבל. שחזור ניסויים של אחרים ושל עצמך צריך לעניין את כל המדענים, להיות חלק בלתי נפרד מתהליך העבודה".

האם הקהילה המדעית תקפה אותך כשפרסמת את כל הכשלים, הזיופים, האינטריגות והתמריצים הלקויים?
"רוב הקהילה המדעית מסכימה איתי בעיקרון, לפחות באופן רשמי. התגובה הנפוצה היא 'עבודה מעניינת. לא קשורה בשום צורה אליי', וזה כמובן בהגדרה לא נכון.

"קיבלתי תגובה אחת מקולגה מקליפורניה שאמר 'בעיקרון אני מסכים איתך, אבל אל תספר לציבור. הם יאבדו אמון במדע. אני לא מסכים עם הגישה הזו בכלל. כל הגישה שלי אומרת היא שאסור לעשות את המחקר שלנו במחשכים אלא חייבים להוציא אותו לאור".

האם יש תחומי מחקר שלמים שקרסו בעקבות משבר השחזירות?
"כן, לדוגמה תחום הפריימינג (Priming, הטרמה) בפסיכולוגיה, שבו נמצא כי רמזים מקדימים קטנים יכולים לגרום לשינוי גדול בהתנהגות של אנשים לאחר קבלת הרמז, חטף מכה קשה. לדוגמה, ניסוי מ־2012 שהראה שכאשר מושיבים אנשים בתוך קופסת קרטון או מחוץ לה משתנים הציונים שהם מקבלים בשאלונים הבודקים 'חשיבה מחוץ לקופסה'. ניסויים כאלה לא השתחזרו היטב.

"ניסויים אחרים אופיינו בהייפ, וזה בעיקר נכון בתחום התזונה, או לגבי חומרים פסיכדליים ככלי טיפול. אלה מחקרים שזוכים לעניין תקשורתי בפרופורציה שלא תואמת באמת את גודל הממצא.

"לעומת זאת, ניסויים מאוד יקרים, כמו איתור הבוזון היגס, שעוסקים בהם המון מדענים והם מפוקחים על ידי המון גורמים, מתוך הניסוי ומחוץ לו, לכן אפשר להעריך בזהירות ששם לא היו טעויות או הטיות משמעותיות. זה לא בהכרח אומר שתחום הפיזיקה חסין. למשל, מאמר ב־Nature שבו דווח על מציאת חלקיק בשם Majorana התגלה כלא נכון, ובאפריל 2022 כתב העת נאלץ להודיע על ביטול המאמר. החוקרים לא פרסמו חלק מהמידע שקיבלו, אלא רק את מה שתמך במסקנה שלהם".

אז איך נדע אילו מחקרים כן לקחת ברצינות?
"זה נושא הספר הבא שלי. מה שחשוב לומר כרגע הוא שאנחנו לא מחליפים עכשיו אמון עיוור במדע בסקפטיות עיוורת. אחרת לא יהיו לנו בכלל כלים לקבלת החלטה. אני חושב שהציבור צריך להבין טוב יותר מהיכן מגיע המדע ואיך עושים אותו, ובתחומים שחשובים לכם, צריך לשאול שאלות כל הזמן".

 מדע תחרותי ושקיפות: איך משפרים את האמינות בניסויים

"רוב המדענים לא ירמו ולא 'יבשלו' נתונים לעולם, כי הם יתביישו בפני עצמם לעשות זאת", מבהיר ריצ'י, שפעילותו לחשיפת הכשלים במדע היא חלק מתנועה שלמה שמטרתה לשפר את אמינות הניסויים. ככל שנחזק באקדמיה את הרוח הזאת, על חשבון רוח הפרסומים המהירים בכל מחיר, כך נפחית לפחות את מספר הזיופים שנעשים באופן מודע", הוא אומר. "אנחנו צריכים אולי לתמרץ אנשים אחרת, לא רק על בסיס רשימת מאמרים, אלא גם על בסיס פיתוח כלי עבודה, הוראה, תרומה למחקרים אחרים, ביקורת עמיתים שהם עשו וניסויים מתוכננים היטב, גם אם נכשלו.

"מבחינת האינטרס של מדענים לחפור בנתונים של מדענים אחרים, אני מאוד אוהב את הרעיון של מחקר תחרותי, שבו שתי קבוצות עם השערות שונות נפגשות כדי לתכנן ניסוי שיתמוך בזו או בזו אבל לא בשתיהן. מחקר מהסוג הזה מאופיין בבדיקה הדדית מעמיקה של כל צעד וכל נתון, וגם בתכנון הניסוי מראש והכרזה מראש על היעדים.

"גם ללא רכיב התחרות, כדאי להכריז מראש, לפני שיוצאים לניסוי, כיצד ייאסף המידע, איך הוא ינותח סטטיסטית ומה תיחשב תוצאה שתוכיח את הטענה. יש אפילו מחשבה להעביר גם את שלב תכנון הניסוי ביקורת עמיתים, כדי לעזור למדענים לתכנן את הניסויים היטב. ואם ניסוי מתוכנן היטב שבתכנונו השתתפו הרבה 'כוכבים', לא משיג את התוצאות המצופות - אולי מבחינת כתבי העת, גם זה ייחשב מעניין.

"לגבי ביקורת העמיתים עצמה, נעשים ניסיונות למצוא דרך כן לתת למבקרים טובים קרדיט פומבי על עבודתם, למשל כל כתב עת יכול לפרסם רשימה של המבקרים הכי טובים שלו, אבל חשוב שזה לא יהפוך לרשימה של המבקרים הכי פוריים, כי אז יווצר לחץ לבצע את הביקורת מהר, לאו דווקא היטב".

התנועה לשיפור אמינות הניסויים, עולה בעיקר מהשטח ומעלה. כך למשל בלוג בשם Retraction Watch, מפרסם ומפיץ לציבור מידע על מאמרים שכתבי העת ביקשו לבטלם, משום שהתגלו בהם זיופים או כשלים. ישנם גם גורמים רשמיים, כמו המשרד ליושרה במחקר, משרד ממשלתי אמריקאי שכל תפקידו לבחון את האמינות של מחקרים מדעיים. אולם, הוא מפקח בעיקר על מחקרים שיש להם השלכות הקשורות לרפואה או בטיחות, בעיקר כאלה שקיבלו מימון כלשהו מן הממשלה, וספציפית ממשרד הבריאות האמריקאי, אליו הוא כפוף. שאר המדע צריך להסתדר בעצמו.@

ד"ר סטיוארט ריצ'י

השכלה: דוקטורט מאוניברסיטת אדינבורו, סקוטלנד
מקצועי: מרצה בבית הספר לפסיכיאטריה, פסיכולוגיה ומדעי המוח ב־Kings College London. כתב את הספר Science Fictions המתאר באילו נסיבות מדענים סוטים באופן מובנה מהמתודה המדעית
עוד משהו: המחקר שלו עוסק בהתפתחות יכולות קוגניטיביות, בהבדלים בין אישיים בקוגניציה ובאופן שבו הבדלים אלה משפיעים על החיים