מדוע מומחים נותנים הערכות נמוכות דווקא ליוזמות חדשניות?

הרבה מאוד ארגונים נדרשים להעריך חדשנות על בסיס קבוע. קרנות הון סיכון נדרשות להעריך עשרות סטארט-אפים כל שבוע ולבחור במי מהם להשקיע; תוכניות אקסלרציה וחממות נדרשות להחליט אילו רעיונות חדשניים יותר ואיזה יזמים כדאי לקבל לתוכנית; גופים ממשלתיים כמו הרשות לחדשנות אמורים לחלק תקציבים לקידום חדשנות בקרב חברות; בתוך חברות שעוסקות במחקר ופיתוח מנהלים אמורים להחליט כיצד לחלק את המשאבים הארגוניים בין רעיונות חדשניים שונים וכמובן אוניברסיטאות ומכוני מחקר נדרשים לחלק תקציב להצעות מחקר, כשמידת החדשנות של ההצעות היא מרכיב מרכזי בהחלטה.

ישנן הערכות שלפיהן מנהלים נחשפים ל-3000 רעיונות וצריכים לנהל מספר דומה, לפני שאפשר להצליח מסחרית עם רעיון אחד. תחת קרנות לקידום חדשנות מדעית כמו ה-NIH וה-NSF בארה"ב (National Institute of Health, National Scientific Foundation), מדענים וקובעי מדיניות עוברות כ-90,000 הצעות "גרנטים" בשנה. בארץ מובילה הקרן הישראלית למדע את ההחלטות האלה בעולם המדעי, עם תקציב שנתי של כ-725 מיליון שקל.

מכיוון שנושא הערכת חדשנות הוא לרוב אסטרטגי ומערב הרבה מאוד כסף, נשאלת השאלה, מהי הדרך האפקטיבית להעריך חדשנות עם מינימום הטיות. אחת הגישות הנפוצות להערכת חדשנות (עסקית או מדעית) היא היעזרות במומחים. בארה"ב למשל כ-40 מיליארד דולר בשנה, המחולקים למחקר חדשני בתחומי הרפואה, ההנדסה וההמדעים המדויקים מתבססים על הערכות מומחים (חוקרים מהאקדמיה בעיקר). למרות היתרונות הרבים של שימוש במומחים הבקיאים בעולם התוכן הרלבנטי, מתברר שיש גם לא מעט בעיות.

לדוגמה, לא תמיד כל המומחים המעריכים פרוייקט חדשני ספציפי מסכימים על איכותו ומידת היכולת להוציאו לפועל. יש גם סיבות נוספות שמייצרות "רעש" והטיות כמו היכרות קודמת בין המומחה המעריך והמוערך, הבדלים בפורמט של ההצעה ומאפיינים אישיותיים שונים של המומחים המעריכים.

מחקר שהתפרסם בכתב העת Management Science ב-2016 שהובילו החוקרים Boudreau, Guinan Lakhani ו-Riedl, יצא לבחון כיצד שני מרכיבים מרכזיים משפיעים על הערכה חיובית (יותר או פחות) של פרויקט חדשני: האם המומחה המעריך מגיע מאותו תחום ידע או מחקר של הפרויקט המוערך, ועד כמה הפרויקט חדשני.

עקרונית, ככל שהמומחה מרוחק מהתחום המוערך וככל שהפרויקט חדשני יותר, ניתן לשער שיתרחש אחד מהתהליכים המנוגדים הבאים: בשל חוסר הידע המומחים החיצוניים (1) יפעילו הטייה שיטתית כנגד הפרויקט - כי אי הוודאות מבחינתם גבוהה יותר והם יחששו לקחת סיכונים בהערכה, או (2) יפעילו הטיה שיטתית בעד הפרויקט, כי בשל חוסר היכרותם עם התחום הם יכריחו עצמם לבחון את הפרויקט יותר לעומק. בנוסף הפרויקט לא מהווה תחרות או איום על התחום שלהם.

המחקר נערך בשיתוף פעולה עם בית ספר לרפואה בארה"ב במטרה להעריך 150 הצעות מחקר חדשות בתחום האנדוקרינולוגיה, בעזרת 142 מומחים שגויסו להיות המעריכים, מתוך לתחום ומחוצה לו. אם מומחה פרסם עבודה מחקרית על התחום הוא נחשב "מתוך התחום" ואם לא, הוא נחשב "מחוץ לתחום".

החוקרים קישרו כל מומחה ל-15 הצעות, ויצרו 2,130 זוגות של מומחים והצעות, כשכל החוקרים "עיוורים" זה לזה. כל ההצעות היו בפורמט זהה ואורכן לא עלה על 6 עמודים. המומחים התבקשו להעריך כל הצעה בין 1-10 (כש-10 מסמל את ההערכה הגבוהה ביותר). הסטנדרטיזציה עזרה להקטין מגוון הטיות הערכה. הצעות המחקר התחרו על מענק של מיליון דולר.

ממצא מרכזי ומובהק אחד היה, שהמומחים נתנו בעקביות הערכות נמוכות להצעות שהיו קרובות יותר לתחום התמחותם. הממצא היה עקבי גם כאשר המודל כלל מגוון רחב של משתני בקרה (כמו כמה פרסומים יש למגיש ההצעה, האם בהצעה יש שימוש ביותר גרפים וכדומה).

ממצא מרכזי אחר היה שההצעות החדשניות יותר קיבלו הערכות נמוכות יותר באופן דרמטי. התברר שלמומחים עלול להיות לא קל לעכל פרויקטים חדשנים במיוחד. הממצא הזה מתכתב עם הטענה שחדשנות מתקדמת תוך כדי התבססות על ידע שמצטבר בהדרגה, ולא בקפיצות נועזות.

החוקרים הציעו לשלב בין מומחים מתוך ומחוץ לתחום, שכן הם מביאים גישות שמשלימות זו את זו, ומאפשרים יתרון של ידע מעמיק לצד פתיחות, ולתת משקל שונה להערכות מומחים משני הסוגים, בהתאם למוטיבציה האסטרטגית של הארגון.

פרופ’ גרינשטיין מרצה וחוקר שיווק ויזמות באוניברסיטת Northeastern בבוסטון ו-VU באמסטרדם. כותב בטוויטר על מחקר התנהגותי @AmirGrinstein. יאנה שכטרמן היא יועצת ארגונית ומאמנת מנהלים ומלמדת באוניברסיטת Northeastern בבוסטון yanashechterman.com