בשבוע שעבר כתבתי טור על מחקר מפורסם שעשה גלים רבים, עד שהתגלה כי חוקרים אחרים לא הצליחו לשחזר את רוב ממצאיו. בעקבות כך, אחת הפטרוניות של הבלוג התעניינה עד כמה התופעה שבה לא מצליחים לשחזר תוצאות מחקרים נפוצה. לצערנו הרב, השכיחות שלה כל כך גבוהה עד שמדובר בבעיה של ממש בעולם המדעי, שעולה לאנושות עשרות מיליארדי דולרים בשנה. האקדמיה ללשון העברית נתנה ליכולת לשחזר מחקר בהצלחה את השם “הדירות”. לכן אנחנו מדברים כאן על משבר ההדירות, רק כזה שממש לא קשור לנדל”ן.
יש כמה פרויקטים שניסו לשחזר כמות יחסית גדולה של מחקרים, שמעידים עד כמה התופעה חמורה. קבוצת חוקרים מכל רחבי העולם ניסתה לשחזר 100 מאמרים מכתבי עת מובילים בפסיכולוגיה, והצליחה להגיע לתוצאות מובהקות רק ב-36 מהם. על אף שלרוב ענף הפסיכולוגיה סופג המון ביקורת בתחום הדירות, קושי בשחזור מחקרים נפוץ בכל תחומי המדע. כך למשל, ניסיון לשחזר 53 מחקרים פרה קליניים בסרטן הסתיים בהצלחה לשחזר שישה בלבד. כתב העת המדעי המפורסם Nature ריאיין לפני חמש שנים כ-1,500 מדענים ממגוון תחומים, מפיזיקה עד מדעי כדור הארץ. 70% מהם הודו כי מתישהו במהלך הקריירה שלהם הם ניסו ולא הצליחו לשחזר מחקר כלשהו. בנוסף, 50% מהם הודו שהם לא הצליחו לשחזר מחקר שהם עצמם ביצעו. מדובר במספרים מדאיגים ביותר.
הגורם העיקרי שאותו נהוג להאשים במצב הוא “תעשיית המאמרים”. חוקרים באקדמיה נבחנים בראש ובראשונה לפי כמות המאמרים שהם מפרסמים, בפרט בכתבי עת חשובים. לכן הם מנסים לפרסם כמה שיותר מאמרים ובכל מחיר. הפסיכולוג בריאן נוזק הגדיר זאת נהדר כשאמר (בתרגום חופשי) “שהרבה פחות מפחיד לגלות שהתוצאות של המחקר שלך לא נכונות, והרבה יותר מפחיד שהן לא יתפרסמו”. כאשר חקר האמת אינו ניצב בראש סולם העדיפויות, אנחנו בבעיה.
אין זה אומר שהחוקרים מזייפים נתונים או תוצאות (אם כי גם מקרים כאלה קורים), אבל אפשר לבצע את ניתוח המידע בצורה מוטית, כך שהסיכוי לקבל תוצאה מובהקת יגדל. אפשר לכתוב על כך ספרים שלמים, אך היריעה קצרה, לכן רק אציין בקצרה שיטות כמו לקיחת קבוצת נבדקים קטנה, בחינה של המון פרמטרים ושאלות (דבר שמגדיל את הסיכוי שלפחות במקרה אחד תתקבל תוצאה רצויה), והמנעות מתיקון סטטיסטי של הטיות פוטנציאליות.
חוקרים יכולים גם לפרסם רק את הדברים שהם קיבלו בהם תוצאה טובה, ולהתעלם מכל אותם המקרים שבהם לא התגלה אפקט, וכך להציג תמונה חלקית של הדברים, שעשויה להתפרש לא נכון, אבל להגדיל את הסיכוי לפרסום של המאמר.
תחום שחזור המחקרים סובל גם ממוניטין גרוע. חוקרים רבים מעדיפים שלא לעסוק בכך. לרבים מרגיש הרבה יותר מעניין לנסות לגלות דברים חדשים מאשר להתמודד עם ממצאים קיימים. כבר שמעתי חוקרים שכועסים על משחזרי המחקרים ואומרים שהם צריכים להפסיק לנסות לחפש בנרות מתי העמיתים שלהם טעו, ולהתעסק במקום זה במחקר מקורי שיקדם את המדע קדימה. גם כתבי העת המדעיים פחות מתעניינים בנושא, ומקבלים לפרסום הרבה פחות מאמרים שמנסים לשחזר מחקרים אחרים.
באופן מעניין, למאמר שלא מצליח לשחזר מחקר אחר יש סיכוי נמוך הרבה יותר להתקבל לפרסום מאשר למאמר שמצליח בשחזור, זאת על אף שמאמר מהסוג הראשון מחדש לנו יותר. כנראה שעדיין הרבה יותר קל להשלים עם ממצא שמתאים לנורמה, מאשר עם משהו שגורם לנו לחשוב מחדש.
עם זאת, בעשור האחרון דברים החלו להשתנות. ככל שמימדיו של משבר שחזור המחקרים מתבררים והולכים, כולנו מבינים שצריך להשקיע מאמץ כדי לפתור אותו. בפסיכולוגיה, למשל, מתחיל להיות נפוץ הרגל שבו החוקרים מצהירים מראש, לפני שהם מתחילים את המחקר, על כל מהלך שהם צפויים לעשות. כשזה קורה, הרבה יותר קשה אחר כך לבצע כל מיני שינויים תוך כדי תנועה כדי לשפר את התוצאות.
מעבר לכך, יש כיום הרבה יותר ציפייה מהחוקרים לפרסם את כל מסד הנתונים שעליו הם ביצעו את המחקר, וכן את שיטות המחקר שלהם, כדי שיהיה אפשר לשחזר הכל בצורה אמינה. נפתחו גם מאגרים שאליהם חוקרים מעלים שחזורים כושלים של מחקרים, כדי שגם אם כתבי העת המובילים אינם מתעניינים בכך, עדיין התוצאות יחשפו לכלל.
משבר ההדירות עשוי לגרום לנו לחשוב שכל המחקרים הם שטות גמורה ואסור להאמין בהם. אבל זה לא נכון. כל מה שצריך לעשות הוא ללמוד לקרוא מחקרים בעיניים ביקורתיות ולשאול שאלות, וכמובן לקבל את זה שדברים משתנים וששום תוצאה מדעית לא ניתנת כתורה מסיני. מה שנחשב נכון היום, עלול להתברר מחר כשגוי. ובסופו של דבר, חשוב לזכור דבר נוסף, המחקר המדעי הוא לא מושלם, אבל הוא עדיין הדרך הטובה ביותר שיש לנו כדי ללמוד על העולם, וככל שנבין את המגבלות שלו יותר, כך גם נדע להתמודד איתן.
אני רוצה להודות לתומכי הפטריאון של הבלוג, ובראשם למתן רינג, עינבל רמות, מייקל קניגס ושרה עטיה, התומכים המובילים. אם התוכן עניין אתכם, אני מזמין אתכם להפוך גם לתומכים, לעזור ל”סיור מוחות” לצמוח ולקבל מגוון רחב של הטבות כמו תכנים בלעדיים, יכולת להשפיע על הנושאים וצפייה בפוסטים לפני כולם. פרטים נוספים כאן
הטור מדבר אמנם על משבר הדירות, אבל לא מדובר על הדירות האלה