Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

הרווח הנקי מבדיקה הוא מידת התועלת של הבדיקה, המתבטאת בבדיקות חיוביות אמיתיות, פחות הנזק מהבדיקה, המתבטא בבדיקות חיוביות כוזבות. כדי לבצע חישוב של ההפרש בין שני אלו, צריך לבצע המרה לאותן יחידות. הדרך לבצע את זה היא קביעה (בעזרת מומחיות קלינית, הכרת הנושא, ערכים ומטרות של המטופל) של "שער חליפין ערכי": כמה בדיקות חיוביות כוזבות אנחנו מוכנים לסבול עבור כל בדיקה חיובית אמיתית. שיעור הבדיקות החיוביות הכוזבות מוכפל בשער החליפין כדי שיחידת המדידה תהיה גם שם "יחידות של בדיקות חיוביות אמיתיות", ואז מחסירים ערך זה משיעור הבדיקות החיוביות האמיתיות. רווח נקי חיובי, משמעותו שהמטופל ירוויח מביצוע הבדיקה. במודלים של חיזוי, ערך הסף שמעליו נבצע התערבות או המשך בירור קובע לנו גם את שער החליפין (למשל, אם ערך הסף במודל הוא 2.5%, שער החליפין הוא 1/39) וגם, בעזרת מחקר, מאפשר לנו לדעת מה יהיה שיעור הבדיקות החיוביות האמיתיות ושיעור הבדיקות החיוביות הכוזבות.

רווח נקי של בדיקה=

 שיעור בדיקות חיוביות אמיתיות (מבין כלל המשתתפים) 

פחות

[שיעור בדיקות חיוביות כוזבות (מבין כלל המשתתפים) X שער החליפין*]

*היחס אותו אנחנו מוכנים לסבול בין מספר בדיקות חיוביות אמיתיות למספר בדיקות אמיתיות כוזבות

Net benefit (of testing)

True positives/ false positives

Exchange rate

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

מלבד הדיסקרימינציה , יש לנו שאלה נוספת כדי להחליט האם מדד חיזוי הוא מדד מוצלח: האם הסיכוי המחושב דומה לסבירות האמיתית כפי שנצפתה בהמשך המעקב. התאמה כזו נקראת קליברציה. אי אפשר לדעת מה הסבירות האמיתית עבור מטופל בודד- מטופל בודד יחלה או שלא יחלה, זאת אומרת הסבירות האמיתית שיחלה היא או אפס או מאה אחוז. לכן קליברציה משתמשת בקבוצות. בכל קבוצה הסיכוי המחושב (התחזית) נמצאת בטווח מסויים, והממוצע של הסיכוי המחושב באותה קבוצה מושווה לשיעור האנשים באותה קבוצה שחלו בסופו של דבר. מדד ה CORE  הוא בעל קליברציה מצויינת בערכים עד 17-18%, אך בערכים גבוהים יותר נתן הערכת יתר.

Calibration

Probability

Calculated risk

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

CORE Calculator

SCORE2 risk prediction algorithms: new models to estimate 10-year risk of cardiovascular disease in Europe

השטח תחת העקומה מתייחס לעקומת הרוק, והוא נמדד כיחס בין שני שטחים ולא ביחידות שטח. היחס הזה מקבל ערכים שבין 0.5 לבין 1, כאשר ככל שהערך גבוה יותר, כך יכולת ההפרדה של הבדיקה (דיסקרימינציה) טובה יותר. ערך של 0.88 אומר לנו שהסבירות שמטופל שיפתח שחמת בעתיד יקבל ציון חיזוי גבוה יותר ממטופל שלא יפתח שחמת היא 88%. חיזוי זה הוא עבור עשר שנים קדימה, אך מה לגבי חיזוי לזמנים קצרים יותר?  שטח תחת העקומה תלוי זמן מציג לנו מהו השטח תחת העקומה עבור זמני תחזית שונים. למשל, בקוהורט המקורי עבור סולם הקור- 0.94 עבור תחזית של שנה אחת קדימה, ו 0.88 עשר שנים קדימה.

Time-dependent AUC

ROC curve

AUROC

Discrimination

CORE prediction model

SCORE2 prediction model

FIB4

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

CORE Calculator

שיקולים שונים בסקירה ברמת האוכלוסיה לשחמת- מאמר סקירה

קווים מנחים אירופאיים- המלצה לבצע סקירה באנשים בסיכון

קווים מנחים- עדיין אין התוויה לסקירה למחלת כבד על רקע סטאטוזיס מטבולי (מכרס"מ © )

במחקר קוהורט ענקי בשוודיה, התגלה ששימוש בחמישה מדדים בלבד- שלושה אנזימי כבד, גיל ומין, מאפשר חיזוי של שחמת כבד בעשר השנים הקרובות. המודל לחיזוי אומת בשני קוהורטים בארצות אחרות, ולפי מחקר זה, יכולת הניבוי של מדד זה טובה יותר מאשר יכולת הניבוי של מדד ה FIB4.

CORE

Prediction model

Liver cirrhosis

Latin trial

Scandinavian trial

במטופלים לאחר אוטם שריר הלב וללא הפרעה בתפקוד חדר שמאל, האם טיפול בחסם בטא מונע בעיות עתידיות? ננצל את השאלה כדי להבין כיצד לנתח תוצאות של מחקרים סותרים, ולהחמיא הן למדע, הן לספרות הרפואית והן לעזרה של מודל בינה מלאכותית לניתוח מחקרים.

Differences in: Population

Method

Intervention

Outcome measurement

Confidence interval

Evidence based medicine

ביטוי מעוות יכול לשמש כחכה בדיג של מחקרים מפוברקים. שימוש בביטוי כזה העלה בחכה מחקר חשוד. בעזרת הצלבת נתונים וחיפוש סימני אזהרה הקשורים לחוקר, לטקסט, לתוצאות המחקרים, לעיתון ולמו"ל, הגעתי לעיתונים חשודים נוספים של אותו מו"ל ולהתכתבויות ברשת המתארות ניסיון לסחיטת חוקר וניסיון השתלטות על עיתון מדעי.

לקריאה מומלצת: בעיה ושמה זיוף- יהונתן ברקהיים, מכון דוידסון.

"מאמר מדעי" על פרקינסון

דף האורכיד של "מחבר" המאמר 

העיתון המדעי לכאורה

Int. J. of School and Cognitive Psychology

חוקרת לגיטימית שהוזכרה בדף הבית של העיתון כאחת העורכות

עיתון נוסף של אותו מוציא לאור ובתוכו "מטא אנליזה" על דכאון אצל סטודנטים באתיופיה

מאמר על המו"ל מ retraction watch

התכתבות בין חוקרים על ניסיון רכישת עיתון לגיטימי על ידי אותה הוצאה לאור

מאגר המידע לזיהוי מחקרים בעייתיים לפי ביטויים מעוותים 

(Guillaum Cabanac- problematic paper screener)

A survey of experts to identify methods to detect problematic studies: stage 1 of the INveStigating ProblEmatic Clinical Trials in Systematic Reviews project

בפרוייקט שנועד לסנן מתוך סקירות שיטתיות מחקרים בעייתיים (מחקרים רעים מאוד ומחקרים מכוערים לפי שיטת הסיווג שלנו), בוצע סקר בין מומחים לזיהוי מחקרים כאלו, ונאספו 116 בדיקות שונות לאיתור או זיהוי.  מתוך בדיקות אלו, 76 ניתנות ליישום ממידע גלוי (ללא נתונים גולמיים של המשתתפים במחקר). אלו בדיקות בקטגוריות הבאות: בדיקת תוצאות המחקר, בדיקת הכותבים, בדיקת ניהול המחקר, ובדיקת הטקסט והעיתון.

כאשר סדרת הבדיקות בוצעה על 50 סקירות שיטתיות של קוקרן, כ 31% מהמחקרים המבוקרים הנכללים היו חשודים במידת מה, ו 6% היו חשודים ביותר כמחקרים בעייתיים.

INSPECT-SR

Problematic studies

Individual participant data

Results in the paper

Conduct

Research team

Text and publication

Is something rotten in the state of Denmark? Cross-national evidence for widespread involvement but not systematic use of questionable research practices across all fields of research

מיקום דנמרק וישראל במדד השחיתות העולמי

המחקר המצוטט ביותר בתחום זה, שבוצע על חוקרים בפסיכולוגיה.

בסקר שנערך בין חוקרים בכירים מכל התחומים בדנמרק ובארצות אחרות התגלה שיעור גבוה מאוד של פרקטיקות מחקר מפוקפקות. הבעיות היו בטווח רחב של חומרה: החל מציטוטים עצמיים דרך מניפולציות סטטיסטיות כדי להשיג מובהקות ועד העתקת רעיונות. 90% מהחוקרים הודו שלפחות פעם אחת במחקריהם האחרונים השתמשו בפרקטיקה אחת מאלו. לחץ לפרסם היה מנבא לפרקטיקות בעייתיות. לעומת זאת נחמדות, נוירוטיות, מצפוניות, וותק אקדמי, ותרבות מקומית של יושרה- הם גורמים מעט מגנים מהפרקטיקות המפוקפקות.

Questionable research practices- QRP

פרקטיקות מפוקפקות במחקר- פמפ"ם

HARKing

P hacking

authorship

פרק סיכום זמני על מחקרים שלא צריכים להתפרסם. בפרק זה אני מציע שיטת סיווג משלי עבור מחקרים אלו: מחקר רע הוא מחקר בעזרת שיטות לא נכונות או לא מתאימות. המחקר הרע מאוד מתחיל כמחקר לגיטימי, אך מתבצעת בו מניפולציה מודעת בנתונים או בשיטה הסטטיסטית כדי להגיע לתוצאה שהחוקר מעוניין בה, והמחקר המכוער הוא מחקר שמומצאים בו נתונים או מחקר מפוברק לחלוטין. שלושת סוגי המחקרים האלו יכולים להביא לנזק רב, הן ישירות למטופלים והן לאמון במדע וברפואה. החלוקה לשלושה סוגים אלו נקבעה לפי האתיולוגיה (הרע נובע מבורות, הרע מאוד מרצון להגיע לתוצאה מסוימת ולפרסם אותה, והמכוער נובע מנוכלות והונאה)

The entities enabling scientific fraud at scale are large, resilient, and growing rapidly

מאמר זה מציג עדויות עקיפות לכך שפרסום מחקרים מפוברקים או כוזבים מתבצע בצורה מאורגנת. המחקר בדק מחקרים, עורכים, עיתונים מדעיים וארגונים, ומצא עדויות עקיפות לארגון זה: מיעוט קטנטן מעורכי עיתונים מדעיים שאחראי לקבלה לפרסום של מחקרים רבים שנוהלו בצורה לא תקינה, ארגונים שמכוונים לעיתונים מסוימים לצורך פרסום מאמרים מפוברקים או גרועים, עיתונים שמטרתם פרסום מאמרים ללא ביקורת, ייצור מאמרים מפוברקים באצוות (כמות מוצר גדולה בבת אחת), ועליה חדה בקצב של מאמרים המוסרים מעיתונים מדעיים עקב בעיות אמינות או רמאות.

Retraction

De indexing

Paper mills

Fraud

Batch

Image duplication

Plos one

Hindawi

IEEE

ARDA

Retraction watch

Pub-peer