Evaluating Prediction Model Performance

Evaluation metrics and statistical tests for machine learning

Towards proactive palliative care in oncology: developing an explainable EHR-based machine learning model for mortality risk prediction

 ///

כאשר מעריכים ביצועים של מודל בינה מלאכותית המבצע קלסיפיקציה לשני מצבים (למשל, גבר או אשה בתמונה, דלקת ריאות או העדר דלקת ריאות בצילום), משתמשים באותה טבלת שכיחויות המוכרת לנו מהערכת ביצועי בדיקה אבחנתית. גם בחקר ביצועי הבינה וגם ברפואה הנתונים הגולמיים (כמו למשל שיעור בדיקה חיובית כוזבת) נקראים באותו שם. אך כאשר מדובר במדדי ביצוע מורכבים, השמות משתנים. במקום רגישות, משתמשים במונח ריקול, ובמקום ערך מנבא חיובי, במונח פרסיז'ן. בניגוד לרפואה ולמחקר על בדיקות רפואיות, במדידת ביצועי מודל בינה מלאכותית משתמשים הרבה גם במדד המתייחס בבת אחת גם לרגישות וגם לערך המנבא החיובי, מדד 1F, שהוא ממוצע הרמוני של שני אלו. ממוצע הרמוני "מעניש" עבור ערך נמוך, זאת אומרת יהיה קרוב יותר לערך הנמוך יותר מבין שני הערכים.

Accuracy

True/false  positive/negative

Positive predictive value=Precision

Sensitivity=Recall

F1

AUROC

AUPRC

לאחר העיבוד ברמת הנוירון המלאכותי הבודד, המסר עובר הלאה ברשת ה"נוירונים" ובסופו של דבר מתקבלת תחזית. בין התחזית לבין האמת ייתכן פער. המערכת מזהה את הפער בעזרת פונקציית ההפסד, ומעבירה היזון חוזר ("הפצה לאחור") כדי לתקן את המשקלים שכל אחד מהנוירונים המלאכותיים נותן לקלטים שלו. התהליך חוזר שוב ושוב עד הגעה למצב מיטבי שבו הפער בין התחזית לאמת הוא הקטן ביותר.

התהליך של משוב מוכר לנו מהמערכת האנדוקרינית, למשל השליחה "קדימה" של הורמון בלוטת התריס והמידע "החוזר לאחור" הנשלח מההיפופיזה חזרה לבלוטת התריס לגבי צורך בתיקון. בלימוד הרפואה יש תהליך דומה מאוד לתהליך בבינה המלאכותית: הלומד נותן משקלים שונים לאנמנזה, לבדיקה הגופנית ולבדיקות המעבדה. המשקלים האלו מובילים אותו להחלטה על האבחנה המשוערת. המנטורית מזהה פערים בין ההחלטות של הלומד לבין ההחלטות הנכונות, ונותנת לו משוב שיאפשר לו לתת משקל קצה שונה לכל אחד מהקלטים שהוא מקבל, למשל מתן משקל גדול יותר לאנמנזה. חזרה שוב ושוב על התהליך הזה מול מטופלים שונים תהפוך את הלומד למומחה.

Loss function

Back propagation

Mentoring

Machine learning

Multiplication and accumulation unit

Activation unit

Artificial neuron

Perceptron

Decision

ביחידות כמו רופא שמבצע שיקול קליני, מחקר המשתמש ברגרסיה לחיזוי, נוירון או פרספטרון- יש רכיב אחד שמבצע מכפלה ואז סיכום, ורכיב נוסף שמבצע החלטה מתמטית מה לעשות עם הסכום שהתקבל, למשל האם להפנות למיון, האם להעביר את המסר באקסון או האם להעביר את המסר החשמלי הלאה.

Perceptron

MAC unit

Activation unit

Decision

Neural network

Threshold

Clinical reasoning

Weighting

Neuron

Neuron’s soma

Membrane potential

Dendrites

Axon

Artificial Intelligence

Linear regression

Logistic regression

Learning

Weights/coefficients

Sum

Constant

Early influenza virus characterisation and vaccine effectiveness in England in autumn 2025, a period dominated by influenza A(H3N2) subclade K

Immunogenicity as a Predictor of Influenza Vaccine Efficacy: A Systematic Review

COVID-19 vaccination and changes in preventive behaviours: findings from the 2021 vaccine roll-out in Switzerland

Impact of Influenza Vaccination on All-Cause Mortality and Hospitalization for Pneumonia in Adults and the Elderly with Diabetes: A Meta-Analysis of Observational Studies

עד כה יש מעט מאוד מחקר מדעי על תת הזן החדש של שפעת, קיי (שהוא שבט מתוך המטה H3N2). מחקר מאנגליה בדקת אימונוגניות של תתי זנים קודמים כנגד זן זה במעבדה (בעזרת "הדבקת דם"), ואת מועילות חיסון 2025-2026 כנגד זן זה בעזרת מחקר מקרה בקרה בקרב אנשים שבצעו בדיקה לשפעת.

Vaccine effectiveness

Immunogenicity

Type, subtype, subclade, strain

Hemagglutination inhibition

Hemagglutinin

Vaccine effectiveness

Unmeasured bias

Social distancing

Negative test case control

Influenza A(H3N2) subclade K

Beta-Blockers after Myocardial Infarction with Normal Ejection Fraction

כהמשך לשני המחקרים שהוצגו לאחרונה בפודקאסט על חסמי בטא.

 מטא אנליזה על חמישה מחקרים ובהם כ 18 אלף איש, בדקה תועלת חסם בטא במטופלים לאחר התקף לב עם תפקוד חדר שמאל תקין. התוצא היה מורכב (התקף לב, מוות או אי ספיקת לב) ולאחר מעקב חציוני של שלוש וחצי שנים לא נראתה תועלת מובהקת לטיפול. למרות זאת, הרווח בר סמך כלל גם אפשרות של תועלת משמעותית קלינית, וכיוון שהיה מעבר מטופלים מזרוע טיפול אחת לשניה יש ספק מסוים בממצאי המחקרים. בינתיים עדיין אין שינוי בהנחיות הקליניות ורוב המטופלים לאחר התקף לב אמורים לקבל חסם בטא אם אין התוויות נגד.

Beta blockers

Myocardial infarction with preserved ejection fraction

Meta analysis

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

המחקר שמתוכו נוצר סולם החיזוי לצירוזיס הוא בעל תקפות נמוכה אם מסתכלים עליו כמחקר על בדיקה אבחנתית. הדבר נובע בעקר משיטת מחקר המתבססת רטרוספקטיבית על נתונים הקיימים בתיק הממוחשב. במקום להשתמש בגולד סטנדרט לצירוזיס, השתמשו באבחנות שנרשמו בתיקים הרפואיים. במקום לוודא קלינית שבתחילת המחקר אין לאנשים מחלת כבד, השתמשו בהעדר אבחנה בתיק הרפואי כסימן לכך. בנוסף, הייתה תלות בין בדיקת האבחנה לבין ביצוע בדיקה ההשוואה, ולא הייתה הסמיה של מבצעי בדיקת ההשוואה (רופאים שרשמו או שלא רשמו אבחנות הקשורות לצירוזיס) לבדיקה שמעניינת אותנו (למשל, ערכי אנזימי הכבד).

מחקר שמייצר מודל לחיזוי צריך להשתמש גם בקבוצות לאימות, ולידציה.  שני מחקרי ולידציה, באנגליה ובפינלנד, הראו תוצאות דומות למחקר המקורי מבחינת קליברציה ורווח נקי מהבדיקה אך תוצאות שונות בדיסקרימינציה של הבדיקה.

במחקרים בהם חסרים נתונים, משתמשים בשיטות סטטיסטיות להשלמת נתונים חסרים. למשל, אפשר לנסות לחזות מתוך מאפיינים אחרים של המטופל מהו ערך של אחד מאנזימי הכבד אצלו, ולהשתמש בערך החזוי בניתוח הסטטיסטי כאילו היה זה ערך אמיתי. במחקר שלנו השתמשו בשיטה דומה להשלמת נתונים חסרים.

Validity of diagnostic study

Gold standard

Representative sample

Dependency of reference test

Blinding of testing

Prediction models

Validation

Imputation

MICE- Multivariate Imputation by Chained Equations

Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

CORE Calculator

הרווח הנקי מבדיקה תלוי בערך הסף ממנו ומעלה אנו קובעים שהבדיקה חיובית. במודלים לחיזוי, ערך הסף הזה קובע הן את הסבירות לבדיקות חיוביות כוזבות או אמיתיות, והן את "שער החליפין הערכי", ולכן אפשר לחשב לפיו את הרווח הנקי מבדיקה. אך ערך הסף הוא סובייקטיבי מאוד. יהיה מצב שבו רופאה ומטופל יבחרו ערך סף אחד לפעולה ורופא ומטופלת אחרים ערך סף אחר. עקומת ניתוח ההחלטות עוקפת את הבעיה הזו, בכך שהיא מציגה לנו את הרווח הנקי מהבדיקה עבור טווח רחב של ערכי סף. בציר האופקי נמצא ערך הסף, ובציר האנכי של הגרף, הרווח הנקי מהבדיקה. ככל שהגרף גבוה יותר, כך הרווח הנקי גבוה יותר. עליה בערכי הסף (התקדמות בציר האופקי) מייצגת שער חליפין שבו יש משקל גדול לנזק מהבדיקה (בדיקות חיוביות כוזבות מקבלות יותר משקל), וכמעט תמיד תהיה קשורה לירידה ברווח הנקי מהבדיקה. על אותה מערכת צירים ניתן לבדוק מודל חיזוי אחד לעומת מודל אחר וגם לעומת ברירות מחדל (למשל, לטפל בכולם, או לא לטפל באף אחד).

Decision curve analysis

Net benefit approach to testing

Threshold for a positive test

Exchange rate

True positives/false positives

רווח נקי של בדיקה=

 שיעור בדיקות חיוביות אמיתיות (מבין כלל המשתתפים)

פחות

[שיעור בדיקות חיוביות כוזבות (מבין כלל המשתתפים) X שער החליפין*]

*היחס אותו אנחנו מוכנים לסבול בין מספר בדיקות חיוביות אמיתיות למספר בדיקות אמיתיות כוזבות

Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

הרווח הנקי מבדיקה הוא מידת התועלת של הבדיקה, המתבטאת בבדיקות חיוביות אמיתיות, פחות הנזק מהבדיקה, המתבטא בבדיקות חיוביות כוזבות. כדי לבצע חישוב של ההפרש בין שני אלו, צריך לבצע המרה לאותן יחידות. הדרך לבצע את זה היא קביעה (בעזרת מומחיות קלינית, הכרת הנושא, ערכים ומטרות של המטופל) של "שער חליפין ערכי": כמה בדיקות חיוביות כוזבות אנחנו מוכנים לסבול עבור כל בדיקה חיובית אמיתית. שיעור הבדיקות החיוביות הכוזבות מוכפל בשער החליפין כדי שיחידת המדידה תהיה גם שם "יחידות של בדיקות חיוביות אמיתיות", ואז מחסירים ערך זה משיעור הבדיקות החיוביות האמיתיות. רווח נקי חיובי, משמעותו שהמטופל ירוויח מביצוע הבדיקה. במודלים של חיזוי, ערך הסף שמעליו נבצע התערבות או המשך בירור קובע לנו גם את שער החליפין (למשל, אם ערך הסף במודל הוא 2.5%, שער החליפין הוא 1/39) וגם, בעזרת מחקר, מאפשר לנו לדעת מה יהיה שיעור הבדיקות החיוביות האמיתיות ושיעור הבדיקות החיוביות הכוזבות.

רווח נקי של בדיקה=

 שיעור בדיקות חיוביות אמיתיות (מבין כלל המשתתפים) 

פחות

[שיעור בדיקות חיוביות כוזבות (מבין כלל המשתתפים) X שער החליפין*]

*היחס אותו אנחנו מוכנים לסבול בין מספר בדיקות חיוביות אמיתיות למספר בדיקות אמיתיות כוזבות

Net benefit (of testing)

True positives/ false positives

Exchange rate

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

מלבד הדיסקרימינציה , יש לנו שאלה נוספת כדי להחליט האם מדד חיזוי הוא מדד מוצלח: האם הסיכוי המחושב דומה לסבירות האמיתית כפי שנצפתה בהמשך המעקב. התאמה כזו נקראת קליברציה. אי אפשר לדעת מה הסבירות האמיתית עבור מטופל בודד- מטופל בודד יחלה או שלא יחלה, זאת אומרת הסבירות האמיתית שיחלה היא או אפס או מאה אחוז. לכן קליברציה משתמשת בקבוצות. בכל קבוצה הסיכוי המחושב (התחזית) נמצאת בטווח מסויים, והממוצע של הסיכוי המחושב באותה קבוצה מושווה לשיעור האנשים באותה קבוצה שחלו בסופו של דבר. מדד ה CORE  הוא בעל קליברציה מצויינת בערכים עד 17-18%, אך בערכים גבוהים יותר נתן הערכת יתר.

Calibration

Probability

Calculated risk

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study

CORE Calculator

SCORE2 risk prediction algorithms: new models to estimate 10-year risk of cardiovascular disease in Europe

השטח תחת העקומה מתייחס לעקומת הרוק, והוא נמדד כיחס בין שני שטחים ולא ביחידות שטח. היחס הזה מקבל ערכים שבין 0.5 לבין 1, כאשר ככל שהערך גבוה יותר, כך יכולת ההפרדה של הבדיקה (דיסקרימינציה) טובה יותר. ערך של 0.88 אומר לנו שהסבירות שמטופל שיפתח שחמת בעתיד יקבל ציון חיזוי גבוה יותר ממטופל שלא יפתח שחמת היא 88%. חיזוי זה הוא עבור עשר שנים קדימה, אך מה לגבי חיזוי לזמנים קצרים יותר?  שטח תחת העקומה תלוי זמן מציג לנו מהו השטח תחת העקומה עבור זמני תחזית שונים. למשל, בקוהורט המקורי עבור סולם הקור- 0.94 עבור תחזית של שנה אחת קדימה, ו 0.88 עשר שנים קדימה.

Time-dependent AUC

ROC curve

AUROC

Discrimination

CORE prediction model

SCORE2 prediction model

FIB4