Use of Brier score to assess binary predictions

Expert-Level Detection of Epilepsy Markers in EEG on Short and Long Timescales

המאמר המקורי של בראייר:

VERIFICATION OF FORECASTS EXPRESSED IN TERMS OF PROBABILITY

 הן במודל בינה מלאכותית והן כאשר מדובר על בדיקה אבחנתית שמבצעת תחזית ונותנת את התוצאה באחוזים, ניתן לבדוק את הקליברציה גם בעזרת ציון בראייר, שנקבע לפי ההפרש בין התחזית עבור תצפית מסוימת לבין התוצאה בפועל. גם התחזית וגם התוצאה נמדדות באחוזים, או בשבר עשרוני, אך לעומת התחזית שיכולה להיות כל מספר בין 0 ל 1, התוצאה בפועל כאשר מדובר על תוצא דיכוטומי יכולה להיות רק אחד משני הערכים- או 0 או 1. ציון בראייר משתמש בהפרשים האלו, עבור כל התצפיות, וממצע אותם. ככל שהבדיקה היא עם קליברציה טובה יותר, הציון יהיה קטן יותר. לרוב גרף קליברציה טוב יגיע יחד עם ציון בראייר נמוך (טוב), אך לא תמיד.

Brier score

Calibration

Machine learning

Training set

Validation set

EEG

Spikes