רפואה נתמכת ראיות

Virtual versus in-person physiotherapy following total knee arthroplasty: a comparative analysis

לאחר קבלת הסטטיסטי מהמבחן, במקרה שלנו ערך הטי (t), אנחנו רוצים לדעת מהו ערך הפי (p). הגאונות בהמצאת המבחן הסטטיסטי היא יצירת נוסחה שההתפלגות של התוצאה שלה צפויה מראש כאשר השערת האפס נכונה. אנחנו יודעים  למשל על התפלגות טי שהיא התפלגות סימטרית, דומה מאוד לנורמלית כשהמדגם מספיק גדול. כאשר ההתפלגות צפויה מראש, אפשר להשתמש בטבלה של סבירויות לקבלת תוצאות שונות כשהשערת האפס נכונה. כך המבחן הסטטיסטי מתרגם נתונים גולמיים מהמחקר לסבירות מדוייקת לקבל נתונים אלו כאשר השערת האפס נכונה, במלים אחרות מייצר מתוך הנתונים את ערך הפי.

Statistical test

Student’s t test

Statistic (eg. t statistic=t value)

Sampling distribution- התפלגות הדגימה

Null hypothesis- השערת האפס

Standard error- שגיאת התקן

t  table

p value

Virtual versus in-person physiotherapy following total knee arthroplasty: a comparative analysis

מבחן הסטודנט הוא מבחן סטטיסטי להשוואה בין שני ממוצעים. במבחן זה, כמו בכל מבחן סטטיסטי, אנחנו מנסים להבין האם הממצאים במחקר מספיק דרמטיים כדי לשכנע אותנו שמדובר בתופעה אמיתית. במקרה של מבחן הסטודנט, הבדל אמיתי במציאות ולא סתם הבדל אקראי שהתגלה במחקר שלנו. גודל האפקט וכמות המשתתפים מגבירים את השכנוע שלנו, ולעומתם השונות, ככל שגדולה יותר, מקטינה את השכנוע שלנו. זה יתבטא בנוסחת מבחן הסטודנט, שבסופו של דבר נותן לנו תוצאה בצורת הסטטיטי "t". התוצאה הזו גדלה ככל שגודל האפקט (ההבדל בין הממוצעים) גדול יותר, וככל שכמות המשתתפים גדולה יותר, וקטנה כשסטיית התקן גדלה. דרך אחרת להסתכל על מבחן הסטודנט היא כמבחן שמשתמש בקנה המידה של סטיית התקן, כדי להחליט האם גודל האפקט במחקר הוא דרמטי מספיק כדי לדחות את השערת האפס.

Student’s t test

Statistic (eg. t statistic)

p value

standard deviation

variance- שונות

Effect size

Sample size (n)

Virtual versus in-person physiotherapy following total knee arthroplasty: a comparative analysis

איך מגיעים מנתוני תוצאות במחקר להחלטה האם לדחות את השערת האפס?

מבחן סטטיסטי הוא מתכון (נוסחה) שלתוכו מוכנסים המצרכים (הנתונים מהמחקר שלנו) כך שתתקבל לבסוף עוגה ("הסטטיסטי"). הסטטיסטי עצמו נותן לנו את ערך הפי בעזרת טבלה. ככל שהסטטיסטי גדול יותר, ערך הפי נמוך יותר. אם העוגה תהיה תפוחה מספיק (הסטטיסטי גדול מספיק, לפי טבלה), ערך הפי יהיה קטן יותר ונוכל לדחות את השערת האפס.

Statistical test

Student’s t test

Statistic (eg. t statistic)

p value

null hypothesis

Maternal singing sustains preterm hospitalized newborns’ autonomic nervous system maturation: an RCT

פרק בפודקאסט- תוצאות בדיקה אבחנתית- הדרך המדויקת יותר

וידאו- הקדמה לסטטיסטיקה בייסיאנית

כאשר יש דלקת קרום המח, ברוב המקרים יש גם חום. אך לא ניתן להפוך את הסדר ולקבל אותה סבירות. "כאשר יש חום, ברוב המקרים יש גם דלקת קרום המח". ערך הפי מעריך את הסבירות לממצא במחקר כאשר היפותזת האפס נכונה. גם כאן, כאשר הופכים את הסדר (“מה הסבירות שהיפותזת האפס נכונה כאשר נתונים לנו הממצאים במחקר”) נקבל מספר שונה מערך הפי. איך נחשב אותו?

לפי השיטה הבייסיאנית, קיימת סבירות לנכונות של טענה עוד לפני קבלת ראיות. הראיות מגבירות או מפחיתות את הסבירות לנכונות הטענה. לכן, בחישוב הסבירות לנכונות טענה, צריך לקחת בחשבון גם את הסבירות שלפני. לדוגמה, במחקר קליני, קיימת סבירות לתועלת של התערבות עוד לפני ביצוע המחקר. סבירות זו נלקחת בחשבון ואז מתייחסים גם לעוצמת המחקר וגם למובהקות שלו כדי להגיע להערכה חדשה לגבי הסבירות שההתערבות עוזרת.

בצורה פשטנית, חישוב הסבירות שהטיפול עוזר יהיה שבר (חלוקה). במונה: הסבירות שהטיפול עוזר וגם שיתקבלו ראיות לטובת הטיפול, ובמכנה: הסבירות שיתקבלו ראיות לטובת הטיפול (בין אם הטיפול עוזר או שלא עוזר).

Bayesian statistics

Prior

Posterior

 Pre test probability

Sensitivity

Specificity

Maternal singing sustains preterm hospitalized newborns’ autonomic nervous system maturation: an RCT

הסבר בוידאו על מדדים של שונות קצב הלב (heart rate variability)

שלוש טעויות נפוצות מאוד בפירוש ערך הפי הן קריאה תמימה המתעלמת מהטיות, כולל הטיות פרסום והטיות דיווח, בלבול בין משמעות סטטיסטית למשמעות קלינית (בעצם, בין מובהקות לבין חשיבות), ופירוש מתמטי שגוי של ערך הפי המתעלם מכך שמדובר בהסתברות מותנית.

bias

publication bias

reporting bias

statistical significance

clinical significance

conditional probability

Efficacy of the Epley maneuver for posterior canal BPPV: A long-term, controlled study of 81 patients

Evolocumab and Clinical Outcomes in Patients with Cardiovascular Disease

Automated Insulin Delivery in Women with Pregnancy Complicated by Type 1 Diabetes

רוב הגורמים שיגרמו לנו להסיק מסקנות מוטעות ממחקר משותפים גם לטעות מסוג 1 וגם לטעות מסוג 2. הגורמים שיפחיתו סבירות לשתי הטעויות הם גודל המדגם (וגם מספר האירועים הצפוי), גודל האפקט, ודמיון בין המשתתפים בתוך הקבוצה (שונות נמוכה בתוך הקבוצה). מבין גורמים אלו, לחוקרים יש שליטה על גודל המדגם ובמידה מסוימת על השונות בין המשתתפים. ערך האלפא מיוחד בכך ששינוי שלו יקטין טעות אחת ויגדיל את הסבירות לטעות האחרת.

type I and type II errors

sample size

effect size

within group variation

alpha value

Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine through 6 Months

Azithromycin during Routine Well-Infant Visits to Prevent Death

Efficacy of typhoid conjugate vaccine: final analysis of a 4-year, phase 3, randomised controlled trial in Malawian children

עוצמה היא היכולת של מחקר לזהות אפקט או קשר שקיימים במציאות. העוצמה היא הסתברות מותנית, וקשורה רק למצב בו היפותזת החוקר נכונה. במידה והיפותזת החוקר נכונה, מה הסבירות שבבדיקת ההשערות נדחה את השערת האפס ונקבל את היפותזת החוקר. במובן הזה היא למעשה המשלימה של טעות מסוג שתיים. למשל, אם במידה והיפותזת החוקר נכונה, הסבירות לטעות מסוג שתיים היא 20%, אז עצמת המחקר היא 80%. בניגוד לערך ה-p, ובדומה לערך האלפא, העצמה מחושבת לפני קבלת תוצאות המחקר. העוצמה תלויה בין השאר בכמות המשתתפים במחקר, בכמות האירועים הצפויה, למשל כמות הילדים הצפויים להדבק בטייפואיד, ובגודל האפקט המשוער. גודל האפקט המשוער הוא ההבדל או היחס המשוער בין קבוצה אחת לשניה, למשל הפחתה של 75% במקרי הטייפואיד. אפשר להעריכו לפי מחקרים קודמים או להתייחס לאפקט המינימלי שיש לו משמעות קלינית.

העוצמה גוברת כאשר המדגם גדול, אפקט הטיפול גדול, הפיזור של הערכים קטן (על הבט זה נדבר בפרק הבא), וערך אלפא גדול יותר.

Power

Type II error

Estimated effect size

Randomised trial of genetic testing and targeted intervention to prevent the development and progression of Paget’s disease of bone

כאשר היפותזת החוקר נכונה (היפותזת האפס אינה נכונה) מחקר לא תמיד יגיע למובהקות. תופעה זו נקראת טעות מסוג 2, והיא קורית מארבע סיבות עיקריות: מדגם קטן מדי, אפקט לא דרמטי, פיזור גדול בתוך הקבוצות של ערך שנבדק, וקביעת ערך אלפא נמוך.  

Type II error

Randomised trial of genetic testing and targeted intervention to prevent the development and progression of Paget’s disease of bone

כאשר ערך הפי נמוך, ניתן לדחות את השערת האפס וכך לקבל ראיה לנכונות השערת החוקרים. אך מהו הסף לקביעת "נמוך" לעומת "לא נמוך"? ערך הסף הזה, כאשר נקבע מראש, נקרא "אלפא" ובמחקרים רבים נקבע שאלפא יהיה 0.05. כאשר ערך הפי נמוך מערך האלפא, והשערת האפס נדחית, ניתן לקבל את השערת החוקר והתוצאה מובהקת. כאשר ערך הפי גדול מערך האלפא, לא ניתן לדחות את השערת האפס והתוצאה אינה מובהקת. מה לגבי הבחירה השרירותית של אלפא כ 0.05? נדבר על הבעייתיות הנובעת מכך לגבי הוכחה בעזרת בדיקת השערות. אלפא קשורה באופן הדוק לטעות מסוג 1: מצב שבו השערת האפס נכונה אך הניתוח הסטטיסטי מראה מובהקות. למשל, שבעצם הטיפול לא עוזר בכלום, אך במחקר נמצאה תועלת מובהקת לעומת פלצבו.

Alpha value

Significance

Type I error

Liquefied Petroleum Gas or Biomass Cooking and Severe Infant Pneumonia

Long-Term Outcomes of Resynchronization–Defibrillation for Heart Failure

במחקר רפואי, השערת החוקר תהיה בדרך כלל שיש הבדל, קשר או השפעה. השערת האפס תהיה שאין הבדל, קשר או השפעה. המבחן הסטטיסטי בודק האם בנוכחות השערת האפס, הממצאים במחקר סבירים. אם הם אינם סבירים בעליל (ערך p  מאוד נמוך), השערת האפס גם היא לא סבירה, ואנו נאלצים לקבל את ההשערה השנייה, השערת החוקר. אם ערך p לא מאוד נמוך, משמעותו היא שבמידה והשערת האפס נכונה, הממצאים במחקר עדיין סבירים, לא נוכל לדחות את השערת האפס. ההגדרה הרשמית של p  תהיה- הסבירות לקבל ערך כזה או קיצוני יותר אם השערת האפס נכונה. ובתרגום למחקר רפואי על טיפול: הסבירות לקבל הבדל כזה או קיצוני יותר בין קבוצת הטיפול לקבוצת הביקורת, אם האמת היא שהטיפול כלל לא עוזר.

כאשר ערך ה p נמוך מאוד, השערת האפס נדחית והשערת החוקר מתקבלת- מדובר במחקר חיובי. כאשר השערת האפס לא נדחית, והשערת החוקר לא מתקבלת- נקרא למחקר "שלילי".

טעות נפוצה היא לחשוב שאם ערך ה p גבוה, השערת האפס נכונה. אך העובדה שלא דחינו את השערת האפס אינה מוכיחה את נכונותה. למתקדמים ומתעניינים: אז איך בכל זאת מוכיחים "נכונות העדר הבדל" בין שני טיפולים, זאת אומרת איך מוכיחים שהתערבות אחת דומה להתערבות אחרת באפקט שלה? חפשו פרק ישן בפודקאסט על מחקרי non inferiority.

Hypothesis testing

p value

positive trial

negative trial