רפואה נתמכת ראיות

Latin trial

Scandinavian trial

במטופלים לאחר אוטם שריר הלב וללא הפרעה בתפקוד חדר שמאל, האם טיפול בחסם בטא מונע בעיות עתידיות? ננצל את השאלה כדי להבין כיצד לנתח תוצאות של מחקרים סותרים, ולהחמיא הן למדע, הן לספרות הרפואית והן לעזרה של מודל בינה מלאכותית לניתוח מחקרים.

Differences in: Population

Method

Intervention

Outcome measurement

Confidence interval

Evidence based medicine

ביטוי מעוות יכול לשמש כחכה בדיג של מחקרים מפוברקים. שימוש בביטוי כזה העלה בחכה מחקר חשוד. בעזרת הצלבת נתונים וחיפוש סימני אזהרה הקשורים לחוקר, לטקסט, לתוצאות המחקרים, לעיתון ולמו"ל, הגעתי לעיתונים חשודים נוספים של אותו מו"ל ולהתכתבויות ברשת המתארות ניסיון לסחיטת חוקר וניסיון השתלטות על עיתון מדעי.

לקריאה מומלצת: בעיה ושמה זיוף- יהונתן ברקהיים, מכון דוידסון.

"מאמר מדעי" על פרקינסון

דף האורכיד של "מחבר" המאמר 

העיתון המדעי לכאורה

Int. J. of School and Cognitive Psychology

חוקרת לגיטימית שהוזכרה בדף הבית של העיתון כאחת העורכות

עיתון נוסף של אותו מוציא לאור ובתוכו "מטא אנליזה" על דכאון אצל סטודנטים באתיופיה

מאמר על המו"ל מ retraction watch

התכתבות בין חוקרים על ניסיון רכישת עיתון לגיטימי על ידי אותה הוצאה לאור

מאגר המידע לזיהוי מחקרים בעייתיים לפי ביטויים מעוותים 

(Guillaum Cabanac- problematic paper screener)

A survey of experts to identify methods to detect problematic studies: stage 1 of the INveStigating ProblEmatic Clinical Trials in Systematic Reviews project

בפרוייקט שנועד לסנן מתוך סקירות שיטתיות מחקרים בעייתיים (מחקרים רעים מאוד ומחקרים מכוערים לפי שיטת הסיווג שלנו), בוצע סקר בין מומחים לזיהוי מחקרים כאלו, ונאספו 116 בדיקות שונות לאיתור או זיהוי.  מתוך בדיקות אלו, 76 ניתנות ליישום ממידע גלוי (ללא נתונים גולמיים של המשתתפים במחקר). אלו בדיקות בקטגוריות הבאות: בדיקת תוצאות המחקר, בדיקת הכותבים, בדיקת ניהול המחקר, ובדיקת הטקסט והעיתון.

כאשר סדרת הבדיקות בוצעה על 50 סקירות שיטתיות של קוקרן, כ 31% מהמחקרים המבוקרים הנכללים היו חשודים במידת מה, ו 6% היו חשודים ביותר כמחקרים בעייתיים.

INSPECT-SR

Problematic studies

Individual participant data

Results in the paper

Conduct

Research team

Text and publication

Is something rotten in the state of Denmark? Cross-national evidence for widespread involvement but not systematic use of questionable research practices across all fields of research

מיקום דנמרק וישראל במדד השחיתות העולמי

המחקר המצוטט ביותר בתחום זה, שבוצע על חוקרים בפסיכולוגיה.

בסקר שנערך בין חוקרים בכירים מכל התחומים בדנמרק ובארצות אחרות התגלה שיעור גבוה מאוד של פרקטיקות מחקר מפוקפקות. הבעיות היו בטווח רחב של חומרה: החל מציטוטים עצמיים דרך מניפולציות סטטיסטיות כדי להשיג מובהקות ועד העתקת רעיונות. 90% מהחוקרים הודו שלפחות פעם אחת במחקריהם האחרונים השתמשו בפרקטיקה אחת מאלו. לחץ לפרסם היה מנבא לפרקטיקות בעייתיות. לעומת זאת נחמדות, נוירוטיות, מצפוניות, וותק אקדמי, ותרבות מקומית של יושרה- הם גורמים מעט מגנים מהפרקטיקות המפוקפקות.

Questionable research practices- QRP

פרקטיקות מפוקפקות במחקר- פמפ"ם

HARKing

P hacking

authorship

פרק סיכום זמני על מחקרים שלא צריכים להתפרסם. בפרק זה אני מציע שיטת סיווג משלי עבור מחקרים אלו: מחקר רע הוא מחקר בעזרת שיטות לא נכונות או לא מתאימות. המחקר הרע מאוד מתחיל כמחקר לגיטימי, אך מתבצעת בו מניפולציה מודעת בנתונים או בשיטה הסטטיסטית כדי להגיע לתוצאה שהחוקר מעוניין בה, והמחקר המכוער הוא מחקר שמומצאים בו נתונים או מחקר מפוברק לחלוטין. שלושת סוגי המחקרים האלו יכולים להביא לנזק רב, הן ישירות למטופלים והן לאמון במדע וברפואה. החלוקה לשלושה סוגים אלו נקבעה לפי האתיולוגיה (הרע נובע מבורות, הרע מאוד מרצון להגיע לתוצאה מסוימת ולפרסם אותה, והמכוער נובע מנוכלות והונאה)

The entities enabling scientific fraud at scale are large, resilient, and growing rapidly

מאמר זה מציג עדויות עקיפות לכך שפרסום מחקרים מפוברקים או כוזבים מתבצע בצורה מאורגנת. המחקר בדק מחקרים, עורכים, עיתונים מדעיים וארגונים, ומצא עדויות עקיפות לארגון זה: מיעוט קטנטן מעורכי עיתונים מדעיים שאחראי לקבלה לפרסום של מחקרים רבים שנוהלו בצורה לא תקינה, ארגונים שמכוונים לעיתונים מסוימים לצורך פרסום מאמרים מפוברקים או גרועים, עיתונים שמטרתם פרסום מאמרים ללא ביקורת, ייצור מאמרים מפוברקים באצוות (כמות מוצר גדולה בבת אחת), ועליה חדה בקצב של מאמרים המוסרים מעיתונים מדעיים עקב בעיות אמינות או רמאות.

Retraction

De indexing

Paper mills

Fraud

Batch

Image duplication

Plos one

Hindawi

IEEE

ARDA

Retraction watch

Pub-peer

Tolerating bad health research: the continuing scandal

מדגם של מחקרים מבוקרים אקראיים מתחומים שונים ברפואה מציג תמונה עגומה: רובם מחקרים גרועים, עם סיכוי גבוה להטיה. גם רוב המשתתפים במחקרים שנדגמו השתתפו למעשה במחקר גרוע. העלות של מחקרים אלו עצומה, הן כלכלית והן מבחינות אחרות. מחברי המאמר מציעים מספר הצעות לתיקון המצב בעולם המחקר הרפואי.

Meta research

High risk of bias

Bad research

Cochrane systematic reviews

הבינה המלאכותית וזיוף מחקרים

Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers

AI-generated research paper fabrication and plagiarism in the scientific community

Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened

How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data

בפרק זה נשים שני דברים על השולחן: הראשון הוא שישנם חוקרים המזייפים נתונים או אפילו ממציאים מחקרים שלמים, ולא מדובר באחוז זניח של החוקרים. השני הוא שהיום בעזרת מנועי בינה מלאכותית ניתן לייצר בקלות רבה מאמרים מומצאים על מחקרים דמיוניים. יכולת של סוקרים אנושיים או דיגיטלים לזיהוי מאמרים כאלו היא חלקית בלבד. שילוב שני הגורמים האלו יכול להביא אותנו לתקופה בה רבים מפרסומים הרפואיים יהיו מומצאים או מזוייפים.

Fabrication

Falsification

Large language models

ChatGPT

Detection of fabricated articles

למרות שמחקר אמור להיות מדויק, והחוקר צריך להיות בעל יושרה ולפרסם אמת ואת כל האמת, ישנם מקרים בהם זה לא כך. מקרים אלו נקראים "התנהלות בלתי הולמת במחקר" אך אפשר להסיר את הכפפות ולקרוא להם גם "רמייה במחקר". הסיבה העיקרית לרמייה במחקר היא הלחץ לפרסם מאמרים. הלחץ הזה יכול לנבוע מסיבות כלכליות, תעסוקתיות ופסיכולוגיות, אך המנוע העיקרי שגורם ללחץ זה הוא המבנה האקדמי שבו יש דרישה וציפייה לפרסום מאמרים.

הרמייה יכולה ללבוש דרכים רבות, ורשימה (אולי חלקית) שלה כוללת המצאת נתונים, שינוי, זיוף או השמטת נתונים, מניפולציה בשיטות ניתוח הנתונים, וספין בפירוש תוצאות מחקר. בנוסף, רמייה מסוג אחר היא אי דיווח על כותבי המאמר האמיתיים, על ניגודי אינטרסים של הכותבים ועל שימוש בבינה מלאכותית בכתיבה.

לאחר שמאמר שבוצע ברמייה כבר התפרסם, יש פעמים נדירות שבהן מצליחים לגלות זאת, ואז ייתכן שהמאמר יוסר מהפרסום (רטרקציה). הגילוי יכול להגיע דרך החוקר עצמו אם הוא הגון ומגלה בעיות בניהול המחקר שפורסם, אך גם על ידי הלשנה, קריאה לעומק של המחקר על ידי קוראים ביקורתיים, וכן שיטות סטטיסטיות מתקדמות כמו זו שהציע קרלייל.

בשנת 2023 כ 10,000 מאמרים בעיתונות המדעית (לא רק רפואית) הוסרו בשל רמייה, וסביר להניח שזהו רק קצה הקרחון של מחקרים שבהם בוצעה רמייה.

Nature- 2023 record in retractions

Pubpeer

הסרת מאמר על הדיאטה הים תיכונית מהניו אינגלנד

Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals

 מאמר המפרט את השיטה של קרלייל לזיהוי מחקרים עם נתונים לא הגיוניים

retraction watch

Retraction of articles

Research misconduct

Data fabrication

Falsification

incomplete reporting

spin

conflict of interest

publish or perish

authentic authorship

Effect of dietary approaches to stop hypertension (DASH) diet on adiposity indices in children with overweight and obesity: an 8-week triple-blind randomized controlled trial

מחקר מתואר כמשולש סמיות למרות שמדובר בהתערבות שאינה ניתנת להסמיה של המטופל או המטפל, התוצאות המתוארות מילולית אינן תואמות כלל את התוצאות המוצגות בטבלאות, והתוצאות בטבלאות אינן תואמות את התוצאות בגרפים.