הבינה המלאכותית וזיוף מחקרים

Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers

AI-generated research paper fabrication and plagiarism in the scientific community

Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened

How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data

בפרק זה נשים שני דברים על השולחן: הראשון הוא שישנם חוקרים המזייפים נתונים או אפילו ממציאים מחקרים שלמים, ולא מדובר באחוז זניח של החוקרים. השני הוא שהיום בעזרת מנועי בינה מלאכותית ניתן לייצר בקלות רבה מאמרים מומצאים על מחקרים דמיוניים. יכולת של סוקרים אנושיים או דיגיטלים לזיהוי מאמרים כאלו היא חלקית בלבד. שילוב שני הגורמים האלו יכול להביא אותנו לתקופה בה רבים מפרסומים הרפואיים יהיו מומצאים או מזוייפים.

Fabrication

Falsification

Large language models

ChatGPT

Detection of fabricated articles

למרות שמחקר אמור להיות מדויק, והחוקר צריך להיות בעל יושרה ולפרסם אמת ואת כל האמת, ישנם מקרים בהם זה לא כך. מקרים אלו נקראים "התנהלות בלתי הולמת במחקר" אך אפשר להסיר את הכפפות ולקרוא להם גם "רמייה במחקר". הסיבה העיקרית לרמייה במחקר היא הלחץ לפרסם מאמרים. הלחץ הזה יכול לנבוע מסיבות כלכליות, תעסוקתיות ופסיכולוגיות, אך המנוע העיקרי שגורם ללחץ זה הוא המבנה האקדמי שבו יש דרישה וציפייה לפרסום מאמרים.

הרמייה יכולה ללבוש דרכים רבות, ורשימה (אולי חלקית) שלה כוללת המצאת נתונים, שינוי, זיוף או השמטת נתונים, מניפולציה בשיטות ניתוח הנתונים, וספין בפירוש תוצאות מחקר. בנוסף, רמייה מסוג אחר היא אי דיווח על כותבי המאמר האמיתיים, על ניגודי אינטרסים של הכותבים ועל שימוש בבינה מלאכותית בכתיבה.

לאחר שמאמר שבוצע ברמייה כבר התפרסם, יש פעמים נדירות שבהן מצליחים לגלות זאת, ואז ייתכן שהמאמר יוסר מהפרסום (רטרקציה). הגילוי יכול להגיע דרך החוקר עצמו אם הוא הגון ומגלה בעיות בניהול המחקר שפורסם, אך גם על ידי הלשנה, קריאה לעומק של המחקר על ידי קוראים ביקורתיים, וכן שיטות סטטיסטיות מתקדמות כמו זו שהציע קרלייל.

בשנת 2023 כ 10,000 מאמרים בעיתונות המדעית (לא רק רפואית) הוסרו בשל רמייה, וסביר להניח שזהו רק קצה הקרחון של מחקרים שבהם בוצעה רמייה.

Nature- 2023 record in retractions

Pubpeer

הסרת מאמר על הדיאטה הים תיכונית מהניו אינגלנד

Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals

 מאמר המפרט את השיטה של קרלייל לזיהוי מחקרים עם נתונים לא הגיוניים

retraction watch

Retraction of articles

Research misconduct

Data fabrication

Falsification

incomplete reporting

spin

conflict of interest

publish or perish

authentic authorship

Effect of dietary approaches to stop hypertension (DASH) diet on adiposity indices in children with overweight and obesity: an 8-week triple-blind randomized controlled trial

מחקר מתואר כמשולש סמיות למרות שמדובר בהתערבות שאינה ניתנת להסמיה של המטופל או המטפל, התוצאות המתוארות מילולית אינן תואמות כלל את התוצאות המוצגות בטבלאות, והתוצאות בטבלאות אינן תואמות את התוצאות בגרפים.

Performance of ultrasonography screening for breast cancer: a systematic review and meta-analysis

מטא אנליזה באיכות נמוכה

A multi-centre randomised trial comparing ultrasound vs mammography for screening breast cancer in high-risk Chinese women

מחקר בדיקה אבחנתית באיכות נמוכה

Combined Screening With Ultrasound and Mammography vs Mammography Alone in Women at Elevated Risk of Breast Cancer

מחקר על בדיקה אבחנתית באיכות גבוהה יותר

 ניסיון למצוא מענה לשאלה מהי רגישות וספציפות אולטראסאונד לבדו כבדיקת סקירה לסרטן השד מוליך אותנו למטא אנליזה, אך נראה שכותבי המטא אנליזה ביצעו עבודה בינונית ולפחות מחקר אחד שחוקרי המטא אנליזה דיווחו עליו כ"איכות טובה" הוא מחקר באיכות נמוכה מאוד. התופעה של אמת חלקית (שפה עדינה) במחקרים היא תופעה מפחידה ומסוכנת, אך כתמיד יש להיזהר ממסקנות גורפות לגבי כלל המחקר הרפואי.

Low quality systematic review

Meta analysis

Diagnostic accuracy trial

Waste research

Nirmatrelvir for Vaccinated or Unvaccinated Adult Outpatients with Covid-19

המחקר שהתפרסם באיחור

Oral Nirmatrelvir for High-Risk, Nonhospitalized Adults with Covid-19

המחקר שהתפרסם תוך זמן קצר

A systematic review and meta-analysis of the effectiveness and adverse events of gabapentin and pregabalin for sciatica pain

מחקר עם תוצאות חיוביות (פקסלוביד אצל חולי קורונה בסיכון גבוה לסיבוכים) פורסם במהירות, ומחקר עם תוצאות שליליות שבוצע באותו זמן כמעט  (אותה תרופה במטופלים בסיכון רגיל) פורסם הרבה יותר מאוחר.

Paxlovid- Nirmatrelvir/ritonavir

Publication bias

Off label use

  Aluminum-Adsorbed Vaccines and Chronic Diseases in Childhood: A Nationwide Cohort Study.

סטטיסטיקות לגבי אוטיזם כולל גיל האבחון – מידע של ה CDC

Aluminum Effects in Infants and Children- סקירה מ pediatrics.

רשם (רגיסטר) המחלות בדנמרק

Cumulative Incidence of Autism Into Adulthood for Birth Cohorts in Denmark, 1980-2012

אלומיניום בכמות קטנה מאוד משמש לחיזוק יעילות חיסוני הילדות. קוהורט דני שכלל מעל מיליון ילדים בדק קשר בין כמות האלומיניום שהוזרק לתינוקות במסגרת חיסוני הילדות לבין מגוון מחלות כולל מחלות אוטואימוניות, אלרגיות ואוטיזם, ולא מצא אף קשר מובהק לרעת החיסונים. בנוגע להפרעות על רצף האוטיזם, היה אפילו קשר מובהק הפוך: עבור כל מ"ג נוסף של אלומיניום במצטבר, הסיכוי להפרעה כזו היה נמוך ב 7% (למדייקים: יחס האזארד של 0.93 (רווח ברך סמך 0.89-0.97) עבור כל מ"ג אלומיניום נוסף). בפרק היום אענה לטוקבקיסט רמב"ם ואציג את טענותיו שאמנם נראות במבט ראשון כמדעיות אך אינן מכבדות את שם העט שלו.

במיון ילדים, במבוגרים עם קוצר נשימה, בטיפול נמרץ, או בביצוע גיבור על של אולטראסאונד ריאות- מחקרים שבדקו בהקשרים קליניים שונים ואל מול בדיקות השוואה שונות אתהדיוק של אולטראסאונד לאבחון דלקת ריאות.

---

המאמרים שהוזכרו בפרק:

Prospective Evaluation of Point-of-Care Ultrasonography for the Diagnosis of Pneumonia in Children and Young Adults

מאמר מ JAMA pediatrics 2013, הכולל גם תמונות והסברי וידאו על בדיקת US לאבחון דלקת ריאות

Point of care ultrasound as initial diagnostic tool in acute dyspnea patients in the emergency department of a tertiary care center: diagnostic accuracy study

Ultrasound diagnosis of alveolar consolidation in the critically ill

Evaluation of lung ultrasound for the diagnosis of pneumonia in the ED

מה קורה כאשר מבצע הבדיקה הוא רדיולוג עם עשר שנות נסיון באולטראסאונד ריאות

Feasibility and Safety of Substituting Lung Ultrasonography for Chest Radiography When Diagnosing Pneumonia in Children: A Randomized Controlled Trial

מחקר התערבותי מבוקר אקראי בילדים: US בלבד כבדיקה ראשונית, עם אפשרות לבצע צלום בהמשך, אל מול צלום כבדיקה ראשונית ו US בהמשך.

האם אולטראסאונד הוא כלי מדויק לאבחון דלקת ריאות?

אבחון דלקת ריאות הוא מעשה מורכב ומתבצע לפי כלל המידע ולא לפי בדיקה בודדת. אפשר לדון מהי בעצם בדיקת הזהב שלפיה נבחן בדיקה כמו אולטראסאונד. האם זה צלום חזה? CT? אבחנה של מומחים לפי כלל המידע?

נדבר על בעיות במחקרים על נושא זה, בעקר בהקשר של דלקת ריאות במרפאה, על הטיית הספקטרום, ועל מטא אנליזה שאספה 33 מחקרים שהשוו בין בדיקת אולטראסאונד ריאתי לבין בדיקות השוואה שונות.

---

המטא אנליזה שעליה דברנו בפרק

Diagnostic accuracy of point-of-care tests in acute community-acquired lower respiratory tract infections. A systematic review and meta-analysis

קווים מנחים לאבחון וטיפול דלקת ריאות בקהילה ברפואת המשפחה

מטא אנליזות נוספות שבדקו נושא זה בעבר

Accuracy of Lung Ultrasonography versus Chest Radiography for the Diagnosis of Adult Community-Acquired Pneumonia: Review of the Literature and Meta-Analysis

Overview of methods for comparing the efficacies of drugs in the absence of head-to-head clinical trial data

Atezolizumab plus Bevacizumab in Unresectable Hepatocellular Carcinoma

Sorafenib in Advanced Hepatocellular Carcinoma

Comparative Efficacy of Atezolizumab plus Bevacizumab and Other Treatment Options for Patients with Unresectable Hepatocellular Carcinoma: A Network Meta-Analysis

כאשר רוצים להשוות בין שתי תרופות שלא נבדקו מעולם אחת מול השניה, יש שלוש שיטות אפשריות. השיטה התמימה היא השוואת קבוצות טיפול בתרופה ממחקר אחד לתרופה אחרת ממחקר אחר. שיטה מתוחכמת יותר, השוואה לא ישירה עם תקנון, משתמשת במכנה משותף- תרופה אחרת שהושוותה לשתי התרופות שמעניינות אותנו, ולכן בשני מחקרים לפחות. בכל אחד מהמחקרים מתבצע חישוב שלוקח בחשבון גם ערפלנים אפשריים, ואז התוצאות מושוות אחת לשניה. במקרה של תוצאה הניתנת ביחס, כמו למשל hazard ratio, התוצאות מוכפלות או מחולקות אחד בשנייה, ובמקרה של תוצאה הניתנת כמשתנה כמותי, התוצאות מחוברות או מחוסרות אחת מהשניה. השיטה השלישית והמקובלת ביותר כיום היא מטא אנליזה רשתית.

Adjusted indirect comparisons

Network meta-analysis

Unresectable liver cancer

Atezolizumab-bevacizumab

Patient-Specific In Vivo Gene Editing to Treat a Rare Genetic Disease

CRISPR-Based Therapy for Hereditary Angioedema

Exagamglogene Autotemcel for Severe Sickle Cell Disease

Family of Baby Saved by Gene-Editing Therapy Speaks to TODAY

לאחר מתן התרופה לתינוק קיי ג'יי בשתי מנות במינון עולה, מצבו הקליני של השתפר מאוד. משברים מטבולים הפסיקו להופיע בזמן זיהומים וירליים, רמות האמוניה ירדו, היה אפשר להגביר את כמות החלבון בתזונה, חלה עליה במשקל, והיה אפשר להפחית את הטיפול בקושר הגלוטמין.

זהו המאמר הראשון המתאר עריכת בסיס נקודתית באדם, ומתוארת בו שיטה שבה אפשר להשתמש כדי לייצר תרופה מותאמת אישית למחלות גנטיות אחרות בהן יש שינוי בבסיס אחד.