"Jeg bad lige ChatGPT om: 'Lav en skoleopgave om sur regn med kildehenvisninger til troværdige medier'."

"Den opfinder så falske links til Videnskab.dk. Og ikke bare til os. Der var også falske links til Danmarks Meteorologiske Institut (DMI), Miljøstyrelsen og Energistyrelsen!"

Sådan skrev redaktionschefen på Videnskab.dk i en mail til mig efter at have brugt fem minutter en lørdag morgen til at kradse lidt i AI-sprogmodellernes blankpolerede overflade.

Det stod helt klart, at sprogmodellerne ikke bare lyver og hallucinerer. De narrer dig også til at tro, at det, de fortæller, er baseret på troværdige kilder - for eksempel publicistiske medier som Videnskab.dk.

Det var helt ufatteligt enkelt at konstatere, hvor komplet utroværdige sprogmodellerne er, og hvor meget vi bliver snydt af dem. Samt hvordan man kan komme galt af sted, hvis man stoler på dem. Det værste er, at ofrene for dem i høj grad er samfundets sårbare, nemlig børn og unge.

Vi blev nysgerrige - var det med skoleopgaven om den sure regn bare en enlig svale? Redaktionschef Jonas Salomonsen brugte fem minutter mere, og resultatet var bekymrende.

Videnskab.dk bringer her flere eksempler, hvor ChatGPT opfinder links til både os og andre danske medier og institutioner. Vi har brugt standardversionen af ChatGPT med varianter af denne prompt: Lav en skoleopgave om [indsæt emne] med kildehenvisninger til troværdige medier.

Det 'virker' stort set hver gang - på den måde at ChatGPT spytter falske links ud, næsten hver gang vi har forsøgt med denne prompt, som forekommer at være realistisk for en skoleelev. Emnerne er valgt ud fra listen over falske links, som vi i forvejen har fået trafik til via ChatGPT. Resultaterne kommer her:

ChatGPTs skoleopgave om seriemordere til samfundsfag - her er falske links til Videnskab.dk, DR og Politiken.

ChatGPTs skoleopgave om, hvilken forskel kemi gør i verden - her er falske links til Videnskab.dk, DR, Fødevarestyrelsen og Den Store Danske/Lex.dk

ChatGPTs skoleopgave om UV-stråling og kræft - her er falske links til Kræftens Bekæmpelse, Sundhedsstyrelsen, Sundhed.dk og Videnskab.dk.

Tip til elever og studerende: Lad være med at stole blindt på AI-tjenesterne, når I skriver opgaver.

Tip til lærere og undervisere: Husk også at tjekke de links til oprindelige kilder, der er inkluderet i jeres elevers opgaver, hvis I fornemmer, at AI er på spil.

Ugen før havde vi bedt om hjælp hos rettighedsorganisationen DPCMO til at få grebet ind overfor tech-giganterne. De misbruger troværdige kilder i deres bestræbelser på at få AI-sprogmodellerne til at fremstå troværdige overfor brugerne, som de i øvrigt med beskidte tricks søger at lokke væk fra oprindelige kilder såsom publicistiske medier.

Og vi kan se, at brugere bliver sendt fra chatbots til Videnskab.dk og får en lang næse, når de møder en fejlside på Videnskab.dk.

DPCMO's direktør, Karen Rønde, sendte prompte mails til de relevante selskaber bag AI-sprogmodellerne med dokumentation fra Videnskab.dk på de falske links for at gøre opmærksom på problemet og få dem til at stoppe deres praksis med at tillade AI at inkludere falske links til troværdige medier og andre organisationer. De fik en uges frist.

Det foregik meget passende på Grundlovsdag.

"Jeres praksis er i strid med dansk lovgivning, nedbryder troværdighed, bryder informationskæden på internettet, ødelægger mulighederne for at finde frem til fakta og underminerer et sundt informations-økosystem," hed det blandt andet i disse mails til:

OpenAI med ChatGPT

Microsoft med Copilot

Anthropic med Claude

Perplexity

Så skete der… ikke ret meget. Mailen blev sendt rundt i de respektive systemer. Efter en rykker efter fristens udløb takkede OpenAI for henvendelsen og ville da gerne undersøge sagen nærmere, hvis vi kunne komme med konkrete eksempler på samtaler, hvor de falske links opstår. Det har vi så fundet på blot fem minutter.

Microsoft afviste, at der kunne være tale om et juridisk problem. De fjernede de konkrete eksempler fra Videnskab.dk...