Drømmer androider om elektriske får?

Sådan spurgte Philip K. Dick i sin dystopiske science fiction-roman fra 1968.

I dag kunne man måske i stedet spørge: 'Hallucinerer ChatGPT om falske artikler?'

Og svaret på det spørgsmål er ja.

I hvert fald kan vi på Videnskab.dk konstatere, at der er begyndt at komme besøgende på vores hjemmeside fra AI-tjenester som ChatGPT, Perplexity, Microsoft Copilot, Claude og så videre.

Det er til artikler om, hvor mange køn der findes, depression og grønlandske børn. Der er bare lige et stort men:

Mange af artiklerne findes ikke. Det er URL'er, som AI'en selv har fundet på, og som derfor fører til fejlmeldinger hos den nysgerrige læser.

"Den problematik er en 'AI classic'," konstaterer adjunkt Peder Hammerskov, der underviser i AI på Danmarks Medie- og Journalisthøjskole.

"Den finder på alle mulige kilder, der ikke findes. Ikke som bevidst manipulation, men fordi den har en tendens til at gætte plausible formuleringer. Det ligner en god kilde, men er det ikke nødvendigvis."

Når en AI finder på ting, der ikke findes, kaldes det en 'hallucination'. Og ifølge Peder Hammerskov sker det, fordi "den i bund og grund bare prøver at hjælpe os":

"Sprogmodeller (såsom ChatGPT, red.) er skabt til at imitere os mennesker. Den 'ved', hvordan artikler og hjemmesider skal se ud, og den ved, hvordan vi kommunikerer og formulerer os på skrift."

Men samtidig er AI'en også trænet til at give os det indhold, vi gerne vil læse - uanset om det findes eller ej.

"Det er jo en farlig kombination. For når jeg søger noget specifik viden, så tænker den: 'Det her medie har skrevet en masse om noget lignende før. De har ikke lige skrevet om præcist det, der spørges til, så det leger vi bare, at de har, for jeg ved jo, hvordan det skal se ud'," lyder det videre fra adjunkten, som uddyber, at hallucinationerne ofte skyldes, at AI'en mangler data og forsøger at udfylde hullerne.

Og det kan altså ende med henvisninger til hallucinationer: artikler, der ikke findes.

Men hvordan kan man så være sikker på, at kilderne, AI'en henviser til, er til at stole på?

Det kan man jo passende spørge ChatGPT selv om. Den svarer blandt andet:

"Du kan godt bruge ChatGPT til at finde kilder, men du bør ikke stole blindt på dem. Nogle gange kan AI finde på at opdigte titler, forfattere eller links, der ser troværdige ud, men ikke findes i virkeligheden. Det gælder især videnskabelige artikler. Derfor bør du altid selv tjekke, om kilden faktisk eksisterer."

Og i dette tilfælde har den helt ret, lyder det fra Peder Hammerskov:

"Man skal ikke tænke den som en faktamaskine, for det er ikke det, den er designet til. Du skal hellere se den som en slags sparringspartner."

Hvis man alligevel gerne vil bruge den til at søge konkret viden, har han nogle råd til, hvordan man bør gribe det an:

"Du skal i hvert fald sørge for, at den er på nettet. For så er der større chance for, at den angiver kilder. Og så kan du jo klikke på linket og se, om kilden er rigtig, og om det, der står i den, er det samme, som AI'en påstår."

Derudover skal man ikke kun vurdere, om kilden er ægte. Man skal også vurdere, om den er troværdig.

"Nogle tjenester mere end andre bruger også partsindlæg og lignende. Hvis jeg for eksempel vil have noget viden om Kroatien, så kan det være, at den henter det fra en turistinformation, der jo gerne vil sælge landet til læseren i stedet for at give rene fakta."

Hans råd er derfor, at man sætter tempoet ned. En tilgang, som han kalder for 'slow AI':

"Det er ikke AI'en, der skal arbejde langsommere, men dig. Tjek kilderne grundigt. Hvis ikke den angiver kilder, så må du selv i gang med at finde dem. Ja, det tager mere tid, men det er sådan, du er sikker på, at det er ordentlig viden, du får," afslutter Peder Hammerskov.

Læs også Videnskab.dk's chefredaktørs kommentar til sagen i lederartiklen 'AI snyder dig på nye måder'.