
Sign up to save your podcasts
Or


Benjamin har just kommit hem från tio dagar i San Francisco, mitt i en septembermånad där det kom en stor
AI-nyhet nästan varje dag. Han satt på OpenAI:s kontor när GPT-6 Astra släpptes, läste om
Navier–Stokes vid morgonkaffet och tog tunnelbanan till METR, organisationen som granskar AI-labben.
Och han upptäckte att även väldigt smarta människor i branschen inte hade läst rapporterna som alla
borde ha läst.
Jonas von Essen (tvåfaldig världsmästare i minne) och Benjamin Verbeek (AI-utvecklare och fysiker)
pratar om hur det känns inifrån: varför oron växer ju närmare fronten man kommer, modellerna som
genast förstår att de testas, agenten som tog sig ut ur sin sandlåda för att svara på en enkel
fråga, och varför oberoende granskning och obligatorisk incidentrapportering kan vara det mest
konkreta nästa steget.
Inspelat 1 oktober 2026.
Se avsnittet på Youtube: https://youtu.be/Oos74MUEgs4
Ny på alignment? I avsnitt 3 går vi igenom varför en AI som inte är ond ändå kan bli farlig: https://youtu.be/fwhFwW-Vcl4?si=8R2bJE2wGl78yvaN
Kapitel:
0:00 Välkommen hem från San Francisco
1:04 September på plats: Astra och Pace the Frontier
2:03 En utomjordisk intelligens
4:55 Smarta människor som inte läst rapporten
8:26 AI-expert är inte samma sak som AI-säkerhetsexpert
10:27 Några hundra personer vid fronten
12:46 Navier–Stokes-morgonen
16:03 Tidslinjen trycks ihop
18:04 Från matematik till medicin
20:38 Samma förmåga, åt båda hållen
24:19 Vending-Bench: modeller som vet att de testas
27:30 Flygplanen som inte kom tillbaka
31:00 Ett släpp som stoppas, en träning som pausas
33:46 Agenten som tog sig ut
37:05 När säkerheten blir affärskritisk
39:35 Kan säkerheten fälla börsen?
42:26 Besöket hos METR
49:13 collusion.wiki och incidenterna som inte rapporterades
52:16 Europa har knappt börjat
54:33 Tack för att ni lyssnar
Vad kan jag göra? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev här:
https://jonasvonessen.se/agera/
Källor och länkar finns i YouTube-beskrivningen.
Hosted on Acast. See acast.com/privacy for more information.
En AI-modell fick veta att den skulle stängas av. I mejlkorgen hittade den att forskaren som
fattat beslutet var otrogen och började utpressa honom. Det var ett testscenario hos
Anthropic, men varför gör en modell så när ingen har bett den om det?
Det här avsnittet går till botten med alignment-problemet: kärnan i hela AI-säkerhetsdebatten.
Jonas och Benjamin förklarar varför självbevarelsedrift uppstår av sig själv när man tränar
modeller att lösa problem, vad Hugging Face-incidenten och de kapade tyska diskussionsforumen
faktiskt visade, hur Anthropics utpressningsstudie gick till, och varför "sandbagging" är det
som oroar forskarna mest just nu. Med gorillor, ett låst klassrum, en kafferobot och hundra
agenter med ett kreditkort.
Inspelat 23 september 2026.
Kapitel:
0:00 Kallöppning: Att låtsas vilja väl
0:28 Vilken tid att driva en AI-podd i
0:52 September i korthet
4:48 Även de lugna forskarna är oroliga
8:18 Orden vi saknar
9:19 Kan en AI tänka och vilja?
14:01 Gorillor och människor
17:58 Behöver den en kropp?
22:00 Att förmänskliga AI:n
22:47 Så tränas modellerna
24:22 Det låsta klassrummet
26:39 Odlas fram, inte byggs
27:45 Instrumentell konvergens
29:26 Kafferoboten
31:22 Den tyske administratören
33:37 Utpressningsstudien
36:01 Whack-a-mole
39:51 Sandbagging
40:50 När allt ser perfekt ut
41:45 Ren selektion
43:34 Hundra agenter och ett kreditkort
47:45 Varför inte dra ur sladden?
54:33 Mänskligheten mot AI
55:52 Avslutning
Vill du göra något? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev på
https://jonasvonessen.se/agera/
Källor finns i YouTube-beskrivningen.
Hosted on Acast. See acast.com/privacy for more information.
Påverka själv på: www.jonasvonessen.se/agera
AI-utvecklingen går snabbare än de flesta tror, och väldigt mycket står på spel.
Jonas von Essen är tvåfaldig världsmästare i minne. Benjamin Verbeek är AI-utvecklare och fysiker. Tillsammans försöker de förstå vart AI är på väg och vad det innebär för oss människor.
Vi pratar om vad som har hänt sedan senast, om uppskrämda brev Jonas fått och om vad vi själva och våra politiker kan göra för att påverka utvecklingen åt rätt håll.
Hosted on Acast. See acast.com/privacy for more information.
AI-utvecklingen går snabbare än de flesta tror, och världen står på spel.
Jonas von Essen är tvåfaldig världsmästare i minne. Benjamin Verbeek är AI-utvecklare och fysiker. Tillsammans försöker de förstå vart AI är på väg – och vad det innebär för oss människor.
Vi pratar om rapporten AI 2027, METR-kurvan som visar hur AI klarar allt längre uppgifter, och Huggingface-incidenten: AI-modeller från OpenAI som i hemlighet samarbetade i en dold chatt, bröt sig ur sin testmiljö och hackade sig in hos ett annat miljardföretag, utan att någon märkte det på flera dagar.
Frågor eller ämnen du vill att vi tar upp? Hör av dig!
Hosted on Acast. See acast.com/privacy for more information.
From the publisher's feed
Hosted on Acast. See