Verbos: AI og Softwareudvikling

I denne episode af Verbos Podcast dykker Kasper Junge og Natalie Havs Sørensen ned i sprogets fascinerende verden, herunder arbejdet med det danske sprog og litteratur gennem DSL. De diskuterer også, hvordan AI og teknologi påvirker sprog, samt hvordan datasæt kan bruges til at teste sprogmodellers viden. Derudover udforsker de betydningen af talemåder og deres anvendelse i det danske sprog, samt de kreative aspekter af sprog og de udfordringer, der ligger i at definere og forstå betydninger. I denne samtale udforsker Kasper Junge og Nathalie betydningen af talemoder og deres kulturelle kontekst. De diskuterer, hvordan talemoder kan variere mellem forskellige grupper og kulturer, samt hvordan de kan ændre betydning over tid. Derudover berører de udfordringerne ved at anvende sprogmodeller til at forstå disse talemoder, og hvordan kulturelle referencer kan påvirke sprogudviklingen. Samtalen indeholder også sjove eksempler på danske talemoder og deres historiske baggrund. I denne samtale diskuterer Nathalie og Kasper evalueringen af sprogmodeller, med fokus på upassende sprog og kulturelle forskelle mellem Danmark og USA. De udforsker, hvordan sprogbrug ændrer sig over tid, og hvordan diskrimination kan manifestere sig i sproget. Samtalen berører også fremtidige projekter og dataudvikling inden for sprogmodeller.

Chapters

00:00 Introduktion til Sprog og DSL

03:07 Sprog og Teknologi: AI's Indflydelse

06:08 Datasæt og Sprogmodeller: En Ny Dimension

09:01 Talemåder: Betydning og Anvendelse

11:51 Kreativitet i Sprog: Abstrakte og Konkrete Betydninger

14:47 Fremtidige Udfordringer og Perspektiver

23:37 Talemoder og deres betydning

25:15 Arbejdsskader og sprogforståelse

26:49 Kulturelle referencer i talemoder

28:54 Metaforer og deres betydning

30:50 Sprogmodeller og deres udfordringer

32:56 Kropslige metaforer og deres variationer

35:18 Kulturelle påvirkninger på sprog

37:32 Betydningsskift i talemoder

39:41 Historiske perspektiver på sprog

41:43 Sprogudvikling og sjove udtryk

43:05 Evaluering af sprogmodeller

46:31 Evaluering af Sprogmodeller

49:35 Upassende Sprog og Kulturelle Forskelle

53:55 Diskrimination og Sprogbrug

01:00:27 Ændringer i Sprog og Offentlig Diskurs

01:04:14 Fremtidige Projekter og Dataudvikling

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste trends inden for teknologi og programmering, herunder nye værktøjer som Cursor og begrebet Vibe Coding. De udforsker, hvordan AI påvirker programmeringsmetoder og værktøjer, og hvordan udviklere kan drage fordel af disse nye teknologier. I denne samtale diskuterer værterne brugen af AI i kodeudvikling, herunder kontekstvinduer og team dynamik. De dykker ned i nyheder fra Hacker News, herunder de seneste trends og værktøjer som Mistral OCR, og hvordan disse teknologier kan forbedre arbejdsprocesser. I denne episode diskuterer værterne udfordringerne ved UCR-services, Mistrals position i det europæiske LLM-marked, og bekymringerne omkring dataoverførsel til USA i lyset af EU's sikkerhedspolitik. De berører også tilliden til cloud-løsninger og databeskyttelse, før de afslutter med en analyse af OpenAI's nyeste model, GPT 4.5, og dens begrænsninger.

I denne episode af Verbos Podcast diskuterer Kasper Junge og Henrik Fabrin, hvordan AI kan revolutionere softwareudvikling, selv for dem uden kodningsfærdigheder. Henrik deler sin erfaring med at bygge chatbots og anvende AI-værktøjer, samt hvordan disse værktøjer kan lette udviklingsprocessen og frigive kreativ energi til produktudvikling. Samtalen dækker også vigtigheden af kontekst i AI-systemer og fremtiden for AI i softwareudvikling. I denne samtale diskuterer Kasper Junge og Henrik Fabrin effektiviteten i produktudvikling, vigtigheden af prototyper og iteration, samt de udfordringer der opstår ved skalering af software. De berører også emner som automatisering og AI i kode, nødvendigheden af kvalifikationer og erfaring i softwareudvikling, samt hvordan workflow og brugeroplevelse påvirker udviklingsprocessen. Endelig deler de deres erfaringer med læring og udvikling ved hjælp af værktøjer som Cursor. I denne samtale diskuterer Henrik Fabrin og Kasper Junge fremtiden for programmering, no-code værktøjer og hvordan teknologi kan ændre måden, vi udvikler software på. De taler om vigtigheden af brugercentreret design, nicheprodukter og hvordan man kan balancere mellem funktionalitet og brugervenlighed. Samtalen berører også de risici, der er forbundet med at udvikle SaaS-applikationer uden tilstrækkelig teknisk viden.Chapters00:00 Introduktion til AI og Softwareudvikling10:10 Henrik Fabrins Baggrund og Erfaringer19:49 Brug af AI-værktøjer i Softwareudvikling29:55 Fremtiden for AI i Softwareudvikling32:01 Prototyper og Iteration34:56 Udfordringer ved Skalering37:32 Automatisering og AI i Kode40:49 Kvalifikationer og Erfaring i Softwareudvikling43:58 Workflow og Brugeroplevelse i Kode51:28 Læring og Udvikling med Cursor53:25 Fra Kode til Kreativitet56:06 Fremtidens Programmering og No-Code Værktøjer01:00:48 Nicheprodukter og Brugercentreret Design01:07:23 Brugervenlighed vs. Funktionalitet01:11:31 Risiko og Ansvar i SaaS Udvikling

I denne episode af Verbos podcast diskuterer værterne Kasper Junge, Mads Henrichsen og Jonas Høgh Kyhse-Andersen de nyeste fremskridt inden for AI, især fokus på reasoning modeller som DeepSeek R1 og OpenAI O1. De dykker ned i emner som syntetisk data, reinforcement learning, og de udfordringer, der er forbundet med anonymisering i forhold til GDPR. Diskussionen inkluderer også hype omkring disse modeller og deres anvendelse i virkelige scenarier. I denne samtale diskuterer deltagerne emner relateret til AI, herunder Supervised Fine Tuning, udfordringerne ved reinforcement learning, og spørgsmålet om, hvorvidt AI kan tænke. De dykker ned i specifikationerne for DeepSeek R1-modellen og dens innovative funktioner, samt hvordan disse teknologier kan anvendes i praksis. I denne samtale diskuterer deltagerne emner relateret til maskinlæring, herunder MLA, DeepSeek's innovationer, reinforcement learning, model distillation og merging. De deler indsigt om, hvordan man kan optimere AI-modeller og udfordringerne ved at implementere nye teknologier. Derudover opfordrer de danske virksomheder til at engagere sig mere i open source-initiativer.

Kapitler

00:00 Introduktion til AI og Reasoning Modeller

02:57 DeepSeek R1 og OpenAI O1 Modeller

06:09 Syntetisk Data og Fine-Tuning

09:00 Reinforcement Learning og Dens Anvendelse

11:57 Hype omkring Reasoning Modeller

14:53 Verificerbare Resultater og Anvendelse

18:02 Anonymisering og GDPR Udfordringer

21:00 Fremtiden for AI og Reasoning Modeller

29:15 Supervised Fine Tuning og Dens Udfordringer

32:06 Reinforcement Learning og Verificerbare Belønninger

37:16 Kan AI Tænke? En Diskussion om Reasoning

48:01 DeepSeek R1-modellen og Dens Funktioner

54:44 Introduktion til MLA og Dimension Reduktion

57:04 DeepSig og Innovation i AI

01:00:10 Reinforcement Learning og Model Træning

01:02:58 Distillation og Supervised Fine-Tuning

01:06:58 Model Merging og Dens Udfordringer

01:09:54 Afslutning og Budskaber til Virksomheder

I denne episode af Verbos Podcast dykker værterne ned i DeepSeek og deres R1 reasoning model, som har skabt betydelig opmærksomhed på aktiemarkedet og i medierne. De diskuterer, hvordan DeepSeek har trænet deres model, dens indflydelse på aktiemarkedet, og hvordan open source tilgangen kan ændre landskabet for AI. Derudover udforsker de brugen af reinforcement learning med verificerbare belønninger og de fremtidige perspektiver for reasoning modeller. I denne samtale diskuterer Jonas Høgh Kyhse-Andersen og Kasper Junge forskellige aspekter af token generering, verifikation, og forskellene mellem reinforcement learning og supervised learning. De dykker ned i emner som preference tuning, usikkerhed i modeller, og hvordan selvrefleksion kan forbedre output. Derudover taler de om cold start og model distillering, samt hvordan reasoning oriented reinforcement learning kan forbedre modellerne. I denne samtale diskuterer værterne innovative tilgange til AI-modeller, herunder brugen af reinforcement learning og GPU-optimering. De udforsker, hvordan forskellige metoder kan forbedre præstationen af AI-systemer og hvordan fremtidige eksperimenter kan ændre landskabet for AI-træning. Samtalen dækker også vigtigheden af verifiable rewards i træningsprocessen og de potentielle anvendelser af reasoning-modeller.

Ugens Repo: https://github.com/Jiayi-Pan/TinyZero

Kapitler

00:00 Introduktion til DeepSeek og R1 modellen

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen det nye AI-infrastrukturprojekt Stargate, præsenteret af Donald Trump. De dykker ned i projektets struktur, dets politiske implikationer, og hvordan AI er blevet en central del af amerikansk politik. Diskussionen berører også bottlenecks i AI-udviklingen, herunder data og compute, samt Sam Altman og OpenAI's hurtige vækst. Værterne reflekterer over populisme i politik og hvordan det påvirker AI's fremtid. I denne samtale diskuterer værterne Jonas Høgh Kyhse-Andersen og Kasper Junge emner relateret til data centre, META's beslutning om at fjerne deres fact checking system, og de etiske implikationer af misinformation, især i forbindelse med vacciner. De udforsker også, hvordan Community Notes kan fungere som en alternativ tilgang til faktatjek, og hvordan det kan påvirke den offentlige diskurs. Desuden berører de de seneste fremskridt inden for AI, især med fokus på Deep Seek og kinesiske AI-modeller. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de nyeste tendenser inden for AI, herunder DeepSeq R1 og koldstart-data, samt paradigmeskift i træning af modeller. De dykker ned i emner som reinforcement learning, test time bandits, og hvordan cloud teknologi kan revolutionere AI. Desuden præsenteres et spændende open source laptop projekt, der fremhæver hardware innovation.

00:00 Introduktion til Stargate og AI Infrastruktur

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste fremskridt inden for AI, herunder den nye LLM DeepSeek V3 og den moderne encoder-model ModernBERT. De dykker ned i specifikationerne, anvendelserne og de økonomiske aspekter af disse teknologier, samt hvordan de påvirker softwareudvikling og AI-landskabet generelt. I denne samtale diskuterer værterne opgraderinger af kodeværktøjer, nye teknologier inden for AI og maskinlæring, samt de seneste nyheder fra Nvidia, herunder deres nye AI supercomputer. Derudover berører de målgruppen for sådanne teknologier og prisen på avancerede GPU'er. Samtalen afsluttes med en introduktion til ugens repo, Predantic AI, som er et framework relateret til Pydantik. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til softwareudvikling, herunder dependency injection, frameworks, og open source projekter. De dykker ned i, hvordan man kan bruge agenter og abstrahering i programmering for at skabe mere fleksible og brugervenlige løsninger. Derudover præsenterer Kasper sit nye værktøj, MagScribe, som hjælper med transkription af videoer og podcasts, og de afslutter med at tale om fremtidige projekter og vigtigheden af at dele viden i udviklingssamfundet.

Chapters

00:00 Introduktion til AI og Verbos Podcast

I dette afsnit af Verbos Podcast diskuterer Kasper Junge og Paul Kjeldager, hvordan AI påvirker udvikling og programmering. Paul deler sin erfaring som udvikler og konsulent, og hvordan han bruger AI til at forbedre sin arbejdsproces. De taler om forskellen mellem Silicon og Carbon udviklere, og hvordan AI kan fungere som virtuelle medarbejdere. Derudover gennemgår de forskellige værktøjer som Bold og V0, der kan hjælpe udviklere med at optimere deres workflow. I denne samtale diskuterer Kasper Junge og Poul Kjeldager, hvordan AI og udviklingsværktøjer som React kan kombineres for at skabe mere effektive løsninger. De taler om valget af AI-modeller, betydningen af low-code og no-code systemer, samt hvordan agenter kan defineres og anvendes i AI. Derudover berører de integrationen af AI i udviklingsværktøjer og hvordan man kan effektivisere kodeprocessen ved hjælp af AI. I denne samtale diskuterer Kasper Junge og Poul Kjeldager emner relateret til produktivitet og kreativitet i softwareudvikling, herunder brugen af AI i kundeprojekter, interaktion mellem AI-agenter, fremtidige muligheder for AI i webinteraktioner, og hvordan ideer i stigende grad vil dominere softwareudvikling. De reflekterer også over, hvordan hurtigere produktion af ideer kan ændre landskabet for funding og udvikling, samt hvordan fremtidens udviklere vil navigere i en verden, hvor AI spiller en central rolle.

Chapters

00:00 Introduktion til AI og udvikling

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de nyeste fremskridt inden for AI, herunder Large Concept Models fra Meta. De reflekterer over året der gik, deres forudsigelser for 2025, og hvordan nye tilgange til sprogmodeller kan revolutionere feltet. Diskussionen dækker også emner som Sonar Embedding og konceptuel forudsigelse, og hvordan disse metoder kan forbedre effektiviteten af AI-systemer. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til sprogmodeller, herunder multilink-værdi, encoder-decoder arkitektur, semantisk reasoning, og de udfordringer, der er forbundet med karakterniveau encoding. De berører også innovation i modelarkitektur, Jan LeCun's indflydelse på Meta, hype omkring LLM'er, og betydningen af function calling og strukturerede outputs i udviklingen af agenter. I denne samtale diskuterer Jonas Høgh Kyhse-Andersen og Kasper Junge de seneste fremskridt inden for AI, herunder betydningen af open source, token forbrug, og hvordan reinforcement learning kan optimere AI's præstationer. De berører også udviklingen af agent frameworks, brugergrænsefladeinnovationer, og hvordan store tech-virksomheder som Apple navigerer i AI-landskabet. I denne samtale diskuterer Jonas Høgh Kyhse-Andersen og Kasper Junge udviklingen af AI-modeller, deres anvendelse i kode og tale, samt fremtidige tendenser inden for teknologi. De berører emner som menneskelig interaktion med AI, sociale normer, og hvordan modellerne bliver mere effektive og tilgængelige. Samtalen dykker også ned i vigtigheden af menneskelig feedback og måling af fremskridt i AI-udviklingen. I denne episode diskuterer værterne Jonas Høgh Kyhse-Andersen og Kasper Junge vigtigheden af feedbackmekanismer i ingeniørarbejde og softwareudvikling, samt hvordan AI kan forbedre disse processer. De taler også om automatiseringens rolle i e-commerce og afslutter med at takke lytterne for deres støtte og ønske dem et godt nytår.

Chapters

00:00 Introduktion og temaoversigt

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge, Kenneth Enevoldsen og Thomas Kobber Panum Ilya Sutskevers nylige talk ved NeurIPS, hvor han modtog Test of Time Award. De dykker ned i Ilya syn på AI-udvikling, især hans påstand om, at pre-training er dødt, og hvordan fremtidige AI-modeller skal udvikles. Diskussionen berører også udfordringerne ved dataindsamling og forståelsen af, hvordan AI-modeller fungerer. I denne samtale diskuterer deltagerne de nuværende og fremtidige udfordringer og muligheder inden for AI, herunder hvordan sprogmodeller lærer, betydningen af aktiv læring, og hvordan AI-systemer kan blive mere uforudsigelige. Der er også fokus på historien bag O-One modellen og dens udvikling, samt hvordan syntetisk data kan spille en rolle i fremtidig innovation. I denne samtale diskuterer deltagerne forskningen inden for AI, herunder balancen mellem ingeniørkunst og forskning, samt hvordan man skal forholde sig kritisk til de informationer, der præsenteres af prominente figurer i feltet. Der er fokus på, hvordan AI-teknologier har udviklet sig over tid, og hvordan de praktiske anvendelser af disse teknologier kan påvirke fremtidig forskning og innovation.

Ilya’s talk: https://youtu.be/1yvBqasHLZs?si=BiwmGjU7-0c8N5wA

“Sequence to Sequence Learning with Neural Networks”-paper: https://arxiv.org/abs/1409.3215