I dette afsnit af Verbos Podcast diskuterer Kasper Junge og Paul Kjeldager, hvordan AI påvirker udvikling og programmering. Paul deler sin erfaring som udvikler og konsulent, og hvordan han bruger AI til at forbedre sin arbejdsproces. De taler om forskellen mellem Silicon og Carbon udviklere, og hvordan AI kan fungere som virtuelle medarbejdere. Derudover gennemgår de forskellige værktøjer som Bold og V0, der kan hjælpe udviklere med at optimere deres workflow. I denne samtale diskuterer Kasper Junge og Poul Kjeldager, hvordan AI og udviklingsværktøjer som React kan kombineres for at skabe mere effektive løsninger. De taler om valget af AI-modeller, betydningen af low-code og no-code systemer, samt hvordan agenter kan defineres og anvendes i AI. Derudover berører de integrationen af AI i udviklingsværktøjer og hvordan man kan effektivisere kodeprocessen ved hjælp af AI. I denne samtale diskuterer Kasper Junge og Poul Kjeldager emner relateret til produktivitet og kreativitet i softwareudvikling, herunder brugen af AI i kundeprojekter, interaktion mellem AI-agenter, fremtidige muligheder for AI i webinteraktioner, og hvordan ideer i stigende grad vil dominere softwareudvikling. De reflekterer også over, hvordan hurtigere produktion af ideer kan ændre landskabet for funding og udvikling, samt hvordan fremtidens udviklere vil navigere i en verden, hvor AI spiller en central rolle.

Chapters

00:00 Introduktion til AI og udvikling

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de nyeste fremskridt inden for AI, herunder Large Concept Models fra Meta. De reflekterer over året der gik, deres forudsigelser for 2025, og hvordan nye tilgange til sprogmodeller kan revolutionere feltet. Diskussionen dækker også emner som Sonar Embedding og konceptuel forudsigelse, og hvordan disse metoder kan forbedre effektiviteten af AI-systemer. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til sprogmodeller, herunder multilink-værdi, encoder-decoder arkitektur, semantisk reasoning, og de udfordringer, der er forbundet med karakterniveau encoding. De berører også innovation i modelarkitektur, Jan LeCun's indflydelse på Meta, hype omkring LLM'er, og betydningen af function calling og strukturerede outputs i udviklingen af agenter. I denne samtale diskuterer Jonas Høgh Kyhse-Andersen og Kasper Junge de seneste fremskridt inden for AI, herunder betydningen af open source, token forbrug, og hvordan reinforcement learning kan optimere AI's præstationer. De berører også udviklingen af agent frameworks, brugergrænsefladeinnovationer, og hvordan store tech-virksomheder som Apple navigerer i AI-landskabet. I denne samtale diskuterer Jonas Høgh Kyhse-Andersen og Kasper Junge udviklingen af AI-modeller, deres anvendelse i kode og tale, samt fremtidige tendenser inden for teknologi. De berører emner som menneskelig interaktion med AI, sociale normer, og hvordan modellerne bliver mere effektive og tilgængelige. Samtalen dykker også ned i vigtigheden af menneskelig feedback og måling af fremskridt i AI-udviklingen. I denne episode diskuterer værterne Jonas Høgh Kyhse-Andersen og Kasper Junge vigtigheden af feedbackmekanismer i ingeniørarbejde og softwareudvikling, samt hvordan AI kan forbedre disse processer. De taler også om automatiseringens rolle i e-commerce og afslutter med at takke lytterne for deres støtte og ønske dem et godt nytår.

Chapters

00:00 Introduktion og temaoversigt

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge, Kenneth Enevoldsen og Thomas Kobber Panum Ilya Sutskevers nylige talk ved NeurIPS, hvor han modtog Test of Time Award. De dykker ned i Ilya syn på AI-udvikling, især hans påstand om, at pre-training er dødt, og hvordan fremtidige AI-modeller skal udvikles. Diskussionen berører også udfordringerne ved dataindsamling og forståelsen af, hvordan AI-modeller fungerer. I denne samtale diskuterer deltagerne de nuværende og fremtidige udfordringer og muligheder inden for AI, herunder hvordan sprogmodeller lærer, betydningen af aktiv læring, og hvordan AI-systemer kan blive mere uforudsigelige. Der er også fokus på historien bag O-One modellen og dens udvikling, samt hvordan syntetisk data kan spille en rolle i fremtidig innovation. I denne samtale diskuterer deltagerne forskningen inden for AI, herunder balancen mellem ingeniørkunst og forskning, samt hvordan man skal forholde sig kritisk til de informationer, der præsenteres af prominente figurer i feltet. Der er fokus på, hvordan AI-teknologier har udviklet sig over tid, og hvordan de praktiske anvendelser af disse teknologier kan påvirke fremtidig forskning og innovation.

Ilya’s talk: https://youtu.be/1yvBqasHLZs?si=BiwmGjU7-0c8N5wA

“Sequence to Sequence Learning with Neural Networks”-paper: https://arxiv.org/abs/1409.3215

I denne episode af Verbos Podcast diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste nyheder inden for AI, herunder Googles nye Genie 2-model, opdateringer til Lama 3.3, OpenAI's 'Shipmas' initiativ, og nye abonnementsmuligheder for ChatGPT. De udforsker også fremtidige interaktioner med AI-modeller og hvordan disse teknologier kan ændre vores måde at arbejde og kommunikere på. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til OpenAI's nye API til reinforcement learning, hvordan det kan anvendes til fine tuning af AI-modeller, samt de tekniske aspekter af kvantecomputing og qubits. De dykker ned i forskelle mellem gamle og nye metoder inden for reinforcement learning og giver eksempler fra medicinsk forskning. Samtalen berører også stabiliteten af reinforcement learning pipelines og de seneste fremskridt inden for kvantecomputing, herunder Googles Willow chip. I denne samtale diskuterer værterne emner relateret til computere, kvantemekanik, AI-strategier og personlige oplevelser fra Silicon Valley. De dykker ned i tekniske aspekter af computere, herunder støjfølsomhed og kvantecomputing, samt de filosofiske og praktiske implikationer af sprogteori i AI. Derudover præsenteres en ny AI-strategi for digitalisering i Danmark, og værterne deler personlige anekdoter fra deres rejse til Silicon Valley. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen deres oplevelser fra en konference om LLM-forskning og udvikling. De dykker ned i emner som fine-tuning af modeller, udfordringer ved sprogunderstøttelse, og Metas strategi for at fremme open source AI. Gennem samtalen fremhæves vigtigheden af samarbejde og feedback fra udviklerfællesskabet for at forbedre AI-teknologier.

Chapters

00:00 Introduktion til AI-nyheder

I denne episode af Verbos Podcast dykker værterne ned i chip design og digital teknologi med Jørgen Kragh Jakobsen. Der præsenteres en demonstration af VR-briller, der giver lytterne mulighed for at se ind i chip design. Jørgen diskuterer vigtigheden af dansk innovation inden for chip teknologi og fremhæver potentialet for open source chip design og Tiny Tape Out. Diskussionen inkluderer også reaktioner fra publikum og fremtidige muligheder for at gøre chip design mere tilgængeligt. I denne samtale diskuterer deltagerne de nuværende udfordringer og muligheder inden for AI og hardware, herunder Tiny Tape Out, som revolutionerer chip design ved at muliggøre crowdsourcing. Derudover berører de fremtidige udsigter for chip design i Danmark, oprettelsen af et Dansk Chip Kompetence Center, og hvordan neomorphic computing kan ændre AI-landskabet. Samtalen afsluttes med en diskussion om transformer-modeller og deres integration i hardware. I denne samtale diskuterer Jørgen Kragh Jakobsen og Jonas Høgh Kyhse-Andersen de nuværende udfordringer og muligheder inden for chip design, herunder GPU-arkitektur, hyperscalere, og den stigende betydning af edge computing. De berører også emner som innovationshastighed, alternative teknologier, og hvordan open source kan revolutionere chip design. Samtalen afsluttes med personlige anekdoter og refleksioner over fremtiden for teknologi.

Følg Jørgen Kragh Jakobsen på LinkedIn: https://www.linkedin.com/in/jørgen-kragh-jakobsen-52a972/

Link til Jørgens VR software: https://icworks.dk/vr/

Links til alle de ting vi snakker om:

efabless: https://efabless.com/

Spade: https://spade-lang.org/

Surfer: https://surfer-project.org/

Tinytapeout TT06 Bringup Party: https://ida.dk/arrangementer-og-kurser/arrangementer/tinytapeout-tt06-bringup-party-358128

Neuromorphic computing: https://en.wikipedia.org/wiki/Neuromorphic_computing

Farshad Moradi: https://www.au.dk/en/[email protected]

Pragmatic: https://www.pragmaticsemi.com/

Cerebras: https://cerebras.ai/product-chip/

Lightmatter: https://lightmatter.co/products/passage/

Chapters

00:00 Introduktion til chip design og VR teknologi

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de nuværende udfordringer i AI-udviklingen, herunder diminishing returns, samarbejdet mellem Google og OpenAI, samt vigtigheden af dataens kvalitet og de økonomiske aspekter ved træning af AI-modeller. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de nuværende tendenser inden for AI, herunder investeringer i nye modeller som GPT-5 og GPT-6, samt de økonomiske realiteter bag hype. De udforsker også kreative tilgange til AI-udvikling, herunder 'chain of thought' prompting og 'test time training', som kan forbedre AI-modellers præstationer. Desuden præsenteres et nyt projekt, Garak, der fokuserer på LLM-sikkerhed. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de sikkerhedsudfordringer, der er forbundet med store sprogmodeller (LLM'er), herunder problemer som prompt injection, hallucinationer og misinformation. De taler også om vigtigheden af at teste og evaluere LLM'er for at sikre, at de fungerer korrekt og etisk. Diskussionen berører nuværende evalueringsmetoder og deres begrænsninger, samt fremtidige perspektiver for AI-ingeniører.

Links:

🔥 Test-time Training paper: https://arxiv.org/abs/2411.07279

🔥 Ugens repo: https://github.com/NVIDIA/garak

Kapitler

00:00 Introduktion til AI-udviklingens udfordringer

03:09 Google og OpenAI's samarbejde

05:59 Diminishing Returns i AI-modeller

09:01 Kvalitet vs. kvantitet i data

12:02 Innovative metoder til dataindsamling

14:59 Økonomiske udfordringer i AI-udvikling

21:05 Investeringer i AI: Hype og Realiteter

23:12 Kreativ Tænkning i AI-udvikling

24:35 Chain of Thought: En Ny Tænkning i AI

30:02 Test Time Training: En Revolution i AI

40:21 Ugens Repo: Garak og LLM-sikkerhed

43:40 Sikkerhedsudfordringer ved LLM'er

47:54 Testning og evaluering af LLM'er

54:00 Kritik af nuværende evalueringsmetoder

59:52 Afslutning og fremtidige perspektiver

I denne episode af Verbos podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste fremskridt inden for AI, herunder Tencent's nye LLM, Hunyan MoE A52B, og den innovative startup Phi Zero, der fokuserer på at udvikle fysisk intelligens. De udforsker også emner som generelle foundation modeller i robotics og balancen mellem specialisering og generalisering i AI-forskning. I denne samtale diskuterer værterne Jonas Høgh Kyhse-Andersen og Kasper Junge emner relateret til robotteknologi, sprogmodeller og den nyeste udvikling inden for audio generation. De reflekterer over, hvordan tilgængeligheden af software har fremmet innovation og hvordan nye værktøjer som Notebook LM kan revolutionere måden, vi interagerer med information på. Samtalen dykker også ned i de teknologiske udfordringer ved at generere naturlig lyd og opretholde koherens i audio-modeller. I denne episode diskuterer værterne Jonas Høgh Kyhse-Andersen og Kasper Junge emner relateret til stemmemodellering, akustik og AI-integration. De dykker ned i, hvordan akustiske og semantiske tokens bruges i AI-modeller, og hvordan disse teknologier kan anvendes i praktiske applikationer som Integuru, et framework til automatisering af API-interaktioner. Samtalen udforsker også, hvordan LLM'er kan forbedres ved at strukturere information og dokumentation.

Chapters

00:00 Introduktion til AI og Tencent

Links

https://github.com/Tencent/Tencent-Hunyuan-Large

https://www.physicalintelligence.company/blog/pi0?blog

https://deepmind.google/discover/blog/pushing-the-frontiers-of-audio-generation/

https://research.google/blog/soundstream-an-end-to-end-neural-audio-codec/

AudioLM: https://arxiv.org/abs/2209.03143

W2v-BERT: https://arxiv.org/abs/2108.06209

https://github.com/Integuru-AI/Integuru

I denne episode af Verbos Podcast diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen status på AI-udviklingen, herunder udfordringer og muligheder inden for generative AI og recommender systems. De reflekterer over klassifikationsmodeller, LLMs, og vigtigheden af transparens og tillid i AI-applikationer. Desuden berører de fremtidige muligheder for AI-teknologi og potentialet i talegrænseflader. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til digital interaktion, fremtidens teknologi, innovative kommunikationsmetoder og nye brugergrænseflader. De udforsker, hvordan teknologi påvirker vores adfærd og interaktioner, samt hvordan nye interfaces kan ændre måden, vi arbejder og kommunikerer på. Samtalen berører også emner som computer use og de udfordringer, der følger med høje abstraktionsniveauer i softwareudvikling. I denne samtale diskuterer værterne Jonas Høgh Kyhse-Andersen og Kasper Junge emner relateret til RPA, AI værktøjer, og multiagent systemer. De udforsker OpenAI's Swarm og Crew AI, samt hvordan agenter kan implementeres i AI systemer. Derudover berører de vigtigheden af datahåndtering og prompt versionering i udviklingsprocesser.

Chapters

00:00 Status på AI-udviklingen

I denne episode af Verbos Podcast diskuterer Kasper Junge, Jonas Høgh Kyhse-Andersen og Anders Bæk fremtiden for kunstig intelligens (AI) og dens indvirkning på samfundet.

De udforsker emner som selvkørende biler, AI-assistenter, og hvordan AI vil ændre vores kommunikation og produktivitet. Anders Bæk deler sin baggrund og perspektiv på AI, og de diskuterer de paradigmer, der vil forme fremtidens AI-teknologi. Samtalen berører også samfundets accept af ny teknologi og hvordan AI vil blive en integreret del af vores hverdag. I denne samtale diskuterer deltagerne de fremtidige implikationer af AI og selvkørende biler. De berører emner som inflation i AI, kvalitetsmærkning af produkter, real world AI, og hvordan selvkørende biler kan revolutionere trafikken og byplanlægning. Derudover diskuteres dataindsamling, brugeradoption og de sociale ændringer, der kan følge med overgangen til selvkørende biler. I denne samtale diskuterer værterne fremtiden for humanoide robotter, deres integration i hverdagen og arbejdsmarkedet, samt de etiske og sikkerhedsmæssige udfordringer, der følger med. De berører også emnet kunstig generel intelligens (AGI) og hvordan det kan ændre vores forståelse af intelligens og teknologi. I denne episode diskuterer værterne AGI (Artificial General Intelligence) og de potentielle fremtidige konsekvenser af AI-teknologi. De udforsker forskellige synspunkter om, hvordan AGI kan opnås, de etiske overvejelser og risici forbundet med avanceret AI, samt hvordan samfundet kan ændre sig i takt med udviklingen af robotter og AI-systemer. Diskussionen inkluderer også muligheden for robotrettigheder og hvordan AI kan påvirke menneskelig status og velstand.

Chapters

00:00 Introduktion til AI og Fremtiden

I ugens afsnit taler vi ny version af Python, “nyt” Llama release, Liquid Foundation Models og en bonus nyhed!

Links:

Chapters

00:00 Introduktion til AI-nyheder