Verbos: AI og Softwareudvikling

#73 - AI Nyheder + Kaspers Tur til Meta i Sillicon Valley


Listen Later

I denne episode af Verbos Podcast diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste nyheder inden for AI, herunder Googles nye Genie 2-model, opdateringer til Lama 3.3, OpenAI's 'Shipmas' initiativ, og nye abonnementsmuligheder for ChatGPT. De udforsker også fremtidige interaktioner med AI-modeller og hvordan disse teknologier kan ændre vores måde at arbejde og kommunikere på. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til OpenAI's nye API til reinforcement learning, hvordan det kan anvendes til fine tuning af AI-modeller, samt de tekniske aspekter af kvantecomputing og qubits. De dykker ned i forskelle mellem gamle og nye metoder inden for reinforcement learning og giver eksempler fra medicinsk forskning. Samtalen berører også stabiliteten af reinforcement learning pipelines og de seneste fremskridt inden for kvantecomputing, herunder Googles Willow chip. I denne samtale diskuterer værterne emner relateret til computere, kvantemekanik, AI-strategier og personlige oplevelser fra Silicon Valley. De dykker ned i tekniske aspekter af computere, herunder støjfølsomhed og kvantecomputing, samt de filosofiske og praktiske implikationer af sprogteori i AI. Derudover præsenteres en ny AI-strategi for digitalisering i Danmark, og værterne deler personlige anekdoter fra deres rejse til Silicon Valley. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen deres oplevelser fra en konference om LLM-forskning og udvikling. De dykker ned i emner som fine-tuning af modeller, udfordringer ved sprogunderstøttelse, og Metas strategi for at fremme open source AI. Gennem samtalen fremhæves vigtigheden af samarbejde og feedback fra udviklerfællesskabet for at forbedre AI-teknologier.

Chapters

00:00 Introduktion til AI-nyheder

02:59 Google Genie 2: En ny 3D-model
06:02 Lama 3.3: Multilingualitet og forbedringer
09:03 OpenAI's 12 Days of Shipmas
11:54 ChatGPT Pro: Nye abonnementsmuligheder
15:03 Sora: En ny video- og tekstmodel
17:58 Fremtidige interaktioner med AI-modeller
22:31 Generering af videoer og visuel forståelse
25:07 Reinforcement learning fra menneskelig feedback
28:20 Gamle og nye metoder i reinforcement learning
30:44 Eksempler på fine tuning i medicinsk forskning
32:56 Stabilitet i reinforcement learning pipelines
35:12 Google Willow og kvantecomputing
39:31 Forståelse af qubits og superposition
45:59 Random circuit sampling og kvantebenchmarking
48:02 Støjfølsomhed i Computere
50:02 Continuous Thought vs. Chain of Thought
52:05 Sprogets Eksternalitet og Intern Sprog
55:56 AI-strategi for Digitalisering
01:03:59 Røverhistorier fra Silicon Valley
01:10:40 Konferenceoplevelser og LLM-forskning
01:18:42 Udfordringer ved fine-tuning af LLM'er
01:26:13 Metas strategi for open source AI
01:32:30 Afslutning og refleksioner over AI-udvikling

...more
View all episodesView all episodes
Download on the App Store

Verbos: AI og SoftwareudviklingBy Kasper Junge og Jonas Høgh Kyhse-Andersen