Verbos: AI og Softwareudvikling

I denne Verbos Podcast-episode diskuterer Kasper og Jonas uformelt en række AI-relaterede emner. De udforsker AI-udviklerværktøjer som Cursor og GitHub Copilot, samt brugen af large language models i kodeudvikling. Samtalen berører også embedding, vectordatabaser og YouTube's anbefalingsalgoritmer, med fokus på relevans og rangering i søgesystemer. De drøfter robottekster og AI-crawlere, samt vigtigheden af accept-reject-interfaces i redigeringsmiljøer. Afslutningsvis udforsker de potentialet for tale som softwareinterface, herunder multimodal interaktion og talekommandoer i forskellige scenarier, og diskuterer hvordan denne teknologi kan integreres i dagligt arbejde med software.

Chapters

00:00 Introduktion til AI-gossip og AI-udviklerværktøjer

19:38 Brugen af large language models til kodeudvikling

21:13 Relevans og rangering i søgning og anbefalingssystemer

22:20 Diskussion om robottekster og AI-crawlere

23:14 Forbedring af arbejdsprocessen med kodeværktøjer

26:45 Integrering af AI i redigeringsmiljøer

29:17 Evaluering og forbedring af machine learning-systemer

31:57 Fokus på brugeroplevelse og kontekstforståelse

46:06 Introduktion til taleinteraktion

56:58 Effektivitet og multimodal interaktion

01:06:17 Adoption og brugbarhed af taleinteraktion

01:09:27 Taleinteraktion i forskellige scenarier

I denne uge i Verbos Podcast besvarer vi lytterspørgsmål med CBS-adjunkt Sine Zambach om large language models og bias. Vi taler om alt fra brugen af AI-modeller i undervisning til de tekniske aspekter af forskellige modeltyper. Vi udforsker, hvordan større modeller og datasæt påvirker resultater og introducerer bias, samt hvordan instruktioner og reward-modellering spiller ind. Diskussionen berører også fremskridt inden for fortolkning af sprogmodeller, herunder hvordan de lærer og komprimerer viden. Vi overvejer etiske aspekter ved brug af AI, herunder anvendelsen af syntetiske data og vigtigheden af diverse prompts for at opnå varieret output. Samtalen afsluttes med refleksioner over, hvordan AI kan bruges positivt i verden og i undervisningen, med fokus på læreres rolle i at hjælpe elever med at navigere i AI-bias.

Find Sine Zambachs bog “AI i gymnasiet” her:

Teater Fantast:

https://www.teaterfantast.dk/data-data/

Chapters

00:00 Introduktion og lytterspørgsmål

I denne uges afsnit af Verbos podcast diskuterer Kasper og Jonas AI-udviklingen og den dalende hype omkring teknologien. De refererer til en artikel fra The Economist og Gardner's Hype Cycle for at vurdere AI's nuværende status. De taler om Kaspers AIJobs.dk, Nvidia's succes, og udfordringerne ved AI-implementering i virksomheder. AI beskrives som et værktøj, der kan øge produktivitet, men som kræver omstrukturering og omskoling. De diskuterer forskellige perspektiver på AI, fra bruger til udvikler, og udfordringerne ved at få AI til at fungere optimalt. Large language models som GPT-3 og GPT-4 nævnes, sammen med faktorer som compute og omkostninger. Brugeroplevelse, stemmeinteraktion og fremtidige interaktionsformer med AI overvejes. Afslutningsvis diskuteres potentialet for AI-assistenter i software, forventninger til AGI, og brugen af DSPY-frameworket til prompt engineering.

Links:

https://www.seldon.io/the-significance-of-ai-engineering-in-the-gartner-hype-cycle-for-artificial-intelligence-2024-reporthttps://archive.ph/2024.08.19-181628/https://www.economist.com/finance-and-economics/2024/08/19/artificial-intelligence-is-losing-hype

Chapters

00:00 Introduktion til AI-hype

03:20 Frontend og machine learning

06:14 Kaspers AIJobs.dk-website

09:39 Er vi ved at være ude over det værste nu?

15:05 Nvidia's succes og infrastruktur

18:08 Forventninger og risici ved AI-investeringer

20:38 AI som et værktøj i en værktøjskasse

23:11 Perspektiver på AI

26:21 Engineering og domænekendskab er nødvendigt for at få AI til at virke

28:47 Udfordringer og huller i large language models

31:35 Compute og omkostninger ved implementering af AI

34:54 Standardisering af brugeroplevelsen og fremtiden for stemmeinteraktion

39:13 Ændring af interaktion med teknologi og brugen af large language models i backenden

41:09 Strukturering og berigelse af data i backenden af software

43:34 Potentialet for AI-assistenter i software

46:03 Refleksion over AI-hypen og forventninger til AGI

55:46 Introduktion til DSPY: Et open source framework til prompt engineering

I Verbos Podcast taler Kasper Junge og Jonas Høgh Kyhse-Andersen med clerk.io founder, -Kristian Bjergergaard, om iværksætteri og AI. Hans-Kristian fortæller om sin erfaring fra Unisport med recommendation systemer og grundlæggelsen af Clerk.io. Nu arbejder han med WorkJoy og UpdateMate, der bruger AI til automatisering af rapportering. De diskuterer vigtigheden af domænespecifik viden, brugerfeedback og kritisk tænkning i AI-udvikling. Hans-Kristian forklarer idéen bag UpdateMate og dets udvikling til et AI-drevet samarbejdssystem. Samtalen berører også tekniske udfordringer ved generativ AI, dataintegrationer og det danske udviklermiljø.

Kapitler

00:00 Rejse som iværksætter og ind i AI-verdenen

06:35 Arbejde med recommendation systemer hos Unisport

13:44 Tidlig e-handelsindustri i Danmark

22:50 Tech-aspekter og domænespecifik viden

27:48 Vigtigheden af feedback og problemløsning

37:19 UpdateMate: Brug af AI-agenter til generering af rapporter

46:51 Tekniske udfordringer og dataorganisering i generative AI

50:04 Vigtigheden af conversational analysis

51:57 At være en hands-on leder

01:05:25 Det danske udviklermiljø og iværksætteri

I denne episode af Verbos podcast vender Jonas og Kasper tilbage efter sommeren og diskuterer aktuelle emner inden for tech og AI. De taler om OpenAI's nye Structured Outputs funktion, en hændelse med Crowdstrike's sikkerhedssoftware, og Kaspers erfaringer med at bygge et job board. Værterne diskuterer Llama 3.1 405B og spekulere over hvliken betydning den vil have for open source i AI-verdenen. De taler brugen af OpenAI's API til strukturerede outputs og diskuterer fordele ved forskellige udviklingsværktøjer og frameworks. Episoden afsluttes med en opdatering om AI Jobs-projektet og en opfordring til lytterne om at følge med på sociale medier.

Kapitler

00:00 Velkommen tilbage fra sommerferien

01:08:37 At finde balancen mellem eksisterende værktøjer og egen kode

Takeaways

- OpenAI har udgivet Lama 3.1, en opdateret version af deres store sprogmodeller.

- OpenAI's Structured Outputs er en ny funktionalitet, der viser en trend i brugen af store sprogmodeller.

- Kasper har bygget et job board og har erfaret udfordringerne ved at arbejde med store sprogmodeller og full stack-udvikling.

- Open source spiller en vigtig rolle i AI-verdenen, og Meta (tidligere Facebook) har valgt at open source deres store sprogmodeller.

- Brugen af store sprogmodeller som GPT-4 rejser spørgsmål om lovlighed, dataetik og muligheden for at bruge modellerne lokalt. Softwaretestning er afgørende for at undgå katastrofale fejl som den med CrowdStrike

- OpenAI's API understøtter nu strukturerede outputs i form af JSON-data, hvilket åbner op for nye anvendelser

- Store sprogmodeller som OpenAI's kan distilleres til mindre klassiske klassifikatorer Brug af JSON-schema og Pydantic-modeller kan hjælpe med at strukturere og validere data i OpenAI's API.

- Frameworks som FastAPI og Next.js kan være nyttige til at udvikle fuldstack-applikationer.

- Open-source-templates som FastAPI Fullstack Template kan være en god start for udviklere, der ønsker at bygge deres egne applikationer.

- AI Jobs-projektet er under udvikling, og Kasper deler sine erfaringer og udfordringer med at bygge applikationen.

- Det er vigtigt at finde den rette balance mellem at bruge eksisterende værktøjer og skrive sin egen kode, når man udvikler softwareprojekter.

I denne uge taler vi om nye LLM-releases, et nyt vidundertrick til at øge performance af LLM-træning og -inference, hvordan AI-agenter kan gå sammen om at udnytte sårbarheder i software, og så introducerer vi et nyt koncept i Verbos Podcast, nemlig “Ugens Repos”. Denne episode er den sidste, inden vi holder sommerferie, men vi er stærkt tilbage den 31. juli 💪

Links:

Better & Faster Large Language Models via Multi-token Prediction: https://arxiv.org/abs/2404.19737

Teams of LLM Agents can Exploit Zero-Day Vulnerabilities: https://arxiv.org/abs/2406.01637

Nemotron-4 340B: https://research.nvidia.com/publication/2024-06_nemotron-4-340b?utm_source=substack&utm_medium=email

Ugens Repos:

NVIDIA Warp: https://github.com/NVIDIA/warp

Vanna AI: https://github.com/vanna-ai/vanna

Instructor: https://github.com/jxnl/instructor

Polars: https://github.com/pola-rs/polars

Apple offentliggjorde til 2024 Worldwide Developers Conference et nyt samarbejde med OpenAI og ikke mindst det, de kalder Apple Intelligence, som er Apples første bud på en integration af generativ AI på deres devices. Det er et mix af Apples proprietære on-device og cloud LLM'er, samt ChatGPT til at løse ekstra svære opgaver. Vi skal tale om Apple Intelligence, modellerne bag, som Apple har været meget åbne om i en researchartikel, og så skal vi tale om, hvad vi forestiller os bliver fremtiden indenfor generativ AI 🤖. Og så har vi fået ingen ringere end Christian Bech Nørhave i studiet til at hjælpe os med at vurdere Apple Intelligence og tage et kig ind i krystalkuglen 🔮.

Apple ML research artikel: https://machinelearning.apple.com/research/introducing-apple-foundation-models

Dansk Erhverv har samlet en AI-Koalition, som har givet 25 anbefalinger om AI rettet imod henholdsvis politik, EU, lovgivning, den offentlige sektor og virksomheder. Vi gennemgår anbefalingerne og giver vores besyv med et smil på læben 😊

Google DeepMind har for nylig udgivet AlphaFold 3 🚀 Det er super spændende, men i Verbos Podcast har vi måttet indse, at vi ved alt for lidt om, hvad AlphaFold-modeller er, hvordan de virker, og hvilke problemer de løser. Derfor har vi i denne uge allieret os med Alexander Mathiasen, som skal hjælpe med at gøre os klogere på emnet! Det blev til en times meget spændende og lærerig snak, som vi har glædet os til at vise jer 🤩