I denne uge taler vi om OpenAI DevDay releases, 100 millioner token kontekst vinduer fra magic.dev, de nye multimodale Molmo modeller fra Ai2o og så napper vi også ugens repo, som i denne uger kommer fra en lytter 🚀

Links:

https://magic.dev/blog/100m-token-context-windows

https://molmo.allenai.org/blog

https://x.com/OpenAIDevs

https://platform.openai.com/docs/changelog

https://github.com/lyogavin/airllm (Tak til Mathias Emil Slettemark-Nielsen 🙏)

https://rlhfbook.com/

Chapters

00:00 Introduktion til AI-nyheder

03:04 Magic.dev og 100 millioner tokens

06:05 ModMo modellerne fra Allen AI

08:57 Debat om danske sprogmodeller

11:56 Effektivitet i kontekstvinduer

14:57 Induction heads og retrieval

17:55 Malmo og Vision Language Models

20:50 Dataindsamling og kvalitet

24:01 Afslutning og fremtidige perspektiver

39:39 Innovationer i ChatGPT

40:54 Dataens Værdi i AI Modeller

43:51 Udfordringer med Data Science

44:38 OpenAI Dev Day og API Opdateringer

45:45 Real-time API og WebSocket Kommunikation

49:50 Model Distillation og Fine Tuning

53:33 Vision Fine Tuning i AI

55:46 Evaluering af LLM'er med EVALS

01:00:10 Prompt Caching og Omkostningsbesparelser

01:06:36 Unes Repo og LLM Inference

01:12:15 Afslutning og Anbefalinger