Verbos: AI og Softwareudvikling

Hvilke teknikker findes der til at teste sprogmodellers evne til at forstå sprog? Er de åbne engelske og multilingvale modeller gode på de skandinaviske sprog? Eller bør vi yde en indsats i de nordiske lande for at få sprogmodellerne up to speed med at forstå f.eks. dansk? Dan Saattrup Nielsen har udviklet ScandEval, et framework til evaluering af nordiske sprogmodeller. Han ved virkelig meget om evaluering af sprogmodeller, og i dette afsnit af Verbos fortæller han netop om dette!

ScandEval GitHub: https://github.com/ScandEval/ScandEval

ScandEval NLG Leaderboard: https://scandeval.com/mainland-scandinavian-nlg/

ScandEval NLU Leaderboard: https://scandeval.com/mainland-scandinavian-nlu/

I denne uge har vi besøg af Natasha Norsker, som er co-founder af Women in AI Denmark og Data Scientist i Todai. Vi taler om AI før og efter ChatGPT, arbejdet som AI konsulent, graf neurale netværk og meget mere!

AI eksploderer lige nu, og mange leder efter kvalificeret arbejdskraft til at drive udviklingen. Men hvad vil det sige at være Data Scientist, Machine Learning Engineer, Data Engineer osv.? Hvilke skills er værdifulde at have, hvis man gerne vil positionere sig som AI-udvikler? Og hvad er kendetegn ved virksomheder, som er attraktive over for AI-ingeniører? Det, og mere, skal vi tale om i denne uges afsnit af Verbos Podcast 🔥

I denne episode tager vi en snak med to af de primære folk bag det danske sprogteknologiske projekt Danish Foundation Models (DFM). I DFM-projektet arbejdes der med at udvikle danske sprogmodeller, blandt andet en dansk Large Language Model (LLM), men også en række andre typer sprogmodeller, som vi skal tale med Kenneth og Lasse om. Lyt med på dagens afsnit og bliv klogere på Danish Foundation Models-projektet 🚀

DFM website: https://centre-for-humanities-computing.github.io/danish-foundation-models/

DFM repository: https://github.com/centre-for-humanities-computing/danish-foundation-models

2023 var et vildt AI år, vi tror at 2024 bliver endnu vildere! Her er de teknologier som vi tror blive vigtige og derfor gerne vil nørde i 2024!

Links:

- verbospodcast.dk

- https://github.com/huggingface/candle

- https://github.com/jmorganca/ollama

- https://github.com/openai/weak-to-strong

- https://github.com/microsoft/autogen

2023 har været et CRAZY AI år! Vi gennemgår AI året der gik i denne jule/nytårs special af Verbos Podcast 🎆

I denne uge er vi tilbage og zoomer ind på et udvalg af AI nyheder. Vi taler om Googles nye model serie Gemini, Mistrals nye Mixture of Experts model, Hugging Face's nye PyTorch-agtige framework "Candle" som er skrevet i Rust, og så en ny samling af organisationer kaldet AI Alliance, som bl.a. vil arbejde imod mere åben AI.

I denne uges episode af Verbos sidder Jonas og Kasper fysisk sammen hos Kasper! Vi benytter lejligheden til at imødekomme en lytterhenvendelse om at gennemgå nogle af de tekniske AI-ord, vi bruger flittigt i podcasten! Derfor går vi i dag igennem en liste af 20 tekniske AI-termer og forklarer dem så grundigt, at vi forhåbentlig kan gøre os forståelige over for flere af vores lyttere 🤗

Her er en liste over de begreber vi forklarer 👇
- Neuralt netværk
- Embeddings
- Vector databaser
- Embeddings
- RAG
- Transformer
- Attention
- Tokens / Tokenizer
- Backpropagation
- Recurrent Neural Network
- AI vs ML
- LLM
- RLHF
- Reinforcement Learning
- Supervised vs Unsupervised Learning vs Self-supervised Learning
- Prompt Engineering
- Fine tuning
- Pretraining
- Encoder
- Decoder