
Sign up to save your podcasts
Or


Joop Snijder, CTO bij Aigency, ziet organisaties AI-gebruik meten op tokenverbruik en adoptiepercentages, terwijl dat precies de verkeerde metriek is. Zodra tokengebruik een doel wordt, gaan medewerkers prompts verlengen en agents draaien voor taken die ze handmatig sneller doen, puur om hoog te scoren op een dashboard. Dit is Goodhart's law in de praktijk: de metriek stuurt gedrag, maar niet richting betere resultaten.
Joop analyseerde zijn eigen gebruik van Claude over meer dan 2400 berichten en ontdekte dat zijn berichten gemiddeld 84 tekens lang zijn, niet omdat hij weinig doet, maar omdat hij stuurt op richting en bijstuurt op wat hij ziet. Kijk morgen naar de AI-metrics in jouw organisatie: zijn het activiteitsmetrics of outcome-metrics zoals kwaliteit, doorlooptijd en foutreductie? Als het antwoord activiteitsmetrics is, heb je een gesprek te voeren.
Onderwerpen
Genoemde entiteiten: OpenAI - NVIDIA - Claude - Silicon Valley
Stuur ons een bericht
AigencySchrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!
By Joop Snijder & Niels NagléJoop Snijder, CTO bij Aigency, ziet organisaties AI-gebruik meten op tokenverbruik en adoptiepercentages, terwijl dat precies de verkeerde metriek is. Zodra tokengebruik een doel wordt, gaan medewerkers prompts verlengen en agents draaien voor taken die ze handmatig sneller doen, puur om hoog te scoren op een dashboard. Dit is Goodhart's law in de praktijk: de metriek stuurt gedrag, maar niet richting betere resultaten.
Joop analyseerde zijn eigen gebruik van Claude over meer dan 2400 berichten en ontdekte dat zijn berichten gemiddeld 84 tekens lang zijn, niet omdat hij weinig doet, maar omdat hij stuurt op richting en bijstuurt op wat hij ziet. Kijk morgen naar de AI-metrics in jouw organisatie: zijn het activiteitsmetrics of outcome-metrics zoals kwaliteit, doorlooptijd en foutreductie? Als het antwoord activiteitsmetrics is, heb je een gesprek te voeren.
Onderwerpen
Genoemde entiteiten: OpenAI - NVIDIA - Claude - Silicon Valley
Stuur ons een bericht
AigencySchrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

3 Listeners

8 Listeners

4 Listeners

122 Listeners

63 Listeners

83 Listeners

5 Listeners

4 Listeners

141 Listeners

285 Listeners

92 Listeners

14 Listeners

3 Listeners

20 Listeners

0 Listeners