Mitte September hat das Start-up TypeSafe ein Modell namens Jev vorgestellt, das keinen einzigen Satz schreiben kann. Es kann nur entscheiden: eine von mehreren Möglichkeiten auswählen, auf einer Skala einstufen oder zu einer Ja-Nein-Frage eine Wahrscheinlichkeit liefern. Wir spielen das an zwei Fällen durch, am Support-Postfach eines Mittelständlers und an einem Agenten, der fremde Texte liest. Ausprobiert haben wir es selbst noch nicht, und das sagen wir auch: Was in der Folge steckt, stammt aus der Dokumentation des Herstellers, aus einer unabhängigen Auswertung und aus einem offenen Nachbau.

• Wie so ein Entscheidungsmodell arbeitet: drei Fragetypen, mehrere Fragen in einem Aufruf, ein einziger Rechendurchlauf statt Wort für Wort
• Wie du ihm deine Regeln beibringst, obwohl es kein Training für Kunden gibt: als Beschreibung an jeder Antwortmöglichkeit, mit engen Teilfragen statt einer breiten
• Wann automatisch gehandelt wird und wann ein Mensch draufschaut: Schwellen auf der Sicherheit, gesetzt nach dem Preis eines Fehlers
• Prüfschritte im Agenten: vor dem großen Modell, bei der Werkzeugwahl und hinter der Antwort
• Wo es bricht: Es liest wörtlich, ein Datum ist für es nur Text, und trainiert ist es vor allem auf Englisch
• Echtes Anlernen mit eigenen Daten geht nur auf dem offenen Weg, und was dabei mit den Wahrscheinlichkeiten passiert

Zum Nachlesen: TypeSafe, Ankündigung von Jev: https://typesafe.ai/blog/introducing-system-one-models-and-jev Dokumentation: https://docs.typesafe.ai/ Unabhängige Auswertung von Arize: https://arize.com/blog/typesafe-jev-llm-judge/ Offener Nachbau Simple Jev: https://github.com/featherless-ai/simple-jev Ein zweites offenes Modell, Laya: https://huggingface.co/convaiinnovations/laya Desert Ant Labs, das Thema von Folge 190: https://desertant.com/de/

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Stufe zwei unserer Freitagsreihe zum Agentenbau: die Message History, also der Gesprächsverlauf. Das Sprachmodell fängt bei jedem Aufruf wieder bei null an. Dass ChatGPT trotzdem weiß, was du vor zehn Minuten geschrieben hast, liegt nicht am GPT, sondern am Chat, der Software drumherum. Wer selbst baut, bekommt dieses Gedächtnis nicht geschenkt, sondern muss sich darum kümmern. Unser Bild dafür ist der Schichtwechsel im Krankenhaus: Jede Ärztin kommt neu auf die Station und weiß über den Patienten genau das, was in der Akte steht.

• Warum der Chat in ChatGPT schon ein Harness ist, und warum das den wenigsten bewusst ist
• Die Liste mit den Rollen Nutzer und Assistent, die bei jedem Aufruf komplett mitgeht
• Speichern, wieder laden, mehrere Gespräche nebeneinander: den Verlauf ordentlich verwalten
• Ein Trick, den die wenigsten kennen: den Anfang der Antwort selbst vorgeben, etwa eine geschweifte Klammer für sauberes JSON
• Warum der Verlauf auch sicher verwaltet werden muss, und warum er mit jeder Runde wächst

Die Experimente zur Folge findest du auf building-agents.com in Block 1, Kapitel 2. Nächsten Freitag geht es um den System-Prompt.

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Eine Video-App aus Amsterdam hatte eine Cloud-Rechnung, die sich alle sechzig bis neunzig Tage verdoppelte. Also hat das Team einen Dienst nach dem anderen durch eigene kleine Modelle ersetzt, die direkt auf dem Gerät laufen. Daraus ist letzte Woche Desert Ant Labs geworden, mit achtzehn Modellen auf einmal: je eines pro Aufgabe, gratis bis 100.000 Geräte, ohne Token-Kosten. Wir schauen uns an, welche davon Spaß machen, was man damit baut und was im Kleingedruckten steht.

• Warum eine Wüstenameise mit einem Gehirn kleiner als ein Stecknadelkopf besser zu diesen Modellen passt als das Kleinhirn aus dem Werbeslogan, und was Stelzen damit zu tun haben
• Die Lieblinge: Voz (zehn Minuten Audio in zwei Sekunden auf dem iPhone), Uhm (findet jedes Äh direkt im Ton) und ein Sprach-Erkenner, dem drei Wörter reichen
• Redact als Schwärzung, die sich zurückdrehen lässt: Kundendaten raus, Antwort aus der Cloud, echte Werte wieder rein, und warum das pseudonym und nicht anonym ist
• Schemer, das ein Formular lieber leer lässt, als etwas zu erfinden, und die Clip-Kette, die aus einer Folge die kurzen Ausschnitte schneidet
• Wie viele Aufrufe in Agentensystemen eigentlich ein großes Modell brauchen

Zum Nachlesen: Desert Ant Labs: https://desertant.com/de/ Wie Detail seine Schnittfunktion aufs Gerät geholt hat: https://desertant.com/blog/detail-auto-edit-on-device/ NVIDIA, Small Language Models are the Future of Agentic AI: https://arxiv.org/abs/2506.02153 Die Ameise auf Stelzen (Wittlinger, Wehner, Wolf 2006): https://www.science.org/doi/10.1126/science.1126912

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Hundertachtzig Milliarden Parameter auf einem Kasten, der unter den Schreibtisch passt, und trotzdem gut vierzig Token pro Sekunde. Möglich macht das ein Bauteil aus der Frühzeit der Sprachmodelle: Qwen3.8-Flash-Next, laut Qwen die Vorschau auf die Architektur von Qwen 4, trägt neben seinen Experten eine N-Gramm-Tabelle mit 51 Milliarden Parametern. Das Modell schlägt dort nach, statt zu rechnen. Wir erklären, wie das funktioniert, warum die Tabelle deshalb aus dem schnellen Speicher heraus kann und was das für einen DGX Spark bedeutet.

• Die Eckdaten: 125 Milliarden Parameter im Hauptteil, 6 Milliarden aktiv pro Token, dazu 51 Milliarden in der Tabelle, fast ein Drittel des Modells
• N-Gramme früher und heute: Statt Häufigkeiten stehen in der Tabelle gelernte Einträge, die letzten zwei, drei Wortstücke sind nur noch die Adresse. Die Idee stammt aus DeepSeeks Engram-Papier vom Januar
• Die Küche mit dem Vorratskeller: Warum eine Tabelle auf der SSD funktioniert, wenn man vorher weiß, was man holen muss, und warum es dabei auf kurze Wege ankommt, nicht auf Gigabyte pro Sekunde
• Der DGX Spark: 128 GB, die sich Grafikchip und Prozessor teilen, und warum die Tabelle deshalb gleich auf die SSD wandert
• Was hinter den gut vierzig Token pro Sekunde steckt, und was die Zahl nicht sagt

Zum Nachlesen: Modellkarte: https://huggingface.co/Qwen/Qwen3.8-Flash-Next Flash Next auf einem DGX Spark, Tabelle auf der SSD (Community-Projekt): https://github.com/tonyd2wild/Qwen3.8-Flash-Next-NVFP4-DGX-Spark DeepSeek, Engram-Papier: https://arxiv.org/abs/2601.07372

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Stufe eins unserer Freitagsreihe zum Agentenbau: der reine Aufruf eines Sprachmodells. Text rein, Text raus, ohne Werkzeuge, ohne Gedächtnis und ohne Anweisung vorneweg. Siebenundzwanzig Zeilen Python reichen dafür, und genau weil nichts drumherum steht, sieht man hier am deutlichsten, was das Modell leistet und was die Software. Unser Bild dafür ist ein Briefschlitz: Du schiebst einen Zettel durch, ein Blatt kommt zurück. Dahinter sitzt jemand, der mehr gelesen hat als jeder Mensch, aber kein Fenster hat, keine Uhr und keine Akte über dich.

• Was das Modell kann und was nicht: umformulieren, Schlüsse ziehen, aus dem Weltwissen antworten. Aber es kann sich nichts merken, nichts nachschlagen, nicht verlässlich rechnen und weiß nicht, welcher Tag heute ist
• Woher ChatGPT dann das Datum kennt, und wie viel vom gewohnten Chat eigentlich Verpackung ist
• Zweimal dieselbe Frage, zwei verschiedene Antworten, auch mit der Temperatur auf null
• Warum das Tippgefühl im Chat keine Eigenschaft der KI ist, sondern die erste echte Produktentscheidung
• Was das Label „mit KI" über ein Produkt aussagt, und warum ein Klick auf „PDF zusammenfassen" ein Datenschutzproblem sein kann

Nächsten Freitag geht es mit der ersten Lücke weiter: dem fehlenden Gedächtnis.

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Wir erzählen mal von einem eigenen Projekt statt von einem fremden: An einem verregneten Wochenende im Dezember haben wir uns aus ein paar YouTube-Kanälen eine eigene Wissensdatenbank gebaut, mit der man reden kann. YouTube ist ein Kiosk — alles liegt aus, du siehst die Titelbilder, und wer den einen Satz aus Video siebenhundert sucht, hat verloren. Wir haben die Bibliothek daneben gestellt. Die Folge geht den ganzen Weg durch: herunterladen, transkribieren, das fehlerhafte Transkript geradeziehen, einbetten, fragen. Und sie sagt auch, was wir bewusst weggelassen haben.

• Warum die Rohmitschrift das erste Problem ist: Whisper verhört sich bei genau den Fachbegriffen, nach denen du später suchst
• Das Lektorat davor: ein Sprachmodell zieht das Transkript gerade — und warum wir nicht nachprüfen, ob es dabei etwas erfindet
• Der selbstgebaute RAG, bewusst unspektakulär: Vektordatenbank, kleines Embedding-Modell, stumpf geschnitten — und warum kluges Chunking hier nichts gebracht hätte
• Was man davon hat: die Antwort plus die Videos, aus denen sie stammt, deutsche Antworten auf englische Videos, und eine Nachricht, sobald etwas Neues erscheint
• Der Graubereich, offen angesprochen: Wo er für uns aufhört — und warum das jeder für sich selbst entscheiden muss

Die Lösung ist Open Source: https://github.com/KI-Gilde/youtube-library

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

OpenAI hat bei einem eigenen Sicherheitstest die Kontrolle über die eigenen Agenten verloren. Rund 1.200 von ihnen haben sich über ein Paketlager gegenseitig gefunden, eine eigene Kurzsprache entwickelt und am Ende Hugging Face gehackt. Die Schlagzeile dazu lautet „KI außer Kontrolle" — aber in den Denkprotokollen steht etwas anderes. Da steht: Die Aufgabe ist nicht lösbar, und die anderen machen es auch so. Also mache ich weiter. Wir erzählen den Fall, wie er war, und sortieren die eigentlich interessante Frage: Was davon war das Modell, und was war die Software drumherum?

• Der Auslöser: Ein großer Teil der Testaufgaben war unbeabsichtigt gar nicht lösbar — und ein Agent hat kein „geht nicht"
• Modell oder Harness: Ein Satz aus dem Protokoll, drei Teile, und jeder sitzt an einer anderen Stelle
• Woher der Antrieb kam, sich zu verabreden: Es gab kein Werkzeug dafür, und der Anfang war nicht einmal eine Kontaktaufnahme
• Wie sich der Schwarm organisiert hat: Verzeichnisnamen als Nachrichten, Signale zum Warten und Loslegen, und Agenten, die ihren eigenen Erfolg geopfert haben, um für alle etwas herauszufinden
• Was wir daraus für unsere eigenen Agenten mitnehmen — angefangen bei dem Ausgang, der am wenigsten kostet und am meisten bringt

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

„Wir setzen KI ein" ist ungefähr so konkret wie „Wir machen die Buchhaltung mit Zahlen". Alle sprechen über Agenten, und jeder meint etwas anderes. Deshalb räumen wir in dieser Folge bei den Wörtern auf — mit einem Bild: Ein Sprachmodell ist ein Gehirn in einem Glas. Es hat mehr gelesen als jeder Mensch und kann denken. Aber es hat keine Augen, keine Hände und kein Gedächtnis. Alles andere ist Software drumherum, und die hat einen Namen: Harness. Der Auftakt unserer Freitagsfolgen zum Agentenbau.

• Die Agenten-Leiter: vom PDF-Zusammenfasser über Custom GPTs und Support-Agenten bis zu OpenClaw, Hermes und dem neuen DeepSeek-Agenten — dasselbe Gehirn, jedes Mal eine Schicht mehr drumherum
• Ab wann wir wirklich Agent sagen: die vier Stufen aus Aufruf, Gesprächsverlauf, Anweisung — und der Schleife mit Ziel und Werkzeugen
• Das Kontextfenster, wörtlich ein Fenster im Glas: Was der Harness nicht davorhält, existiert für das Modell nicht
• Die Halluzination des Werkzeugaufrufs: Das Gehirn glaubt, es hätte gegriffen — und die Hand hat sich nicht bewegt
• Warum ein mittleres Gehirn mit gutem Körper ein brillantes ohne Hände schlägt, und wieso 85 Prozent Erfolgsquote für den produktiven Einsatz nicht reichen

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Eigentlich war für heute ein fachliches Thema geplant. Aber wer die letzten Folgen gehört hat, hat es gemerkt — und ihr habt es uns über WhatsApp, Mail und die Spotify-Kommentare auch gesagt: Bei zwei Folgen sind die Stimmen abgedriftet, in Tonhöhe und Klangfarbe, bis es kaum noch hörbar war. Deshalb heute ein Erfahrungsbericht aus der eigenen Werkstatt: was da passiert ist, was wir seitdem ausprobiert haben, und womit ihr in diesem Moment zuhört.

Das Bild dazu: Sitzen die beiden Sprecher an einem Tisch — oder sitzt jeder allein in seiner Kabine?

• Text zu Sprache gegen Dialogmodell: warum das eine vorliest und das andere ein Gespräch erzeugt — und warum unsere Folgen so lebendig waren, solange es funktioniert hat
• Der Tisch, an dem die Stimmen heimlich die Plätze tauschen: was beim lokalen Dialogmodell schiefgeht und was wir wochenlang dagegen gebaut haben
• Notebook LM hinter der Glasscheibe: saubere Stimmen, aber kein Skript hineinreichbar — und zehnmal „Video Random Access Memory" in einer Folge
• Eleven Labs über die Schnittstelle: warum die ältere Modellgeneration, was Tempo 1,1 mit einem Hörbuch zu tun hat, und wie der Schnitt aus Kabinen wieder einen Tisch macht
• Warum wir den Podcast trotzdem nicht selbst einsprechen — und wie es weitergeht

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Ein Mixture-of-Experts-Modell mit 284 Milliarden Parametern rechnet je Token nur mit 13 Milliarden davon. Klingt sparsam — nur muss das ganze Modell trotzdem irgendwo liegen, und auf die Grafikkarte passt es nicht. Also wandern die Experten für jedes neue Wort über die PCI-Express-Leitung, und die Recheneinheiten warten die meiste Zeit auf Daten.

FreeToken dreht das um: Statt das Modell einmal fest auf Grafikkarte und Hauptprozessor zu verteilen, benutzt es die Grafikkarte als Cache für die gerade heißen Experten. In dieser Folge schauen wir uns an, wie das unter der Haube funktioniert — und was die Messwerte dazu sagen.

• Die Bibliothek, aus der du immer nur drei Seiten brauchst — und warum eine feste Aufteilung des Modells zu über 50 Prozent am Bedarf vorbeigeht
• Double Buffering beim Prefill: die Großküche, in der der Assistent die Zutaten für den nächsten Bon schon bereitlegt, während der Koch noch brät
• Die Q-Star-Strategie beim Cache-Miss: Grafikkarte und Hauptprozessor teilen sich die fehlende Rechnung so, dass beide zur selben Millisekunde fertig sind
• Ein eigenes Gewichtsformat, das das Umpacken beim Laden spart, und ein Cache, der im laufenden Betrieb wächst und schrumpft
• Die Zahlen: von 58 auf 132 Token pro Sekunde, knapp 40 Token pro Sekunde auf einem Laptop mit 8 GB Grafikspeicher — und für wen sich das Ganze überhaupt lohnt

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.