Es geht wir über ein Thema, das immer relevanter wird: lokal laufende KI.
Während viele KI-Anwendungen heute komplett über Cloud-Dienste funktionieren, wächst gleichzeitig das Interesse daran, Modelle direkt auf dem eigenen Rechner oder sogar auf dem Smartphone auszuführen. Warum? Vor allem wegen Datenschutz, Kontrolle, Unabhängigkeit — aber auch wegen möglicher Kostenersparnis, wenn KI-Agenten künftig dauerhaft für uns arbeiten.
In dieser Folge sprechen Hannes, Uli und Martin darüber,
was „lokale KI“ eigentlich bedeutet,
welche Vor- und Nachteile lokale Modelle gegenüber Cloud-KI haben,
welche Hardware man dafür braucht,
wie Tools wie Ollama und Open WebUI funktionieren,
warum persönliche Notizen und private Dokumente ein spannender Anwendungsfall sind,
wo lokale Modelle heute noch deutlich schwächer sind als GPT, Claude oder Gemini,
und warum lokale Bild- und Videomodelle gesellschaftlich auch heikle Fragen aufwerfen.
Uli berichtet von seinen ersten Experimenten mit einem lokalen AI-Stack und davon, wie er beginnt, seine privaten Notizen aus vielen Jahren mit einer lokal laufenden KI auszuwerten. Martin bringt die Perspektive aus dem Alltag mit ein: Wann reichen lokale Setups aus — und wann braucht es doch die stärksten Modelle aus der Cloud? Außerdem geht es um Vertrauen, Plattformabhängigkeit, Open-Source-Modelle aus den USA und China sowie um die Frage, ob die Zukunft vielleicht in einer Kombination aus lokaler und cloudbasierter KI liegt.
Zum Schluss gibt es noch einen Blick auf lokale KI auf dem Smartphone — und auf die Vision eines persönlichen Assistenten, der einen wirklich kennt, ohne dass alle Daten ständig das eigene Gerät verlassen.
Datenschutz und Datensouveränität
Open-Source-Modelle und Fine-Tuning
Ollama, Open WebUI und persönliche Wissensdatenbanken
Kosten von KI-Modellen und Agenten
Lokale Bild- und Videogenerierung
Die Zukunft persönlicher KI-Assistenten
Genannte Tools und Begriffe