Wann sich KI im eigenen Haus wirklich rechnet – und wann die Cloud einfach billiger bleibt.
Kleine Sprachmodelle auf eigener Hardware – die nüchterne Bestandsaufnahme.
Ein Small Language Model läuft auf einem Arbeitsplatzrechner, einem kleinen Server oder einer einzelnen Grafikkarte – kein Rechenzentrum nötig. Damit adressiert diese Modellklasse genau die drei Punkte, an denen Cloud-KI im DACH-Mittelstand regelmäßig hängt: Kosten, Datenschutz und Abhängigkeit von einzelnen US-Anbietern.
Was ein SLM ist – und warum „Open-Weight" nicht dasselbe ist wie „Open Source"
Grund 1 für die Wende: Offene Modelle liegen nur noch drei bis vier Monate hinter den geschlossenen Spitzenmodellen (Epoch AI)
Grund 2: Lizenzen sind geschäftstauglicher geworden – aber nicht einheitlich. Vorsicht bei Google Gemma und Meta Llama
Teuken-7B: das europäische Modell aus dem Projekt OpenGPT-X, trainiert in allen 24 EU-Amtssprachen
Grund 3: Die Hardware ist da – von 4-GB-Modellen auf dem Notebook bis zum Tischgerät mit 128 GB Unified Memory
Die Kostenrechnung ehrlich gerechnet: versteckte Betriebskosten, ein hoch sitzender Break-even und der unfaire Vergleich zwischen kleinem lokalem und großem Cloud-Modell
Wofür SLMs reichen: Klassifizieren, Extrahieren, Zusammenfassen, Antwortbausteine, einfache Code-Hilfen
Wofür nicht: breites Weltwissen, mehrstufiges Schlussfolgern, höchste Faktentreue ohne Quellenanbindung
Warum hybride Setups für den Mittelstand meist die richtige Antwort sind
Gartner-Prognose: Bis 2027 werden kleine, aufgabenspezifische Modelle dem Volumen nach dreimal häufiger eingesetzt als allgemeine große Sprachmodelle
Epoch AI: Capabilities Index, Analysen Okt. 2025 und Jan.–Mai 2026
Hugging Face: „State of Open Source on Hugging Face: Spring 2026"
Gartner: Pressemitteilung vom 09.04.2025 (Analystenprognose)
Fraunhofer IAIS / OpenGPT-X: Modellkarte Teuken-7B · Deutsche Telekom
Model Cards für Qwen 3, Gemma 3, Phi-4, Llama 3.2, Mistral (Stand Juni 2026)
Kostenrichtgrößen: cogitx.ai / Intuz, SitePoint, Marka Development (2026)
Prompt-Zeit ist ein KI-generierter Podcast: Stimmen, Recherche und Redaktion entstehen mit künstlicher Intelligenz.