In dieser Episode tauchen wir in die Welt der Sprachmodell-Skalierung ein und beleuchten, wie sich die Größe von Modellen auf ihre Fähigkeiten auswirkt.

Wir besprechen, dass die Größe eines Large Language Models (LLM) in Parametern gemessen wird, von kleinen Modellen mit wenigen Milliarden bis hin zu gigantischen Systemen mit Billionen von Parametern. Ein Schwerpunkt liegt auf den beeindruckenden Fortschritten kleinerer Modelle in der jüngsten Vergangenheit. Wir analysieren, wie Modelle wie Mistral 7B und Quen 1.5e die 60%-Hürde im MMLU-Benchmark überschritten haben, eine Leistung, die früher nur viel größeren Modellen vorbehalten war. Das bedeutet, dass wir monatlich lernen, kompetentes generalistisches Verhalten in immer kleinere Fußabdrücke zu pressen. Diese Entwicklung eröffnet neue Möglichkeiten für den Betrieb lokaler Modelle. Wir erörtern Anwendungsfälle für On-Device-KI, wie Tastaturvorhersage oder Sprachbefehle, die von niedriger Latenz und strengem Datenschutz profitieren. Auch für alltägliche Aufgaben wie die Zusammenfassung von Nachrichten und den Einsatz in Enterprise-Chatbots sind kleine Modelle oft ausreichend und sogar vorzuziehen, da sie einen Bruchteil der Kosten verursachen und schneller laufen. Wir diskutieren auch, wie die Zukunft aussehen könnte und ob "größer besser" oder "kleiner schlauer" ist. Während expansive, offene Schlussfolgerungen oft von schierer Größe profitieren, liefern sorgfältig trainierte kleine Modelle für fokussierte Fähigkeiten wie Zusammenfassen und Klassifizieren 90 % der Qualität zu einem Bruchteil der Kosten. Die Entscheidung, welches Modell man einsetzen sollte, hängt letztlich vom Anwendungsfall, der Latenz, den Datenschutzbeschränkungen und dem GPU-Budget ab.