Der Hype um Künstliche Intelligenz wurde von großen Sprachmodellen gezündet. Wie deren Name schon andeutet, fressen sie gewaltige Mengen Rechenleistung und laufen daher in Rechenzentren, also in der Cloud.

Folglich gibt man seine Daten aus der Hand, wenn man sie benutzt. Grundsätzlich geht das auch anders, indem man KI lokal betreibt, also auf Desktop-PC, Notebook, Smartphone oder sogar NAS oder Homeserver. Weil derartige Hardware jedoch weniger Rechenleistung, Arbeits- und Massenspeicher hat, kann sie nur kleinere KI-Modelle bewältigen.

Einige gibt es schon, beispielsweise zur Bilderzeugung oder zur Transkription von Audio-Aufnahmen in Text. Von vielen Large Language Models (LLMs) gibt es zwar verkleinerte Versionen, die auf einem Notebook laufen, aber viel schlechter.

Die c’t-Redakteurin Andrea Trinkwalder erklärt im Gespräch mit ihrem Kollegen Christof Windeck, welche lokalen KI-Modelle es gibt, wie man große Modelle schrumpft und was dabei kaputtgeht. Folge 2025/15 von „Bit-Rauschen, der Prozessor-Podcast von c’t“.

Alle Podcast-Folgen sowie auch alle c’t-Kolumnen "Bit-Rauschen" finden Sie unter ct.de/bit-rauschen

Noch mehr Lust auf Podcasts? Hier finden Sie noch viele weitere aus dem Heise-Universum: Hören Sie von uns – unsere Podcasts