Einigermaßen kräftige und aktuelle PC-Hardware genügt, um viele KI-Modelle auszuführen. Das haben wir ausprobiert mit dem c’t-Bauvorschlag für den optimalen PC 2026: AMD Ryzen 7 9800X3D, 32 GByte DDR5-RAM und als Grafikkarte eine AMD Radeon RX 9070 XT mit 16 GByte GDDR6.

Tools wie LM-Studio und ollama machen die lokale Installation von KI-Modellen ziemlich einfach. Auch große Sprachmodelle (Large Language Models, LLM) wie gpt-oss können funktionieren.

Allerdings liegt die Tücke im Detail. KI-Modelle, die komplett in den schnellen Speicher der Grafikkarte passen, rennen auch flott. Doch jenseits von 16 GByte wirds teuer. Bei den meisten Desktop-PCs könnte man das RAM zwar über 64 GByte hinaus aufrüsten. Auch darin laufen LLMs, aber viel langsamer.

Der c’t-Redakteur Carsten Spille berichtet über seine Erfahrungen mit lokalen KI-Modellen in Folge 2026/5 von Bit-Rauschen, der Prozessor-Podcast von c’t.

Was kleine KI-Modellen für Desktop-PCs und Notebooks können und wie sie sich von den großen Vorbildern unterscheiden, hatten wir in Folge 2025/15 dieses Podcasts besprochen:

Alle Podcast-Folgen sowie auch alle c’t-Kolumnen "Bit-Rauschen" finden Sie unter ct.de/bit-rauschen

Noch mehr Lust auf Podcasts? Hier finden Sie noch viele weitere aus dem Heise-Universum: Hören Sie von uns – unsere Podcasts