Ein eigenes Large Language Model (LLM) im Unternehmen zu betreiben – das klingt nach IT-Hexenwerk und enormen Investitionen. Die gute Nachricht: Das ist es längst nicht mehr. Mit Tools wie Olama (O-L-L-A-M-A, nicht zu verwechseln mit Metas Llama) wird der Betrieb eines lokalen LLMs zur Aufgabe von wenigen Stunden statt Wochen.

Sie brauchen eine Ubuntu-VM, Docker und den Olama-Container – fertig. Innerhalb einer halben Stunde läuft Ihr erstes eigenes LLM. Die Open-Source-Community hat hervorragende Arbeit geleistet: Die Installation ist so zugänglich geworden, dass selbst Linux-Einsteiger damit zurechtkommen.

Besonders wichtig: Sie brauchen nicht sofort den Super-Server mit 28 NVIDIA-Karten. Das Werkzeug muss zum Problem passen:

Mit drei Docker-Containern haben Sie alles, was Sie für Retrieval Augmented Generation (RAG) brauchen:

Das Geniale: Sie können mit kostenlosen Cloud-Diensten starten, Workflows entwickeln und testen. Erst wenn ein Prozess mit echten, sensiblen Daten läuft, tauschen Sie einen einzigen Node aus – vom externen LLM zum internen. Der Rest des Workflows bleibt unverändert.

Phase 1: Experimentieren Sie mit öffentlichen Services (ChatGPT, Claude etc.) und kostenlosen N8N-Instanzen. Sammeln Sie Erfahrung, was überhaupt machbar ist – ohne direkt in Hardware zu investieren.

Phase 2: Ziehen Sie N8N nach intern um. API-Keys gehören nicht auf fremde Server, egal ob personenbezogene Daten verarbeitet werden oder nicht.

Phase 3: Entwickeln Sie Workflows, die erstmal nichts mit DSGVO zu tun haben – einfache Automatisierungen, die bisher teure Mitarbeiterzeit kosten oder gar nicht gemacht werden.

Phase 4: Erst jetzt, mit Erfahrung und laufenden Prozessen, wagen Sie sich an datenschutzrelevante Anwendungen. Jetzt können Sie auch berechnen, welcher interne Aufwand gerechtfertigt ist.

Dann möchte man den Gedanken gar nicht zu Ende denken. Die Wahrheit ist: Wenn Ihre IT-Abteilung diese grundlegenden Tools nicht aufsetzen kann oder will, haben Sie ein größeres Problem als fehlendes KI-Know-how. Die Technologie ist da, sie ist zugänglich, sie ist Open Source – und sie wird nicht wieder verschwinden.

Teuer können Sie es immer noch machen. Beginnen Sie mit einem Prototypen auf schwächerer Hardware. Wenn der Proof of Concept steht und nur noch zu langsam ist, werfen Sie einfach mehr Rechenpower darauf. Die Virtualisierung macht’s möglich.

Am 10. April gibt es dazu ein kostenloses KI-Webinar (13-17 Uhr) mit praktischen Einblicken: Wie starten Sie eine KI-Initiative? Wie nehmen Sie Ihre Leute mit? Wie gehen Sie mit Widerständen um?

Die Botschaft ist klar: Lokale KI ist kein Hexenwerk mehr. Sehen Sie zu, dass Sie die Bausteine fertig haben. Werden Sie wieder zur tragenden Säule des Geschäfts.

Bleiben Sie in Führung

-----------------------------------------------------------