Software Testing & Qualität - Testautomatisierung, KI & Agilität

Dokumentation mit KI-Personas automatisch prüfen - Ingo Eichhorst


Listen Later

Personas statt Personen: Wie KI Entwickler in der Doku simuliert

📌 Konferenz-Tipp: TACON 2026 in Leipzig (16.–17. September). Ich war letztes Jahr als Keynote dort und fand den Austausch richtig gut 👉 https://swt.fm/tacon

„Wir müssen uns von dem Gedanken verabschieden, dass wir immer so ein 100% Output bekommen." - Ingo Eichhorst

Dokumentation mit KI zu prüfen, indem man menschliche Verhaltensweisen simuliert, das ist der Ansatz, den Ingo Eichhorst mitgebracht hat. Mit ihm spreche ich darüber, wie sich Personas wie ein Junior-Entwickler oder ein Senior-Entwickler als KI-Agenten in eine CI/CD-Pipeline einbauen lassen, um Dokumentation nicht nur zu bewerten, sondern aktiv damit zu arbeiten. Was mich dabei festhält: Der Junior-Entwickler verbraucht dabei fast sechsmal so viele Token wie der Senior, weil er an einer missverständlichen URL-Struktur scheitert und sich im Trial-and-Error verliert. Das zeigt direkt, wo Dokumentation nachgebessert werden muss. Wir reden auch darüber, warum das Domänwissen hinter Code so schwer zu rekonstruieren ist, sobald es einmal verloren ist, und was passiert, wenn eine KI plötzlich zwischen Entwicklern und Management als Übersetzungsschicht wirkt.

Ingo Eichhorst ist AI Architect, CTO und Tech Trainer mit über zwei Jahrzehnten Erfahrung in Softwareentwicklung und Systemarchitektur. Seit den 1990er-Jahren gestaltet er digitale Systeme und verbindet dabei technologische Exzellenz mit unternehmerischem Denken. Bei IONOS arbeitet er als Engineering Trainer, parallel lehrt er als Visiting Lecturer für Künstliche Intelligenz an der University of Applied Sciences Nordhausen.

Nebenberuflich begleitet er mit seinem Unternehmen better be great Startups, Scaleups und NGOs bei der Umsetzung innovativer Technologien in marktfähige Produkte.

Highlights:

  • KI-Agenten mit simulierten Personas prüfen Dokumentation praktisch: Ein als Junior-Entwickler konfigurierter Agent verbrauchte 1,8 Millionen Token beim Scheitern, der Senior-Entwickler-Agent löste dieselbe Aufgabe mit 300.000 Token.
  • Persona-Simulationen über LLMs kippen ins generische Modellverhalten zurück, sobald die Rollenbeschreibung nicht strikt genug formuliert ist, was sie vom Prototypen-Stadium trennt.
  • Der Temperaturparameter eines LLMs steuert, wie stark die Ausgabe vom wahrscheinlichsten Pfad abweicht: niedrig für reproduzierbare, deterministische Ergebnisse, hoch für unerwartete Testergebnisse.
  • Domainwissen und Architekturentscheidungen, die nicht dokumentiert sind, kann kein LLM rekonstruieren, weil sie schlicht nicht im Code stecken.
  • Semantische Anker wie MECE erhöhen die Wahrscheinlichkeit strukturierter, überlappungsfreier KI-Ausgaben messbar, garantieren sie aber nicht.
  • Weitere Links zur Episode:

    • Github-Profil
    • Danke an die Community-Partner des Podcasts:Alliance for Qualification | ASQF | Austrian Testing Board | dpunkt.verlag | German Testing Board | German Testing Day | GI Fachgruppe TAV | Heise | HANSER Verlag | ISTQB | iSQI GmbH | oop | QS-TAG | SIGS-DATACOM | skillsclub | Swiss Testing Board | TACON Credits: Sound | Grafik

      ...more
      View all episodesView all episodes
      Download on the App Store

      Software Testing & Qualität - Testautomatisierung, KI & AgilitätBy Richard Seidl - Experte für Software-Entwicklung und Testautomatisierung