Software Testing & Qualität - Testautomatisierung, KI & Agilität

Acceptance test-driven LLM development - David Faragó

Listen Later
Wie ATDD bei der LLM-Entwicklung unterstützt

📌 Konferenz-Tipp: TACON 2026 in Leipzig (16.–17. September). Ich war letztes Jahr als Keynote dort und fand den Austausch richtig gut 👉 https://swt.fm/tacon

„Es ist jetzt das erste Mal, wo es richtig natürlich sprachlich möglich ist, Anwendungen zu entwickeln." - David Faragó

Vorab: Entschuldigt die schlechte Audio-Qualität, das ist uns leider erst im Nachgang aufgefallen. Ich hoffe, der Inhalt tröstet Euch darüber hinweg :-) Die Entwicklung von Large Language Models (LLMs) und die Rolle von Acceptance Test Driven Development (ATDD) sind zentrale Themen in der KI-Entwicklung. David, Experte in der Entwicklung und Qualitätssicherung von KI-basierten Telefon-Bots für Arztpraxen, teilt seine Erfahrungen und Einblicke in diesen Prozess. Die Herausforderungen und Lösungsansätze beim Trainieren und Testen von LLMs, einschließlich der Nutzung von Prompt Engineering und Fine Tuning, werden beleuchtet. Besonders bemerkenswert ist der Ansatz, ATDD-Methoden auf LLM-Entwicklungen anzuwenden, um die Qualität und Effektivität der Modelle zu verbessern. Ein weiterer Fokus liegt auf dem CPMAI-Prozess, der eine moderne Herangehensweise an die Entwicklung und Implementierung von KI-Projekten darstellt.

David ist Deep-Learning-Engineer bei Mediform, spezialisiert auf Fine-Tuning von Large-Language-Models, Prompt-Engineering und Microservices. Nebenbei leitet er QPR Technologies, ein Beratungsunternehmen für innovative Qualitätssicherung, und ist Mitglied des Leitungsgremiums der GI-Fachgruppe Test, Analyse und Verifikation.

Highlights:

  • Acceptance Test Driven LLM Development überträgt das Prinzip fehlschlagender Akzeptanztests direkt auf das Fine-Tuning: Ein Test schlägt fehl, neue Trainingsdialoge beheben den Fehler, danach beweist die Testsuite, ob das Modell gelernt hat ohne Regressionen zu erzeugen.
  • LLM-Ausgaben lassen sich nicht per String-Vergleich prüfen, weil semantisch identische Antworten nie denselben Wortlaut haben. Die Verifikation muss deshalb je nach Ausgabetyp zwischen striktem Strukturvergleich und semantischer Prüfung unterscheiden.
  • Echte Produktivdialoge aus dem Pilotbetrieb sind die primäre Datenquelle: Anonymisierte Gespräche zeigen, welche Anfragen das Modell noch nicht autonom löst, und liefern direkt den Stoff für neue Trainings- und Testdaten.
  • Template-basierte Dialoge ermöglichen kombinatorisches Testen, indem Template-Variablen durch viele verschiedene Werte ersetzt werden und so aus einem Testfall automatisch eine große Messreihe entsteht.

    • Danke an die Community-Partner des Podcasts:Alliance for Qualification | ASQF | Austrian Testing Board | dpunkt.verlag | German Testing Board | German Testing Day | GI Fachgruppe TAV | Heise | HANSER Verlag | ISTQB | iSQI GmbH | oop | QS-TAG | SIGS-DATACOM | skillsclub | Swiss Testing Board | TACON Credits: Sound | Grafik

    ...more
    View all episodesView all episodes
    Download on the App Store
    Software Testing & Qualität - Testautomatisierung, KI & AgilitätBy Richard Seidl - Experte für Software-Entwicklung und Testautomatisierung