Software Testing & Qualität - Testautomatisierung, KI & Agilität

Audio-KI testen - Olaf Thiele

Listen Later
Wie testet man Speech-to-Text und Text-to-Speech?

📌 Konferenz-Tipp: TACON 2026 in Leipzig (16.–17. September). Ich war letztes Jahr als Keynote dort und fand den Austausch richtig gut 👉 https://swt.fm/tacon

„Die KI weiß nicht, was sie nicht weiß." – Olaf Thiele

Olaf ist Experte für Audio-KIs. Dabei gibt es eine Menge Herausforderungen, gerade im deutschsprachigen Raum: Sehr viele unterschiedliche Dialekte und die dazu notwendigen – aber oft fehlenden – Trainingsdaten. Er nimmt uns mit in die Welt der Sprach-KIs, wie wir diese trainieren und testen können und welche Aufgaben er eigentlich ChatGPT stellt.

Olaf digitalisiert gesprochenes Deutsch. Er trainiert Modelle für die Transkription und Synthese von deutschem Audiomaterial mit Hilfe von künstlicher Intelligenz. Da diese Modelle immer stärker genutzt werden, wird auch das Testen und die Qualitätssicherung dieser Modelle immer wichtiger.

Highlights:

  • KI-Audiomodelle lassen sich nicht von innen debuggen: Wer einen Fehler findet, etwa ein falsch erkanntes Wort, muss das Modell komplett neu trainieren, was mehrere Tage und mehrere hundert bis tausend Euro kostet.
  • Goldene Testsätze sind derzeit die wichtigste Qualitätssicherungsmethode für Audio-KI, weil klassische Testautomatisierung an der Blackbox-Natur von KI-Modellen scheitert.
  • Das Datenproblem trifft Deutsch besonders hart: Von 600.000 annotierten Audiostunden im Whisper-Modell entfallen nur etwa 2.000 bis 3.000 auf Deutsch, was die Erkennungsqualität für deutsche Sprecher strukturell begrenzt.
  • Fehlende Diversität in Trainingsdaten schlägt direkt auf die Modellqualität durch: Wer mit 90 Prozent Männerstimmen trainiert, erhält ein Modell, das Frauen schlecht erkennt und synthetisierte Frauenstimmen männlich klingen lässt.
  • ChatGPT lässt sich nutzen, um synthetische Testdaten für Audio-KI zu generieren, weil es sprachliche Variationen produziert, auf die Menschen beim manuellen Erstellen von Testfällen schlicht nicht kommen.

    • Danke an die Community-Partner des Podcasts:Alliance for Qualification | ASQF | Austrian Testing Board | dpunkt.verlag | German Testing Board | German Testing Day | GI Fachgruppe TAV | Heise | HANSER Verlag | ISTQB | iSQI GmbH | oop | QS-TAG | SIGS-DATACOM | skillsclub | Swiss Testing Board | TACON Credits: Sound | Grafik

    ...more
    View all episodesView all episodes
    Download on the App Store
    Software Testing & Qualität - Testautomatisierung, KI & AgilitätBy Richard Seidl - Experte für Software-Entwicklung und Testautomatisierung