Software Testing & Qualität - Testautomatisierung, KI & Agilität

Sicherheitstests für KI Systeme - Jan Jürjens

Listen Later
Vom Prompt-Hacking bis zur Output-Filterung

🚨 Testen wir manchmal eigentlich zu viel? Viele Tests heisst nicht, dass auch viele Fehler gefunden werden. So können wir das lösen: Kostenloser Online-Workshop

„Man wird sich nie sicher sein, ob man jetzt wirklich alles gefunden hat." - Jan Jürjens

In dieser Episode spreche ich mit Jan Jürjens über ein Thema, das viele beim KI-Einsatz noch unterschätzen: Security Testing. Wir klären, warum KI-basierte Systeme völlig neue Angriffspunkte bieten – vom manipulierten Training über Prompt Injection bis zum ungewollten Abfluss sensibler Daten. Jan erklärt, welche Mechanismen helfen, KI-Anwendungen abzusichern, wie man mit Tools von OWASP arbeitet und warum auch Tester ohne Security-Background hier aktiv werden müssen.

Jan Jürjens verfügt über mehr als 25 Jahre praktische Erfahrung mit Softwaresicherheit. Erstes Buch (2005) ins Chinesische übersetzt. Aktuell: Director Research Projects (Fraunhofer ISST); Professor & Leiter, Institut Softwaretechnik (Uni Koblenz). Vorher: Professor für Software Engineering (TU Dortmund), Senior Member/Research Fellow (Robinson College, Uni Cambridge), Royal Society Industrial Fellow (Microsoft Research Cambridge), Postdoc (TU München), PhD Informatik (Uni Oxford) in Softwaresicherheit, Dipl.-Math. (Uni Bremen).

Highlights:

  • KI-Modelle lassen sich durch indirekte Abfragen dazu bringen, geschützte Daten preiszugeben, auch wenn direkte Anfragen geblockt werden, weil das Modell Rollenbezeichnungen nicht als Umgehungsversuch erkennt.
  • Sicherheitsrisiken für KI-basierte Systeme erstrecken sich über den gesamten Lebenszyklus: von manipulierten Trainingsdaten über den Diebstahl des Modells bis hin zu missbrauchten Abfragen im Betrieb.
  • Ausgabe-Filter sind zielführender als Eingabe-Filter, weil sie direkt prüfen, ob in der generierten Antwort schützenswerte Inhalte wie Gehälter oder Personendaten auftauchen.
  • Die OWASP Top 10 für KI-basierte Software bietet einen strukturierten Einstieg in Sicherheitsanforderungen, setzt für die praktische Umsetzung aber Fachkenntnis voraus, entweder intern oder durch externe Experten.

    • Danke an die Community-Partner des Podcasts:Alliance for Qualification | ASQF | Austrian Testing Board | dpunkt.verlag | German Testing Board | German Testing Day | GI Fachgruppe TAV | Heise | HANSER Verlag | ISTQB | iSQI GmbH | oop | QS-TAG | SIGS-DATACOM | skillsclub | Swiss Testing Board | TACON Credits: Sound | Grafik

    ...more
    View all episodesView all episodes
    Download on the App Store
    Software Testing & Qualität - Testautomatisierung, KI & AgilitätBy Richard Seidl - Experte für Software-Entwicklung und Testautomatisierung