Software Testing & Qualität - Testautomatisierung, KI & Agilität

Fuzzy Testing nach Maß - Andreas Zeller

Listen Later
Die Kunst des Testens mit Zufallsdaten

📌 Konferenz-Tipp: TACON 2026 in Leipzig (16.–17. September). Ich war letztes Jahr als Keynote dort und fand den Austausch richtig gut 👉 https://swt.fm/tacon

"In dem Moment, wo ich eben solche Dinge millionenfach selbst erzeugen kann, dann ist das eine riesen Änderung." - Andreas Zeller

In dieser Episode spreche ich mit Andreas Zeller über Fuzz Testing. Wir sprechen über Zufallsdaten und schauen uns an, wie wir sie nutzen können, um Software auf ihre Robustheit und Sicherheit zu testen. Andreas zeigt uns wie Fuzz Testing ursprünglich entstand und warum Schwachstellen damit besonders gut identifiziert werden können. Fuzz Testing bezieht sich nicht nur auf das Testen mit gültigen Eingaben, sondern auch darauf, wie Systeme auf ungültige oder zufällige Daten reagieren. Seid bereit für neue Perspektiven, um Systeme sicherer und zuverlässiger zu machen!

Andreas Zeller ist Fakultätsmitglied CISPA Helmholtz-Zentrum für Informationssicherheit und Professor für Software Engineering an der Universität des Saarlandes. Seine Forschung zu Test und Analyse großer Software- wurde vielfach für ihren Einfluss in Forschung und Praxis ausgezeichnet. Zeller ist einer der wenigen Forscher, die zwei ERC Advanced Grants erhalten haben, zuletzt für sein S3-Projekt. Zeller ist ACM Fellow und wurde mit dem [ACM SIGSOFT Outstanding Research Award (https://www.sigsoft.org/awards/outstandingResearchAward.html) ausgezeichnet. Er ist Mitbegründer der Testfabrik AG und Initiator des CISPA-Spin-offs InputLab.

Highlights:

  • Fuzzing ohne Formatwissen scheitert an Validierungen: Eine zufällig erzeugte IBAN-Nummer trifft die Prüfsumme nur in etwa einem von 8.000 Fällen, was den Fuzzer tagelang beschäftigt, ohne je in die eigentliche Programmlogik vorzudringen.
  • Gezieltes Fuzzing nach Maß kombiniert bekannte Syntaxregeln mit kontrollierten Zufallsvariationen, sodass nur einzelne Felder wie der Überweisungsbetrag unsicher bleiben, während der Rest gültig und verarbeitbar bleibt.
  • Jedes Programm, das externe Daten verarbeitet, muss mit ungültigen, negativen und mathematisch grenzwertigen Eingaben wie NaN oder negativen Beträgen klarkommen, weil sich solche Werte viral durch nachgelagerte Systeme fortpflanzen können.
  • LLMs eignen sich nicht als primäre Testdatengeneratoren, weil sie aus bestehenden Mustern lernen und damit genau jene unbekannten Grenzfälle verfehlen, die Fehler erst aufdecken.
  • Die offizielle Testsuite für die E-Rechnung (X-Rechnung) umfasst nur wenige Dutzend Fälle bei 150 Datenfeldern, was automatisierte Testgenerierung zur Pflicht macht, nicht zur Option.

    • Danke an die Community-Partner des Podcasts:Alliance for Qualification | ASQF | Austrian Testing Board | dpunkt.verlag | German Testing Board | German Testing Day | GI Fachgruppe TAV | Heise | HANSER Verlag | ISTQB | iSQI GmbH | oop | QS-TAG | SIGS-DATACOM | skillsclub | Swiss Testing Board | TACON Credits: Sound | Grafik

    ...more
    View all episodesView all episodes
    Download on the App Store
    Software Testing & Qualität - Testautomatisierung, KI & AgilitätBy Richard Seidl - Experte für Software-Entwicklung und Testautomatisierung