REvaluation Podcast

Promoted as the “gold standard” of evaluation, counterfactual evaluation is on the rise. This is one of the many findings from the new fteval cooperative study jointly conducted by the Austrian Institute for SME Research, Joanneum Research, and WPZ Research.

Counterfactual evaluations estimate the effect of a policy intervention by comparing what actually happened with what would have happened without it, typically using a comparable group that did not receive support. They link point A, the intervention, to point B, its outcome. Their appeal is quantification: a single number that makes the effect measurable and gives the findings weight in policy debates.

What happens when we ignore what is between A and B? What impact could counterfactual evaluations have? And what wishes do we further have for this method and the evaluation community?  

In this REvaluation podcast episode, we talk with Jakob Kofler from KMU Forschung Austria (SME Research Austria) about methods, conclusions, and recommendations.

Links:

• The study: Chancen & Grenzen kontrafaktischer Wirkungsanalysen für die österreichische FTI-Politik – eine Situationsanalyse - fteval repository
• Training in Vienna on 23 November 2026: Trainingsangebot: Kontrafaktische Wirkungsanalysen in österreichischen FTI-Evaluationen - fteval
• SIP talk with the Austrian Council on counterfactual evaluations on 19 October 2026, in German: https://forwit.at/sip-talk/kausalanalysen-in-der-oesterreichischen-fti-evaluierung/ 
• Related previous podcast episode: Folge #8 - Das AMDC: Für verknüpfte Mikrodaten ziehen wir alle Register - fteval (in German) 
• Subscription Newsletter - fteval (EN) & Newsletter - fteval (DE)

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Johnny Be Good

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Mit der Evaluierung der Basisprogramme 2026 wurde die zentrale bottom-up Förderung für Innovationen an Unternehmen auf ihre Wirkung geprüft - eines der größten und am längsten bestehenden Instrumente der FTI-Politik in Österreich. Bei einer gemeinsamen Veranstaltung mit dem BMIMI wurde in der fteval-Community nicht nur der methodische Zugang mit Hilfe von AMDC-Mikrodaten, sondern auch die Befunde dieser Evaluierung und deren Implikationen für das FTI-System in Österreich diskutiert. 

Gemeinsam mit Cornelia Reiter vom AIT und Tobias Herzog vom AMDC rekapitulieren wir in dieser Podcastfolge die Diskussionen der Veranstaltung und bieten eine kurze Zusammenfassung, für alle die während der Urlaubszeit nicht live dabei sein konnten. 

Links:

• FFG-Basisprogramm 
• Evaluationsbericht 2026 
• Diskussionsveranstaltung am 17. August 2026 
• Foliensatz zur Veranstaltung 
• AIT 
• AMDC 
• Nächstes AMDC-Nutzer:innentreffen

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Paloeka de Koning

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Mario Steyer lehrt und forscht an der Hochschule Campus Wien (HCW) im Studiengang Public Management, wo er auch Kurse in Evaluation anbietet. Für ihn ist Evaluation ein ideales Feld für angewandte Forschung: praxisnah, methodisch anspruchsvoll und gesellschaftlich relevant. 

Im Gespräch diskutieren wir, warum es im deutschsprachigen Raum nach wie vor keine eigenständige Ausbildung in Evaluation gibt – die meisten Evaluatorinnen und Evaluatoren finden eher zufällig, im Laufe ihrer Karriere, zu diesem Handwerk. Was Mario kurzerhand „Saarbrücken" nennt, ist der historische Masterstudiengang in Evaluation der Universität des Saarlandes – lange Zeit eine der wenigen strukturierten Ausbildungsmöglichkeiten im DACH-Raum. 

Evaluation ist dabei keineswegs ein Thema, das nur die öffentliche Verwaltung betrifft – aber sie soll als Vorbild für reflexive und verantwortungsvolle Maßnahmengestaltung dienen. Dass sie das bislang nur bedingt tut, ist eine der zentralen Spannungen, die wir in dieser Folge beleuchten. 

Außerdem sprechen wir über die Kompetenzen, die es für gute Evaluierungsarbeit braucht: einen differenzierten Umgang mit KI, eine solide methodische Ausbildung in empirischer Sozialforschung – und die oft unterschätzten Softskills, um zwischen Stakeholdern zu vermitteln und Ergebnisse klar zu kommunizieren. 

Schließlich teilt Mario Einblicke aus seiner eigenen Forschung: Er beschäftigt sich konkret mit der Reflexion der Lehrveranstaltungsevaluierung an der HCW – ein Beispiel dafür, wie Evaluation auch im Hochschulkontext als Instrument der Qualitätsentwicklung eingesetzt werden kann.  

Das provokante Zitat im Titel stammt nicht von unserem Gast selbst, sondern aus einer Publikation des Politikwissenschaftlers Peter Biegelbauer – und es dient als roter Faden dieser Episode. 

Links zur Folge: 

• Publikationsdatenbank der Hochschule Campus Wien
• Marios Publikation zur Lehrveranstaltungsevaluierung
• Publikation von Peter Biegelbauer zur wissenschaftlichen Reflexion von Verwaltungspraxis
• Historischer Master in Evaluation – Universität des Saarlandes
• Eval-Training.org – Gemeinsame Trainingsplattform von DeGEval und SEVAL

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Hübl (HCW)  

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Im aktuellen Regierungsprogramm ist eine Systemevaluation des österreichischen FTI-Systems vorgesehen – ein Anlass für die fteval-Community, gemeinsam zu reflektieren, was wir aus Studien und Evaluationen eigentlich bereits über das FTI-System wissen. Der Rat für Forschung, Wissenschaft, Innovation und Technologieentwicklung (FORWIT) und die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) luden daher am 27. März 2026 die Evaluierungscommunity zu einer gemeinsamen Diskussionsveranstaltung „Zwischenbilanz: Was wissen wir eigentlich über das FTI-System?“, um auf Basis zweier rezenter Arbeiten zu überlegen, welche systemischen Erkenntnisse sich ableiten lassen und wo weiterer Klärungsbedarf besteht. 

Cornelia Reiter (AIT) und Thomas König (FORWIT) präsentierten die systembezogenen Erkenntnisse aus der Zwischenevaluierung der FTI-Strategie 2030 sowie der Analyse des Hochschulsystems. Brigitte Ecker (WPZ Research) und Jürgen Janger (WIFO) ergänzten mit Hintergrundinformationen und boten Impulse für die Plenumsdiskussion. In dieser Podcastfolge fangen die Kolleg:innen ihre wichtigsten Take-aways dieser Diskussion ein. 

Links: 

• Präsentationsfolien zur Halbzeitevaluierung der FTI-Strategie 2030, Cornelia Reiter [PDF]
• Evaluierung der FTI-Strategie 2030 zur Hälfte der Laufzeit [PDF]
• Präsentationsfolien zur Hochschulanalyse, Thomas König [PDF]
• Analyse des Hochschulsystems in Österreich [Publikation: Mitte 2026]
• Präsentationsfolien zum Diskussionsimpuls von Jürgen Janger [PDF]
• Präsentationsfolien zum Diskussionsimpuls von Brigitte Ecker [PDF]

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Paloeka de Koning
 

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Helga Aichmaier und Alexander Damianisch erzählen in dieser Folge, wie man künstlerische Forschung fördern und evaluieren kann. Sie machen uns verständlich, was der Mehrwert und die Wirkmacht einer Forschung ist, die ihre Prozesse und Ergebnisse jenseits einer schriftlichen Denkkultur erfahrbar machen kann, um mit allen Sinnen "der Rätselhaftigkeit der Welt zu huldigen".

Auf die eigene Praxis vertrauen, Stärken stärken, starke Erzählungen transportieren und dabei mit der Gesellschaft zu interagieren und präsent zu sein sind die Empfehlungen, die die beiden Wissenschaftler:innen, die mit künstlerischen Mitteln forschen möchten, mitgeben. 

Links:

• Angewandte Interdisciplinary Lab (AIL) - Platform for art, science and artistic research
• Ausstellung der Angewandten "UNDERSTANDING – ART & RESEARCH" (2019) - Booklet [PDF]
• Support Kunst und Forschung an der Universität für angewandte Kunst Wien
• Programm zur Entwicklung und Erschließung der Künste des Österreichischen Wissenschaftsfonds (FWF) 
• Evaluierung des PEEK Programms des FWF (2022) 
• Statement des FWF zum Evaluierungsbericht 

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Marianna Mondelos, Universität für angewandte Kunst Wien 

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Am 4. November 2025 luden der Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF) und die Plattform fteval zu einer Veranstaltung über Panelevaluierung, um die Erfahrungen in der Community in einen Austausch zu bringen.

Für diese Podcastfolge haben wir die Diskussion für unsere Zuhörenden eingefangen: Magdalena Wicher und Michael Strassnig vom WWTF fassen mit Katharina Warta, Leiterin des österreichischen Büros von Technopolis Group, die wichtigsten Punkte zusammen und kommen am Ende sogar noch in eine richtige Kontroverse!

Für die Beteiligten ist klar, was die Vorteile von Panels sind, weil man beispielsweise rasch die kritischen Punkte zum Evaluationsobjekt identifiziert werden können und die Rolle der "Critical Friends" sehr wertvoll sein kann. Gleichzeitig ist es herausfordernd und ressourcenintensiv, ein ausgewogenes und hochkarätiges Panels zu etablieren und Ownership über den Evaluationsgegenstand und Vertrauen zu generieren. Die Bedeutung von persönlichen Treffen wird besonders herausgestrichen. Katharina teilt ihre Erfahrung aus der Gruppendynamik und erklärt anhand des Johari-Fensters, wie man blinde Flecken, Unbekanntes und Geheimes aufdecken kann. 

Links: 

• Foliensatz des WWTF zu Panelevaluierung mit zwei Fallbeispielen
• Fallbeispiele von Technopolis Group: 
  • Evaluation Methodology der Evaluation der wissenschaftlichen Institutionen Lettlands: https://www.izm.gov.lv/lv/media/29432/download?attachment 
  • Presentation des Evaluationsberichts für Universität Luxembourg: https://www.chd.lu/fr/meeting/13645 (ab Minute 5:50)

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Isabella Wagner

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Markus Wanko is the founding force behind the XISTA innovation ecosystem, empowering science innovators. Today, Markus leads XISTA’s venture fund (Managing Partner), science park (MD), and tech transfer arm (MD). With his work he helps ISTAs research to develop it's full societal potential. In this interview we learn how start up trainings must be sector specific to be most effective, where the venture capital for the science start-ups typically comes from and what Markus recommends to the evaluation community: To take evaluation seriously!

Links: 

• ISTA: https://ista.ac.at/en/home/
• XISTA: https://xista.com/
• XISTA science ventures: https://xista.vc
• XISTA innovation: https://xista.io/
• XISTA science park: https://xista-park.com/

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Photo: The Gentlemen Creatives

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Anastasia Lijadi is Executive Assistant to the Deputy Director General and Gender Equality and DEI Officer at the International Institute for Applied Systems Analysis (IIASA). We hear how IIASA's international set-up allows research perspectives at a global systemic scale to tackle our time's most pressing problems. 

More information about IIASA's Gender Equality Plan can be found here: https://iiasa.ac.at/about-iiasa/institute/equality-diversity-and-inclusion/iiasa-gender-equality-plan-gep

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Photo: IIASA

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Erika Hajdu and Stefan de Jong of the Evaluating Societal Impact team at the Erasmus University Rotterdam developed a card game to structure discussions around complex impact pathways, and to enable teams to draft early versions of their Theory of Change in a more interesting, time-efficient way. 

They presented their approach at the REvaluation Conference, and we thought this tool might be useful for the fteval community. 

In this interview we learn how the game works and how it can be helpful for different settings.

Links:  

• Journey of Progress card set | Erasmus University Rotterdam 
• Paper publication as part of the Conference Proceedings

This episode was made possible with the friendly support of the Austrian Ministry for Women, Science and Research. Thank you for this cooperation!

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Photo: Erika Hajdu, Erasmus University Rotterdam 

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Diesmal waren wir zu Gast bei WPZ Research und konnten uns dort einiges über die jüngste Ausgabe des European Innovation Scoreboards (EIS) und Österreichs Performance darin erfahren. Brigitte Ecker und Sascha Sardadvar erklärten uns geduldig, was uns der EIS sagen kann und was nicht und wie es sonst so um die Zukunftsfähigkeit der österreichischen Forschungslandschaft bestellt ist. WPZ Research ist als kleines unabhängiges Forschungsinstitut auch deshalb besonders, weil es zur DNA gehört, dass alle Forschenden gleichzeitig auch in der Lehre aktiv sind. 

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Frauen, Wissenschaft und Forschung (BMFWF) ermöglicht. 

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Isabella Wagner

podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at