KI – Kaum Intelligent

Welche Auswirkungen hat die Nutzung von KI für das Klima und welche positiven Beiträge kann KI zum Klimaschutz leisten? Unser Gast Bettina beleuchtet dieses Thema genauer mit uns.

Es geht um den Algorithmus, mit dem YouTube die Videos auf der Startseite bzw. die Watch Next Empfehlungen bestimmt. Wir betrachten sowohl die technischen Aspekte als auch die sozialen Implikationen.

Was kann es für einzelne und die Gesellschaft für Probleme geben?

Ein paar der Fragen, mit denen wir uns befassen:

Wir beschäftigen uns heute mit der Frage, ob KI als kreativ bezeichnet werden kann. Nach einer Begriffsklärung zur Kreativität und dem Aufzählen von möglichen Techniken zur Datengenerierung betrachten wir Beispiele zur Bild-, Musik- und Textgenerierung.

Wir brauchen generative, nicht diskriminative Prozesse.

Komponist Lucas Kantor nutzt KI um Franz Schuberts Symphonie Nr. 8, die „Unvollendete“ zu vollenden

In dieser Folge beschäftigen wir uns mit Social Bots; kleinen automatischen Programmen, die in sozialen Netzwerken vereinzelt helfen, aber auch weniger gute Intentionen haben können. Social Bots können stören, überfluten und Meinungen manipulieren. Die Forschung hat aber auch Tools hervorgebracht, die KI-gestützt gegen bösartige Bots vorgehen können.

• Ein Bot (kleiner Roboter) wird normalerweise verstanden als ein Programm, das mit Nutzern über Textnachrichten interagieren kann. Z.B. kann man einen Bot haben, der auf eine Textanweisung in einem Chat hin das Licht ausmachen, oder über eine Chatnachricht Bescheid geben kann, wenn es eine neue Nachricht auf einem Nachrichtenkanal gab.
• Social Bots sind Programme, die über soziale Netzwerke mit Menschen interagieren, und hier auch Schindluder treiben können.
• Social Bots sind präsent: Es wird geschätzt, dass ca. 15% der Profile auf Twitter eigentlich Bots sind.
• Man kann verschiedene Sachen dagegen tun und die Forschung ist aktiv daran, Maßnahmen wie Boterkenner zu entwickeln. Schau dir z.B. mal Botometer an.

• Ich sehe, wie viele Social Media Plattformen und Kommentarspalten von demokratie- und wissenschaftsfeindlichen Äußerungen/Meinungen durchsetzt sind, und ich will nicht glauben, dass das das Meinungsbild der Gesellschaft widerspiegelt
• Ich war interessiert an der Frage, inwiefern Social Bots das Stimmungsbild in Sozialen Medien verzerren können
• Außerdem wollte ich wissen, wie man Social Bots erkennen kann und wie man sogar etwas dagegen unternehmen kann.

• Kleine Programme, die – meist in sozialen Netzen – automatisiert Handlungen vornehmen (z.B. menschliches Verhalten simulieren, siehe ELIZA, Joseph Weizenbaum)
• Oft nennt man die Profile, welche solche Handlungen vornehmen, Bots.
• Aufteilung in gutartige und bösartige Bots:
  • Gutartige Bots können zum Beispiel manuelle Arbeit abnehmen
    • Umrechnen von Währungen
    • Akkumulieren von Informationen
    • Reposts finden (z.B. auf Reddit)
  • Die BPB definiert drei Kategorien für Bots aus der bösartigen Ecke:
    • Überlaster: Plattform / User mit zu vielen Nachrichten bombardieren
    • Trendsetter: viele Nachrichten posten, die einen gewollten Trend unterstützen, um es nach mehr Unterstützern aussehen zu lassen)
    • Auto-Trolle: automatisierte, oft ablenkende Antworten auf Posts von Personen oder mit bestimmter Meinung)

• Häufig stellen soziale Netzwerke eine Programmierschnittstelle (API) zur Verfügung.
• Über APIs (=programmatische Schnittstellen) lassen sich Bots starten und steuern; z.B.:
  • Die Timeline lässt sich nach Schlüsselworten durchsuchen und der Bot kann mit (teilweise auch kontextsensitiven) Tweets antworten
• Bot-Profile folgen oft einfach zufällig anderen Profilen, um ihre Reichweite zu erhöhen
• „Intelligenz“ von Bots:
  • Oftmals nur vage basierend auf komplexer KI, wenn überhaupt (meistens reichen wenige statische Regeln)
  • Ausgeklügeltere Bots können aber auch Fragen beantworten oder ganze Konversationen führen (vgl. Chatbots)

• Einschätzung: ca. 9-15 % der Twitter-Profile sind Bots (Varol et al., 2017)
• Weitreichende und schnelle Auswirkungen durch Automatisierung
• Menschen als soziale Wesen tendieren zum „Folgen der Masse“
• Verzerrung des (politischen) Meinungsbildes
  • Ein Thema kann künstlich aufgeblasen werden; z.B.:
    • Politiker:innen werden gut oder von ihren Gegner:innen schlecht dargestellt
    • Falsch-Informationen über die Impf-Debatte können rasant verteilt werden
  • Aber noch recht unbekanntes Forschungs-Terrain: Die Größe des Einflusses von Social Bots ist umstritten.

• Machine Learning gegen bösartige Social Bots
• Z.B. Supervised ML (gelabeltes Datenset von Tweets; Bot ja oder nein)
  • Problem: Woher kommt die Ground Truth?
    • Honeypots
      • Accounts, die nur Kauderwelsch tweeten
      • Bots wollen ihre Reichweite erhöhen und folgen zufälligerweise auch diesen Accounts
  • Als Attribute können sowohl Inhalt als auch Metadaten von Tweets verwendet werden
  • LSTMs als Methode, zeitabhängige Daten (auch Text) zu verarbeiten
• Bei Botnets können Unsupervised ML Methoden verwendet werden um zu untersuchen, ob sich Accounts synchron verhalten
• Botometer
  • Errechnet einen Bot-Score auf Profil-Ebene
  • Supervised ML Ansatz mit über 1000 Features
  • Subscores, damit man sieht, welche Faktoren wie viel Einfluss auf den Score hatten
  • Auf englischsprachige Profile ausgerichtet; es gibt aber auch einen sprachunabhängigen Score

• https://www.bpb.de/252585/was-sind-social-bots (diese Seite ist zum Zeitpunkt des Verfassens der Shownotes offline gegangen. Diese Seite könnte noch online sein: https://www.bpb.de/themen/medien-journalismus/digitale-desinformation/290555/social-bots-zwischen-phaenomen-und-phantom/#:\~:text=Social Bots sind Computerprogramme%2C die,auch politische Inhalte zu verbreiten.&text=Die davon ausgehende Gefahr lässt,Mensch hinter den Social Bots.)
• „Communication Snapshot“ der akademischen Gesellschaft zu „How powerful are social bots?“ https://www.akademische-gesellschaft.com/fileadmin/webcontent/Publikationen/CommunicationSnapshots/AGUKCommunicationSnapshotSocialBotsJune2018.pdf
• Demystifying social bots: https://journals.sagepub.com/doi/pdf/10.1177/2056305120939264
• Arming the public with AI to counter social bots: https://journals.sagepub.com/doi/pdf/10.1177/2056305120939264
• Botometer: https://botometer.osome.iu.edu/
• Botometer 101 (ein Low-Level Tutorial für Laien): https://arxiv.org/pdf/2201.01608.pdf
• Wie viele Bots gibt es auf Twitter?
  • Dieses Paper von Varol et al., das auf einer hochrangingen Konferenz erschienen ist, schätzt auf 9-15%: https://arxiv.org/pdf/1703.03107.pdf
  • Vortrag „Mining Social Networks to Learn about Rumors, Hate Speech, Bias and Polarization by Barbara Poblete“ von Prof. Barbara Poblete: https://www.youtube.com/watch?v=N1igWnzZRQ8
    (Gesina konnte die Aussage zur Prozentzahl der Bots auf Twitter im Transkript nicht mehr finden – trotzdem sehr interessanter Vortrag.)
• Journalistische Recherche, die Fake Stellengesuchen aufgedeckt hat: https://www.rbb24.de/studiocottbus/panorama/coronavirus/beitraege\_neu/2022/01/oberlausitz-anzeigen-annoncen-impfpflicht-ungeimpfte-stellenangebot.html
• Mind Field Video von Vsauce zur Konformität: https://www.youtube.com/watch?v=fbyIYXEu-nQ
• Mehr zu unterschwelligen Reizen (= subliminal messages, z.B. Kinofilm, in dem nicht bewusst wahrnehmbar kurz für einen Frame ein Bild einer Cola eingeblendet wird, um den Wunsch auf Cola zu wecken) und, dass sie nicht oder nicht besonders gut funktionieren: https://de.wikipedia.org/wiki/Unterschwelliger\_Reiz
• Wer sich selber mal einen Bot (bitte keinen Social Bot ;-)) für Telegram schreiben möchte, kann mal hier reinschauen: https://core.telegram.org/bots
• Der Messenger Element, den Gesina erwähnt hat: https://element.io (basiert auf dem Matrix Protokoll)
• Mehr zum OSI Schichtmodell, das den Schichtaufbau von Datenpaketen im Internet beschreibt

Wir wollen klären, was zum autonomen Fahren benötigt wird und warum es so schwer ist. Dafür verschaffen wir uns einen Überblick, welche Fähigkeiten ein autonomes Auto mitbringen muss, und was jeweils Probleme machen kann.

• Autonomes Fahren = (weitgehend) selbstständige Fortbewegung eines Fahrzeugs
• Autonomes Fahren ist ein weites Feld mit (sehr) vielen Anwendungen; hier geht es exemplarisch um autonomes Fahren (bzw. hoch- oder vollautomatisiertes Fahren) von Autos.
• Auf dem Weg zur vollen Autonomie wird oft zwischen mehreren Stufen der Automatisierung unterschieden (Assistenzsysteme, stets bereiter Notfallfahrer und angekündigte Fahrerübergabe)
• Für autonome Autos werden viele Fähigkeiten benötigt:
  • Umgebungswahrnehmung (wo ist was?)
  • Verständnis der Umgebung (wer macht was?)
  • Trajektorienplanung = lokale Wegplanung (wo fahre ich als nächstes lang? wie muss ich lenken?)
  • Navigation / Routenplanung = globale Wegplanung (was ist die beste Route?)
  • und einige andere Sachen wie Fahrzeugüberwachung, Innenraumüberwachung, etc.
• Wie schwer es ist, Autonomie beim Fahren zu ermöglichen, hängt stark von der Komplexität der Umgebung und Sicherheitsfaktoren wie Geschwindigkeit, Verfügbarkeit eines Notfallfahrers, Insassenüberwachung (z.B. sind Kinder angeschnallt?) ab.

• Autonomes Fahren = (weitgehend) selbstständige Fortbewegung eines Fahrzeugs
• Unterschiedliche Level von Automatisierung, d.h. Automatisierungsgrade nach SAE J3016:
  • Unter Level 2: keine Autonomie
  • Level 2: Standardassistenzsysteme, z.B. Spurhalteassistent; Fahrer muss Hände am Lenkrad behalten
  • Level 3: autonom mit Notfallfahrer: Fahrer muss nur im Notfall und nach Anfrage übernehmen
  • Level 4: Autonomes Fahren in Teilbereichen (z.B. Autobahn); ein Fahrer muss nur auf Anfrage und mit Übergangszeit übernehmen
  • Level 5: Vollautomatisierung, kein menschlicher Fahrer mehr
• Achtung: Tesla ist nicht vollautonom!! Erste Beta-Tests der vollautonomen Fahrfunktionen (Level >=4) gibt es erst seit 2022 in den USA, Europa ist in Aussicht
• Autonome Fortbewegung ist ein weites Feld; Beispiele von Anwendungsbereichen:
  • Autos: Individualverkehr, Busse
  • Bahnverkehr
  • Flugverkehr (Autopilot)
  • Schifffahrt
  • Drohnen
  • Fertigung, Logistik (z.B. in Lagerhallen), etwa im Hive
  • Heimautomatisierung (z.B. Staubsaugerroboter)
  • In Gebiete Vordringen, in die Menschen (noch) nicht kommen und Roboter nicht gut dort fernsteuern können, z.B. andere Planeten (der Marsrover Perseverance und seine Begleitdrohne Ingenuity sind weitestgehend autonom) oder Katastrophengebiete
  • Militärische Fahrzeuge
  • …

Überblick: Wahrnehmen (sensorisch aufnehmen, erkennen), Verstehen, Planen (lokale Trajektorie, Navigieren), Agieren.

• Wahrnehmung:
  • Zum Vergleich bei Menschen: Augen (Objekterkennung, Distanzschätzung, Bewegungsmelder), Ohren & Haptik (Untergrund, Gefahrensituationen, Kommunikation)
  • Typische Sensoren für Fahrzeuge:
    • Kamera(s)
      • Unzuverlaessig bei schlechten Sichtverhaeltnissen (Regen, Nebel, blendendes Licht, …)
      • Geht schlecht bei Dunkelheit
    • Lidar (Light imaging, detection and ranging) = Laserscanning mit fast sichtbarem Licht
      • Misst Entfernung
      • Auch nicht bei schlechten Sichtverhaeltnissen (Nebel, etc.)!
      • TEUER
    • Radar = Laserscanning mit Radarwellen, vgl. Einparksensoren
      • Ghost Objects
    • Ultraschall
      • Nur sehr nahe Objekte (wenige Meter)
    • Informationen aus Connected Mobility
  • Erkennen von Objekten, Bildbereichen, etc.: Schwierige Aufgabe
    • schwer zu spezifizieren)
    • Sehr variable Eingaben
    • Verdeckung, Objektpermanenz etc.
    • -> Inzwischen werden DNNs verwendet, die aber selbst gerne Fehler machen (vgl. Folge dazu)!
• „Erkennen“:
  • Befahrbare Bereiche? Verkehrsschilder?
  • Wer macht was als naechstes? -> teils komplexe Verhaltenspsychologie! z.B.
    • Ball & Kind!
    • Eng auffahren
    • Winken
  • Gefahrensituation (Kollisionsgefahr, Glaette, …)?
  • Unsicherheit aus den Wahrnehmungsinformationen!
• Lokales Planen (Trajektorienplanung):
  • Muss ich bremsen / ausweichen?
  • Wie viel darf ich das Lenkrad einschlagen ohne aus der Kurve zu fliegen?
  • Kommunikation: Wie komme ich auf die andere Spur? Wie bringe ich andere dazu, mich reinzulassen?
  • Verkehrsregeln wie Vorfahrt etc.?
  • Regelbrueche um z.B. Hindernisse zu umfahren oder dem Einsatzfahrzeug Platz zu machen?
  • Wie komme ich aus einer Sackgasse heraus?
• Globales Planen (Navigation):
  • Wo bin ich gerade? Wie komme ich am besten wo hin?
• Sonstiges:
  • Fahrzeugueberwachung: Brennt mein Auto?
  • Fahrgastueberwachung: Sind alle Kinder angeschnallt?
  • Fahrerueberwachung: Ist der Notfallfahrer übernahmebereit? (Alkoholisierung? Eingeschlafen?)
  • Sicherheit: Diebstahlschutz, Einbruchschutz
  • Erste-Hilfe bei Notfällen im Fahrgastraum oder an Unfallstellen
  • Verhalten im (grossen) Katastrophenfall, z.B. Erdbeben, Erdrutsch, …

• Rechenleistung!
• Einfluss auf Schwierigkeit haben:
  • Die Unberechenbarkeit der Umgebung, in der sich autonom bewegt werden soll (z.B. andere Verkehrsteilnehmer, Untergrund, befahrbahre Flächen)
    • Diversität (abgesperrte Logistikhalle vs. Wohnzimmer vs. Straße)
    • Einflüsse auf Wahrnehmung (z.B. Nebel, Regen, Dreck)
    • Hindernisse / Gefahrenstellen (z.B. Baustellen, Unfallstellen, Glatteis)
  • Welche Sensoren angewendet werden können
  • Wer kann mit dem Fahrzeug in Kontakt kommen? Eingewiesenes Personal vs. Endverbraucher vs. beliebiger Passant
  • Security, z.B. Diebstahlschutz, Entkommen aus Gefahrensituation wie Überfall
• Möglichkeiten, es sich leichter zu machen:
  • Menschliche Backups der Funktionen (z.B. Backup-Fahrer, Fernsteuerung, etc.); Einschränkungen z.B.: Kinder dürfen nicht alleine fahren und das Auto kommt nicht alleine in die Tiefgarage
  • Eingeschränkte Umgebung, z.B. Bus / Bahn fährt immer dieselbe Strecke
  • Connected Mobility = nicht mehr jedes Auto muss alles sehen
  • Platooning = Autos können sehr nah hintereinander fahren, weil jedes Auto genau weiß, wann der Vordermann bremst
• Fehlende rechtliche Grundlagen und standardisierte Schnittstellen

• Video von Tom Scott zum Hive, einer vollautomatisierten Logistikhalle (Englisch): https://youtu.be/ssZ\_8cqfBlE
• Auf der offiziellen Supportseite von Tesla zur Autopilot-Funktionalität wird gemahnt, dass der Fahrer noch die Hände am Lenkrad lassen muss (=Level 2 autonomes Fahren): „“Autopilot“, „Verbesserte Autopilot-Funktionalität“ und „Volles Potenzial für autonomes Fahren“ sind für einen aufmerksamen Fahrer gedacht, der die Hände am Lenkrad behält und jederzeit übernehmen kann. Auch wenn diese Merkmale im Laufe der Zeit immer leistungsfähiger werden, machen die gegenwärtig verfügbaren Merkmale das Fahrzeug nicht autonom.“
  Also bitte: Vertraut der Technologie nicht blind, lasst die Hände wirklich am Steuer und bleibt jederzeit für einen Eingriff bereit!!
• Mehr zum aktuellen Stand von Teslas Fortschritt beim vollautonomen Fahren: https://teslamag.de/news/autonomie-software-abo-tesla-fsd-funktionen-199-dollar-monat-39168
• Beispiel eines Prototypen für autonomen öffentlichen Nahverkehr: https://www.continental.com/en/products-and-innovation/innovation/automated-driving/cube/
• Ein schöner Vergleich von menschlichen Augen (insb. mit wie vielfältigen Lichtverhältnissen sie klar kommen) mit Kameras: https://www.fotoworkshop-stuttgart.de/das-menschliche-auge-und-die-fotografie/
• Gute Übersicht über Problem von Lidar: https://www.designnews.com/electronics-test/four-challenges-lidar-road-autonomous-vehicles
• Homepage von Waymo (Subunternehmen von Google für die Entwichlung autonomer Taxis): https://waymo.com
  Hier findet ihr Bilder, wie lustig die Autos mit dem Lidar-Knubbel auf dem Dach aussehen
• Links zum Standard UL4600 (Standard for Safety for the Evaluation of Autonomous Products): https://users.ece.cmu.edu/~koopman/ul4600/index.html
• Ein Beispiel für eine Firma, die Teledriving entwickelt (=Autos fahren nicht autonom, sondern per Fernsteuerung): Vay
• Vortrag „How to (not) build autonomous robots“ auf dem 36c3 (36th Chaos Communication Congress) darüber, welche Probleme ein Startup hatte, autonome Lieferroboter zu bauen und wie sie letztenendes auf Fernsteuerung umgestiegen sind (und welche Probleme es hier gab): https://media.ccc.de/v/36c3-10601-how_not_to_build_autonomous_robots

Heute soll es mal etwas detaillierter darum gehen, was für Fehler maschinelle Lernverfahren, im Speziellen neuronale Netze, typischerweise machen, wie man diese findet und wie man sie behebt — oder eher: warum es so schwer ist, sie zu beheben.

• Es gibt ganz verschiedene Fehlerursachen, z.B. Bias in den Daten, zu hohe/niedrige Modellkapazität, Konvergenzprobleme, ein falsches Optimierungsziel oder technologiespezifische Probleme wie Adversarial Examples bei neuronalen Netzen.
• Es ist nicht einfach, Fehler zu finden.
• Es ist noch weniger einfach, sie zu beheben. Oft hilft nur ein erneutes Trainieren.

• Korrelation = wechselseitige Beziehung zwischen zwei Merkmalen (z.B. Nacht und Anzahl an Personen, die unterwegs sind), wobei die Beziehung nicht kausal sein muss!
• Bias = systematische Abweichung/Verzerrung eines Zusammenhangs
  In der Praxis: Merkmale treten häufig gemeinsam auf, deren Zusammenhang sich aber nicht verallgemeinern lässt
  (z.B. eine Auswahl von Bildern in der Nacht auf denen viele Menschen zu sehen sind ließe vermuten; nachts ist aber normalerweise wenig los)
• Problem: ML Funktion verlässt sich auf diese (irrelevanten) Merkmale für seine Vorhersage
• Beispiele von unabsichtlichem Bias:
  • Fehlerhafte Korrelationen bzw. Clever Hans Effekt (in der Klassifikation) = zur Klassenbestimmung werden einfache Merkmale verwendet, die zwar häufig mit Objekten der Klasse einhergehen, aber in Realität nicht zur Aufgabenlösung geeignet wären; Beispiele:
    • Datum in der Bildunterschrift (aus dem SpRay Paper)
    • Schnee wird als vorwiegendes Merkmal für Husky verwendet (aus dem LIME Paper)
  • Reward Hacking = falsch formuliertes Trainingsziel, welches Abkürzungen zulässt, die die eigentliche Aufgabe umgehen (s. Paper von Google);
    Beispiele:
    • Lösen von Planungsaufgaben: z.B.
      • Eigentliche Aufgabe: Aufräumen; Zielformulierung: keine herumliegenden Sachen mehr zu sehen; Gewählte Lösung: einfach die Augen zu halten!
      • Eigentliche Aufgabe: Spiel erfolgreich spielen; Zielformulierung: Spiel gewinnen; Gewählte Lösung: Glitches (=Spielfehler) ausnutzen!
• Daten können auch absichtlich verunreinigt werden!
  Beispiele:
  • Twitter Chatbot Tay von Microsoft: Ein Chatbot basierend auf künstlicher Intelligenz sollte durch freie Interaktion auf Twitter angelernt werden. Trolle haben dem Bot innerhalb kürzester Zeit alle möglichen inakzeptablen Aussagen beigebracht.
  • Peniszeichnungen: Google hat einen großen Datensatz aus einfachen Zeichnungen durch ein einfaches Spiel gesammelt. Aus den gesammelten Zeichnungen mussten sicherlich einige absichtlich eingefügte anstößige Zeichnungen aussortiert werden, wie die Initiative „Do Not Draw a Penis“ vermutet.

• Underfitting = das Modell hat aus den Trainingsdaten nicht genug gelernt und schafft es nicht einmal, auf den Trainingsdaten gute Ergebnisse zu erbringen;
  Mögliche Ursachen:
  • Zu kurzes Training: Einige maschinelle Lernverfahren (z.B. neuronale Netze) können iterativ trainiert werden. Ein verfrühter Trainingsabbruch bedeutet, dass das Modell noch nicht genug gelernt hat, um gut zu funktionieren.
  • Modellkapazität = Vermögen mithilfe des Modells Funktionen anzunähern;
    Zu geringe Kapazität heißt, dass das Modell „zu einfach“ ist und die Funktion gar nicht lernen KANN.
    Beispiele:
    • Nicht alle Probleme sind linear!
    • Restriction/Language Bias: Modelle werden mit Algorithmen trainiert, die nicht die Hypothesensprache sprechen, die benötigt wird.
• Overfitting = das Modell hat die Trainingsdaten teilweise auswendig gelernt und schafft es nicht mehr, auf andere Daten zu generalisieren;
  Mögliche Ursachen: Zu große Modellkapazität +
  • zu langes Training und / oder
  • zu wenige Beispiele, die zu oft gezeigt werden
• Meist leicht zu finden durch Vergleich der Performanz auf Trainings- und Testdatensatz, aber schwer zu beheben!

• Unerwünschte Seiteneffekte im Reinforcement learning (=Planung) = ursprüngliches Problem wird gelöst, aber auf eine Art und Weise, die zusätzliche unvorhergesehene Probleme schafft (s. Paper „Concrete Problems in AI Safety“ von 2016); Beispiel:
  • Beepo soll aufräumen und wird immer belohnt, wenn alle Sachen aus dem Weg geräumt wurden -> Beepo lernt, alle Sachen in den Schredder zu werfen.

• DNNs: Adversarial Examples = sehr kleine, irrelevante Veränderungen in der Eingabe ändern die Ausgabe stark (ähnlich dem Schmetterlingseffekt);
  Beispiele: ein wenig Pixelrauschen kann aus Sicht des Netzes …
  • … einen Bus in einen Vogelstrauß verwandeln (s. DLFuzz Paper)
  • … ein Stop-Zeichen in eine Geschwindigkeitsbegrenzung verwandeln (s. „Robust Physical-world Attacks“ Paper)
• Mögliche Ursachen: Forschungsgegenstand!
  Vermutungen:
  • Bias in den Daten bezüglich Rauschmustern in den Daten (s. Paper „Adversarial examples are not bugs, they are features“)
  • „Hochfrequente“ Kompressionsartefakte
• Im praktischen Einsatz: Nicht robust gegenüber Veränderungen in der Domäne -> braucht ständige Updates!
  • Beispiele bei einem Objekterkenner:
    • neue Mode/Fashion (z.B. zu Karneval)
    • neue Kameraposition (z.B. von Auto zu LKW)
    • neue Beleuchtungsverhältnisse
  • Gegenmaßnahmen: Möglichst diverse Beispiele beim Training verwenden, z.B. diverse „… in the wild“-Datensätze (z.B. LFW Datensatz)

• Fehler Finden:
  • Ausführliches Testen
  • Explainable AI
• Fehler Beheben: Meist geht nur erneutes Trainieren
  Denn es muss oft eines von Folgendem angepasst werden:
  • Daten (z.B. gegen Bias und Adversarial Attacks)
  • Netzwerkarchitektur (z.B. gegen Underfitting)
  • Optimierungskriterium (z.B. gegen Reward Hacking)

• Demonstrationen, wie gut Bildgenerierung sein kann, vor allem für Gesichter (aber achtet mal auf die Darstellungsfehler, die häufig bei Haaren oder Brillen auftreten)
• Delphi = Versuch, einem Netzwerk Moral beizubringen (Klassifikation von Sätzen als OK/nicht OK): anfänglich wurden Sätze mit „if“ (=“wenn“) immer als „OK“ klassifiziert, z.B.
  „Eine Giraffe stehlen, wenn es eine wirklich tolle Giraffe ist“ -> OK (s. AIWeirdness.com)
• Geschichte des Pferds Clever Hans, welches vermeintlich zählen konnte
• Näheres zur Initiative „Do Not Draw a Penis„: Nachdem anstößige Symbole in öffentlichen Datensätze von Zeichnungen fehlen (in diesem Fall: Penisse), diese aber z.B. für effektives automatisches Filtern benötigt werden, will die Initiative einen Datensatz gerade solcher Zeichnungen zur Verfügung stellen.
• Weiteres Beispiel für Adversarial Examples: Eine Schildkröte wird in eine Waffe verwandelt aus Sicht eines DNNs wie in diesem Blog beschrieben.
• Adversarial Examples gibt es auch für Text oder Audio.
• Leichte Unterhaltung bietet euch „Echt Abgefakt“, Kulmbachs Nr. 1 Comedy-Podcast: https://www.echtabgefakt.de/

Heute tauchen wir ein in ein Spezialfeld des Maschinellen Lernens, und zwar: Inductive Logic Programming (ILP). ILP umfasst Methoden und Algorithmen zum automatisierten Lernen von logischen Regeln und Zusammenhängen.

• ILP benötigt relativ wenig Trainingsbeispiele. Diese müssen aber in Form von expliziten Prädikaten vorliegen.
• Gelernte Regeln sind (im Gegensatz zu Neuronalen Netzen) meist einfacher für Menschen interpretierbar

• Teilgebiet der Mathematik für das Modellieren der Welt mit wahren oder falschen Statements (hier: Prädikatenlogik)
  • Martin ist männlich; Anna und Nina sind weiblich (Attribute)
  • Martin und Anna sind Elternteile von Nina (Relationen)
  • Martin ist der Vater von Nina; Anna ist nicht der Vater von Nina (Negation)
  • X ist Vater von Y, wenn X ein Elternteil von Y ist und X männlich ist. (Abstrakte logische Regel mit Variablen)
• ILP möchte solche Regeln automatisch erlernen
• Als Basis dazu benötigen wir:
  • Positive und negative Beispiele für das Konzept (hier „Vater“)
  • Ein Pool von wahren Statements in unserer Welt (hier wahre Elternteil- und Geschlechts-Statements)

• Was ist eine gute Regel?
  • Kümmert sich um möglichst viele positive Beispiele
  • Meidet möglichst viele negative Beispiele
  • Ist so allgemein wie möglich
• Generate-and-Test Verfahren
  • FOIL (Quinlan)
    • Generiere Regelkandidaten und entferne in jedem Schritt die gecoverten positiven Beispiele
    • Erst wird versucht, eine Regel dadurch aufzubauen, dass mehr und mehr Vorbedingungen für die Regel gefunden werden (Hier wird ein statistisches Maß zur Beurteilung der Güte von Literalen verwendet).
    • Wenn diese Regel nicht ausreicht, um alle Beispiele korrekt zu klassifizieren, werden mit dem selben Verfahren weitere Regeln gefunden.
  • ALEPH (Srinivasan)
    • Wähle ein positives Beispiel aus
    • Baue die spezifischste Klausel
    • Suche nach einer generelleren Klausel
    • Entferne redundante Beispiele
  • Negative Beispiele mit Bedacht wählen. Starke Abgrenzung zu positiven Beispielen an den wichtigen Stellen ist essenziell für ein effizientes Lernen.

• Relationale Problemstellungen
  • Mutagenizität (Eine der ersten Anwendungen)
  • Stabilität (z.B. AI Birds)
  • Funktioniert auch bei wenig Beispielen gut!
• Erklärbare KI
  • Post-Hoc-Erklärverfahren: Nehme ein effektives aber undurchsichtiges neuronales Netz und erkläre es durch ILP
    • Finde zunächst wichtige Bausteine im Input oder im gelernten Netz und finde dann aussagekräftige ILP-Regeln, die das Zusammenspiel dieser erklären.
  • Safety im autonomen Fahren: Werden vorgegebene logische Regeln von einem trainierten neuronalen Netz eingehalten?
• Die Wichtigkeit guter negativer Beispiele!
  • Man könnte verleitet werden, nur positive Beispiele (z.B. für Katze) zu geben.
  • Kleinkinder haben aber dann Probleme, wenn z.B. ein Hund kommt.
  • In der Psychologie sieht man, dass einige wenige, gut gewählte negative Beispiele ein Konzept besser beschreiben (Das ist keine Katze, das ist ein Hund)
  • Eltern erklären intuitiv mit Sprache, warum das keine Katze, sondern ein Hund ist (größer, bellt, weniger Schnurrhaare etc.)
  • Dualität zwischen Lernen und Erklären
• Heimassistenten
  • Vorhandenes Wissen über den Haushalt mit Logik modellieren
  • Regeln mit ILP lernen, welche aussagen, ob bestimmte Situationen vorliegen
  • Wenn Situation vorliegt, passende Aktionen schalten

• Muggleton and de Raedt (1994): Inductive Logic Programming: Theory and Methods
• Muggleton, Schmid, Zeller (2018): Ultra-strong Machine Learning: Comprehensibility of Programs Learned with ILP
• Wikipedia-Artikel zu FOIL: hier
• Haupt-Webseite zu ALEPH: hier
• Wikipedia-Artikel zur Prädikatenlogik erster Stufe: hier
• Srinivasan, Muggleton, King, Sternberg (1994): Mutagenesis: ILP Experiments in a Non-determinate Biological Domain
• Rabold, Deininger, Siebers, Schmid (2019): Enriching Visual with Verbal Explanations for Relational Concepts – Combining LIME with Aleph
• Rabold, Schwalbe, Schmid (2020): Expressive Explanations of DNNs by Combining Concept Analysis with ILP
• Rabold, Siebers, Schmid (2021): Generating Contrastive Explanations for Inductive Logic Programming Based on a Near Miss Approach
• Schwalbe, Wirth, Schmid (2021): Concept Embeddings for Fuzzy Logic Verification of Deep Neural Networks in Perception Tasks, https://arxiv.org/abs/2201.00572
  (Paper von Gesina zu Sicherheitsüberprüfungen an DNNs mithilfe logischer Regeln)

Heute blicken wir zurück auf das Leben von Joseph Weizenbaum. Als Deutscher ausgewandert in die USA feiert er erste Erfolge in der Entwicklung von Computer-Architektur und in der Computer-Linguistik. Nach mehreren einschneidenden Erfahrungen wird Weizenbaum zum glühenden Kritiker und großen Mahner im Bereich der künstlichen Intelligenz.

• * 1923 in Berlin, † 2008 in Gröben
• Eltern: jüdisch, Vater Kürschnermeister (Tierfelle zu Pelzmänteln etc.)
  • Für seinen Vater war Weizenbaum ein „wertloser Trottel“
• 1936 Emigration der Familie in die USA
• ab 1941: Studium
  • Mathematik an der Wayne State University in Detroit, Michigan
  • 1942: Militärdienst als Meteorologe, da er für Kryptographie nicht genommen wurde („enemy alien“)
  • Ab 1946 bis 1948 Bachelor und bis 1950 Master
• Um 1952: Wissenschaftlicher Mitarbeiter, Arbeit an Analogrechnern
• 1952: Arbeit für General Electric an ERMA (Magnetic Ink Character Recognition) und Computer-Banksysteme
• Ab 1963: Position am MIT
  • Forschung an dezentralen Rechnersystemen (Ergebnisse wurden später für ARPA-Netz, Vorläufer des Internets, genutzt) (https://gi.de/persoenlichkeiten/joseph-weizenbaum)
  • 1966: ELIZA (Einer der ersten Chatbots, Psychologin, angelehnt an den Stil von Carl Rogers)
    • Sekretärin, die wusste, dass es ein Programm war: „Would you mind leaving the room please?“
    • Online-Beispiel (http://www.med-ai.com/models/eliza.html.de), englische Version: https://web.njit.edu/~ronkowit/eliza.html
    • Es gibt auch eine Version von ELIZA im Texteditor Emacs
    • ELIZA war der Wendepunkt für das Denken von Weizenbaum

• KI führt zur Entmenschlichung
  • ELIZA wird zu viel Menschlichkeit zugesprochen
  • „Letztendlich lüge ich einen potentiell Schutzbedürftigen an, indem ich eine psychologische Hilfe vorgaukle.“
  • Siehe auch japanische Roboter in der Altenpflege als „Menschenersatz“
• Keine prinzipielle Ablehnung des Militärs, aber starke Kritik an autonomen Waffensystemen
  • „Der Mensch sollte immer die letzte Instanz sein!“
  • Unterschied laut Weizenbaum:
    • Entscheidung: Kalte algorithmische Berechnung
    • Auswahl: Emotionale Abwägung
• „Der Computer ist ein Treiber von negativen gesellschaftlichen Entwicklungen.“
  • Computer als konservative Kraft
    • vgl.: Bankensystem wird nicht überholt, da Computer bestehende Strukturen einfach effizienter gestalten
  • Computer ist ein Kind des Militärs
• Kritik an Weizenbaum: Warum müssen wir uns über Dinge unterhalten, die noch so weit in der Zukunft liegen?
  • Forschendendrang, Fragen zu stellen
  • Grundlagenforschung kann nie früh genug beginnen

• Film: Plug & Pray – Von Computern und anderen Menschen, 2010, Regie: Jens Schanze
• Studie des Bundesamt für Arbeit zur Arbeitsmarktentwicklung seit den 70ern (ein Ergebnis: neue Technologien haben immer mehr Arbeitsplatze geschaffen als ersetzt): http://doku.iab.de/kurzber/2019/kb1319.pdf
• 5 Megabyte Festplatte von 1956: https://www.chip.de/news/Kurioser-Datenspeicher-5-Mbyte-Festplatte-von-1956_119941315.html
• Weizenbaum bekam erst in den 2010er Jahren die Ehrendoktorwürde verliehen: https://www.inf.uni-hamburg.de/home/about/honors/weizenbaum.pdf
• Spiegel-Artikel anlässlich des 85. Geburtstages von Weizenbaum: https://www.spiegel.de/netzwelt/tech/joseph-weizenbaum-der-zornige-alte-mann-der-informatik-a-527122.html
• Der Eintrag zu Weizenbaum auf der Webseite der Gesellschaft für Informatik: https://gi.de/persoenlichkeiten/joseph-weizenbaum

Viele maschinell gelernte Modelle sind undurchsichtig. Diesmal geht es um die Frage: Wie kann man dennoch einen Blick hinein werfen? Und warum braucht man das? Wir plaudern also ein wenig um unser Forschungsgebiet, die erklärbare künstliche Intelligenz (XAI von eXplainable Artificial Intelligence).

• „Erklärbar“ ist nicht leicht zu definieren.
  Unser Versuch: Erklärbar heißt (teilweise) auf eine Art und Weise darstellbar, dass ein Mensch es verstehen kann.
• Modelle können selber schon transparent, d.h. verständlich, sein oder im Nachhinein (möglicherweise abschnittsweise) in ein verständliches Modell übersetzt werden.
• Es ist wichtig, dass maschinell trainierte Modelle erklärbar sind, z.B. für Sicherheit, Fairness oder Debugging.
• Erklärbar ist nicht gleich erklärbar: Es gibt viele verschiedene Gründe, weswegen man, viele Aspekte, die man, und viele Arten und Weisen, auf die man, erklären kann. Man sollte sich vorher überlegen, wer was wie erklärt haben möchte.
• XAI ist ein weites (und interessantes ;-)) Forschungsfeld, das sich damit beschäftigt, Methoden zum Erstellen erklärbarer Modelle und zum nachträglichen erklären von Black-box Modellen zu finden.

• Was heißt „erklärbar„? Das ist erstmal schwer zu definieren, denn es kann ganz unterschiedliches sein.
  • Erklären heißt, etwas intransparentes für einen Menschen transparent darstellen.
  • Erklärbar heißt, (teilweise) auf eine Art und Weise darstellbar, dass ein Mensch es verstehen kann.
  • Unterschiedliche Leute brauchen unterschiedliche Erklärungen, um etwas zu verstehen!
• Was heißt transparent? Beispiele „durchsichtiger“ (transparenter) und „undurchsichtiger“ Modelle:
  • Durchsichtig: z.B.
    • Entscheidungsregeln (z.B. erstellt mit Inductive Logic Programming)
    • Entscheidungsbäume
    • lineare Modelle
  • Undurchsichtig: tiefe neuronale Netze, denn sie sind hochdimensional, vielschichtig und speichern Information verteilt (ein Neuron kodiert information über mehrere Konzepte)
• Warum will man hineinschauen? Anwendungsbeispiele:
  • Debugging: Was sind Stellen, an denen mein Modell besonders schlecht funktioniert? Warum? Wie kann ich das Verbessern?
  • Wissensgewinn: Wie hat das Modell das Problem gelöst?
  • Sicherheitsüberprüfung: Falls die Entscheidungen meines Modells gefährlich sein können, ist es zur genüge sicher(er)?
  • Ethische Prüfung: Ist das Netz „fair“? (wobei fair oft schwer zu definieren ist)
  • Externe Auditoren: z.B. Sicherheitsforscher
• Was man sich vorher überlegen sollte:
  • Wem soll etwas wozu erklärt werden?
    Beispiele unterschiedlicher Empfänger der Erklärung:
    • Entwickler des Modells
    • Endnutzer eines Systems, in dem ein maschinell trainiertes Modell verwendet wird (z.B. Ärtze im Falle eines medizinischen Assistenzsystems für Diagnosen);
      Experten oder Laien
    • Organe der Rechtsprechung
    • Externe Auditoren
  • Intrinsisch erklärbar oder nachträgliches Öffnen einer Black-box?
    Beachte, dass bessere Erklärbarkeit oft mit schlechterer Performanz einhergeht! („Accuracy-Interpretability-Tradeoff“)
  • Soll die Erklärung
    • lokal für eine Ausgabe (Warum reagiert mein Modell hier so?) oder
    • global für das gesamte Modell (Wie funktioniert mein Modell allgemein?) sein?
  • Welcher Grad von Transparenz wird benötigt?
    • vollständig verständlich = ein Mensch könnte das gesamte Modell selber durchdenken
    • verständliche Bausteine = ein Mensch kann zwar nicht das gesamte Modell durchdenken, versteht aber jeden Schritt
    • mathematisch beschreibbar = formale Eigenschaften sind bekannt und mathematisch verstanden
  • Was soll erklärt werden:
    • Worauf hat das Netz geachtet? (Attribution der Eingabe zur Ausgabe)
    • Was kodiert das Netz intern?
    • Wie arbeitet das Netz intern?
    • …
  • Braucht die Erklärungsmethode nur Zugriff auf Ein- und Ausgaben des Modells (black-box) oder auch auf Zwischenaufgaben und Interna des Modells (white-box)?

• Typische Verfahren, die nachträglich und lokal Attribution untersuchen:
  • Nur anhand von Eingaben und Ausgaben:
    • LIME (Local Interpretable Model-agnostic Explanations): Untersuche den Effekt den es hat, einzelne Teile der Eingabe abzuschalten; abgeschaltet wird durch Schwärzen (Bildausschnitte) oder Weglassen (Textabschnitte/Wörter)
    • RISE (Randomized Input Sampling for Explanation): Wie LIME, nur hier werden Bildausschnitte durch Verwaschen abgeschaltet
    • SHAP (SHapley Additive exPlanations): Wie LIME, nur dass hier Bildausschnitte nicht abgeschaltet werden durch Schwärzen, sondern indem sie mit zufälligen Schnippseln aus anderen Bildern getauscht werden; verwendet Shapley Werte (ein Verfahren aus der Spieltheorie, um die Beiträge einzelner Spieler zum Gesamtgewinn zu ermitteln)
  • Für neuronale Netze, anhand der inneren Struktur (bzw. des Informationsflusses):
    • LRP (Layer-wise Relevance Propagation): Verfolge das Ausgabesignal durch die Neuronenverbindungen zurück zur Eingabe, wobei (1) die Gewichte der Verknüpfungen beachtet werden (kleines Gewicht=weniger Durchfluss) und (2) davon ausgegangen wird, dass die Summe an Neuronensignalen in einer Schicht immer gleich bleibt.
    • Sensitivity Analysis (Empfindlichkeitsanalyse): Für jeden Teil der Eingabe, ermittele wie stark eine kleine Änderung dieses Teils auch eine Änderung in der Ausgabe verursachen würde (dafür wird der Gradient bzw. die Ableitung der Modellfunktion genutzt)
    • CAM (Class Activation Mapping) und Grad-CAM (Gradient Class Activation Mapping) für Faltungsnetze: Hier wird ausgenutzt, dass die Zwischenausgaben jeder Schicht eines Faltungsnetzes eine Sammlung von Schwarzweißbildern ist. Bei beiden Verfahren, werden die Schwarzweißbilder, die von der letzten Faltungsschicht ausgegeben werden, zu einem Schwarzweißbild zusammengefügt — der Attributionsmaske (weiß=wichtig, schwarz=unwichtig für die Entscheidung des Modells).
• Beispiele für globale Verfahren, die nachträglich Informationen über die Kodierung eines neuronalen Netzes sammeln:
  • Konzeptanalyse, z.B. Net2Vec oder TCAV (Testing with Concept Activation Vectors): Hier werden semantische Konzepte (z.B. „grün“, „Baum“, „hölzern“) mit bestimmten Zwischenausgaben von neuronalen Netzen assoziiert.
  • Deep Dream: Hier werden Startbilder so verändert, dass sie ein Neuron maximal aktivieren und damit „zeigen“, für was das Neuron steht.

• Paper zu XAI Methoden, in denen Probleme von einzelnen neuronalen Netzen entlarvt wurden:
  • Ein Husky wird nur wegen Schnee erkannt: https://arxiv.org/abs/1602.04938 (s. Bild 11)
  • Objekte werden nur anhand einer Bildsignatur erkannt: https://arxiv.org/abs/1902.10178 (s. Bild 1a)
• Ein (englisches) Paper mit recht detaillierter und differenzierter Definition von Erklärbarkeit:
  Arrieta, Alejandro Barredo, Natalia Díaz Rodríguez, Javier Del Ser, Adrien Bennetot, Siham Tabik, Alberto Barbado, Salvador García, et al. 2020. “Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI.” Information Fusion 58: 82–115. https://doi.org/10.1016/j.inffus.2019.12.012.
• Ein Paper, in dem einige wichtige Motivationen für Erklärbarkeit gut zusammengefasst sind
  (erklärbar )
  Adadi, Amina, and Mohammed Berrada. 2018. “Peeking inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI).” In IEEE Access, 6:52138–60. https://doi.org/10.1109/ACCESS.2018.2870052.
• Arbeit aus unserem Lehrstuhl zu der These, dass logische Regeln gut für Menschen verständlich sind: Muggleton, S. H., Schmid, U., Zeller, C., Tamaddoni-Nezhad, A., & Besold, T. (2018). Ultra-strong machine learning: comprehensibility of programs learned with ILP. Machine Learning, 107(7), 1119-1140.
• Arbeit zur Mutagenizität während der Anfänge von ILP: King, R. D., Muggleton, S. H., Srinivasan, A., & Sternberg, M. J. (1996). Structure-activity relationships derived by machine learning: The use of atoms and their bond connectivities to predict mutagenicity by inductive logic programming. Proceedings of the National Academy of Sciences, 93(1), 438-442.
• Unser Paper, das eine Methode vorstellt, um ein neuronales Netz durch erklärbare Regeln anzunähern: Rabold, Johannes, Gesina Schwalbe, and Ute Schmid. 2020. “Expressive Explanations of DNNs by Combining Concept Analysis with ILP.” In KI 2020: Advances in Artificial Intelligence. Lecture Notes in Computer Science. Springer International Publishing. https://doi.org/10.1007/978-3-030-58285-2_11 oder https://arxiv.org/abs/2105.07371.
• Das Buch Deep Learning von Ian Goodfellow ist ein Standardwerk zu tiefen neuronalen Netzen und hat ein schönes Cover aus Deep Dream Ausgaben
• Wer mehr über Fairness im und für maschinelles Lernen erfahren möchte, kann sich z.B. das Buch Fairness in Machine Learning von S. Barocas, M. Hardt und A. Narayanan anschauen.
• Hier nochmal der Link zum Artikel, in dem die Urban Legend zur Geschichte „Panzererkenner, der auf schönen Himmel statt Panzerrohre achtete“ aufgerollt wird: https://www.gwern.net/Tanks
• Google Scholar ist ein Suchdienst von Google, um wissenschaftliche Veröffentlichungen zu finden. Außerdem wird zu Suchergebnissen angegeben, wie oft diese schon in anderen (wissenschaftlichen) Veröffentlichungen erwähnt wurden.
• Video eines Computers, der mit Wasser funktioniert: https://www.youtube.com/watch?v=IxXaizglscw