Johannes Rabold
Twitter
Website
Email
GitHub
ResearchGate
ORCiD
Gesina Schwalbe
Email
Website
GitHub
ORCiD
ResearchGate
Twitter
Linkedin
Wir beschäftigen uns heute mit der Frage, ob KI als kreativ bezeichnet werden kann. Nach einer Begriffsklärung zur Kreativität und dem Aufzählen von möglichen Techniken zur Datengenerierung betrachten wir Beispiele zur Bild-, Musik- und Textgenerierung.
Nochmal kurz für Beepo
Es gibt KI Algorithmen die auf Basis von vorhandenen Daten aus gegebenen (z.B. zufälligen) Eingaben neue, potentiell „kreative“ Daten erschaffenKI kann eher als Assistentin für kreativ Schaffende dienenKreativität ist schwer zu definieren, dadas Kriterium „Originalität“ sehr subjektiv und schwer abzugrenzen ist; z.B.Nicht alle Problemstellungen lassen originelle Lösungen zu => Eine Lösung kann nur so kreativ sein, wie es die Problemstellung zulässt!Wenn die Eingaben nicht von einem Zufallsgenerator stammen, z.B. eine textuelle Bildbeschreibung oder ein vorgegebenes Foto, auf dem Style Transfer angewendet wird: Hier agiert die KI als eine Transformation der vorgegebenen Eingaben. Ab wann ist so eine Transformation (potentiell) kreativ und wann liegt die Kreativität noch rein in der Eingabe (= KI als besseres Bearbeitungstool)?die Problemstellung an sich genügend Freiraum für kreative Lösungen geben mussWas ist Kreativität?
Definition lt. Duden: „schöpferische Kraft, kreatives Vermögen“Psychologie-Definition: Fähigkeit zu originellen (=nicht häufigen), produktiven (=schöpferischen) und nützlichen (= zweckdienlichen) Leistungen. (Stangl, 2022);
Abgrenzung:IntelligenzSucht eine richtige LösungKreativitätSucht alternative, nützliche, ästhetische ProblemlösungenSehr subjektiv (insb. Originalität)Nach Margaret A.Boden in „ Creativity and artificial intelligence“ (von 1998): KI-Techniken können auf 3 wegen kreative neue Ideen kreieren:Neue Kombinationen bekannter IdeenDurchsuchen eines LösungsraumsBereitstellen solcher Transformationen, die Generierung vorher unmöglicher Ideen ermöglichenTechniken zur Datengenerierung
Wir brauchen generative, nicht diskriminative Prozesse.
AutoencoderSystem, welches zur Aufgabe hat, Eingabedaten möglichst originalgetreu zu replizierenDie Netzwerkarchitektur erzwingt, dass eine möglichst effizienten interne Codierung (Kompression) erlernt wird.Für kreative neuartige Ausgaben: Die komprimierte Codierung kann gezielt oder zufällig verändert werden, um neue Ausgaben zu erhalten.Generative Adversarial Networks (GANs)Gegenseitiges Hochschaukeln von Generator (versucht, echt aussehende Ausgaben zu erzeugen) und Diskriminator (versucht, erzeugte von echten Beispielen zu unterscheiden)Analogie: Geldfälscher (Generator) vs. Polizei (Diskriminator)Transformer: Nehmen Sequenzen von Symbolen an und generieren AusgabesequenzenAbfolge von Encodern und DecodernEncoder bringen die Eingabesymbole (z.B. Wörter) in eine interne Repräsentation (Vektoren); Position in der Sequenz beeinflusst die RepräsentationDecoder bringen interne Repräsentation zurück in SymboleTransformer lernen die interne Funktion zwischen Ein- und Ausgabesequenzen und beachten zusätzlich die Relationen zwischen Eingabesymbolen (z.B. Subjekt-Verb-Objekt-Beziehung in Text)Anwendungsbeispiele
Bild: Style Transfer
Ziel von Style Transfer: Nehme ein Bild und lass es eine KI malen im Stil eines anderen Fotos / eines KünstlersUnterschied zu anderen Aufgaben:Traditionelle ML-Ansätze müssen aus vielen Paaren von Ein- und Ausgabebildern lernen; diese Paaren existieren hier nichtDeshalb müssen die Eigenschaften vom Originalbild und der Stil-Referenz gelernt werdenMögliche Modellarchitektur:Zwei Netzwerke: Ein bereits trainierter „Feature Extractor“ und ein „Transfer-Netzwerk“Feature Extractor kümmert sich um Extraktion von Content (spätere Ebenen) und Style (frühere Ebenen)Transfer-Netzwerk kümmert sich um Generierung eines kombinierten BildesLoss-Funktion vergleicht Unterschiede zwischen Content/Style Outputs und generiertem BildMusik
Komponist Lucas Kantor nutzt KI um Franz Schuberts Symphonie Nr. 8, die „Unvollendete“ zu vollenden
Aufgabenformulierung:Musik-Generierung nicht auf dem Level von Schallwellen, sondern auf dem Noten-Level (welche Noten kommen wo hin?)KI spuckt Melodien aus und Cantor arrangiert dieseDaten-Grundlage: 2000 Schubert-StückeKI ist hier ein Tool, welches nichts ohne einen Menschen kannText: Textvervollständigung
Idee: Schreibe einen kurzen einleitenden Text und ein ML Modell schreibt den Text weiterKann live ausprobiert werden in Online-Demo basierend auf GPT-2, einem „Transformer-Netzwerk“Links und sonstige schöne Quellen
Definition Kreativität:Definition Kreativität von Studierenden der California State University: http://www.csun.edu/\~vcpsy00h/creativity/survey.htmDefinition Kreativität Duden: https://www.duden.de/rechtschreibung/KreativitaetDefinition Kreativität in der Psychologie: Stangl, W. (2022, 10. März). Kreativität . Online Lexikon für Psychologie und Pädagogik. (https://lexikon.stangl.eu/542/kreativitaet)IBM zu Kreativität von Maschinen: https://www.ibm.com/watson/advantage-reports/future-of-artificial-intelligence/ai-creativity.htmlStyle Transfer Guide: https://www.fritz.ai/style-transfer/Online Style Transfer: https://reiinakano.com/arbitrary-image-stylization-tfjs/Nachrichten-Artikel zur Vervollständigung der „Unvollendeten“ Symphonie Schuberts: https://www.nbcnews.com/mach/science/ai-can-now-compose-pop-music-even-symphonies-here-s-ncna1010931Online-Demos:Text-Vervollständigung Online-Demo: https://deepai.org/machine-learning-model/text-generatorBildgenerierung Online-Demo: https://deepai.org/machine-learning-model/3d-objects-generatorTransformer neuronale Netze: https://de.wikipedia.org/wiki/Transformer(MaschinellesLernen)Einführung in Autoencoder: https://www.mygreatlearning.com/blog/autoencoder/Einführung in GANs: https://machinelearningmastery.com/what-are-generative-adversarial-networks-gans/Paper und demo von GAN Dissect, einem Verfahren zum „Malen“ mithilfe von GANs: https://gandissect.csail.mit.eduGenerierung von Vogelbildern aus Textbeschreibungen: https://www.youtube.com/watch?v=rAbhypxs1qQStimmengenerierung: https://www.youtube.com/watch?v=RknIx6XmffASchöner Zeitschriftenartikel zum Thema (Englisch): https://www.forbes.com/sites/bernardmarr/2020/02/28/can-machines-and-artificial-intelligence-be-creative/?sh=607169f24580Zweibeiner lernen Laufen mit genetischen Algorithmen: https://www.youtube.com/watch?v=pgaEE27nsQwVideo von Google DeepMind, wie kleine Figuren in einer Simulation selber Laufen gelernt haben (mit lustigen/kreativen Lösungen wie ständiges Mit-den-Armen-Fuchteln für Stabilisierung ;-)): https://www.youtube.com/watch?v=gn4nRCC9TwQPost, in dem erklärt wird, wie die Firma Cloudflare eine Wand von Lavalampen für Zufallsgenerierung nutzt: https://blog.cloudflare.com/randomness-101-lavarand-in-production/2 Minute Papers Youtube Kanal: https://www.youtube.com/@TwoMinutePapers/videosEin Experiment von Coldmirror, in dem sie einen Textvervollständiger nutzt, um neue Harry Potter Geschichten zu generieren: https://www.youtube.com/watch?v=YaPzARFwPuA&list=PLDvBqWb1UAGeXy9QXbG0qhmX1BeMQShb0Ein Kapitel aus einem fiktiven Harry Potter Buch, das von einer AI generiert wurde: https://botnik.org/content/harry-potter.html
(kurzer Zeitungsartikel dazu: https://www.theverge.com/2017/12/12/16768582/harry-potter-ai-fanfiction)Beispiel einer Anwendung eines GANs für die Restauration alter Wandgemälde: https://heritagesciencejournal.springeropen.com/articles/10.1186/s40494-020-0355-x