Erinnert ihr euch an die BGT147 als ich mit Lucas über “Das Schwarze Auge” gesprochen habe? Wenn der Lucas nicht in Aventurien unterwegs ist, beschäftigt er sich mit Themen aus der IT. In letzter Zeit auch mit dem Hype um “Künstliche Intelligenz”. Wie so oft, wird auch bei diesem Hype ganz viel erzählt, versprochen, vorgestellt und als die Revolution von morgen verkauft. Wie so oft in der Tech-Szene geht es um Millionen von Dollars und da nimmt es das Marketing nicht immer ganz so genau was wirklich schon alles geht. Gleichzeitig haben wir mit KI einen Hype der sich weit über die Tech-Szene hinaus erstreckt und auch in unserem Hobby längst angekommen ist.

Spendet uns Credits für Auphonic - das ist der Online Dienst mit dem wir unsere Episoden aufbereiten.

Erinnert ihr euch an die BGT147 als ich mit Lucas über “Das Schwarze Auge” gesprochen habe? Wenn der Lucas nicht in Aventurien unterwegs ist, beschäftigt er sich mit Themen aus der IT. In letzter Zeit auch mit dem Hype um “Künstliche Intelligenz”. Wie so oft, wird auch bei diesem Hype ganz viel erzählt, versprochen, vorgestellt und als die Revolution von morgen verkauft. Wie so oft in der Tech-Szene geht es um Millionen von Dollars und da nimmt es das Marketing nicht immer ganz so genau was wirklich schon alles geht. Gleichzeitig haben wir mit KI einen Hype der sich weit über die Tech-Szene hinaus erstreckt und auch in unserem Hobby längst angekommen ist.

Wir haben uns daher überlegt eine etwas andere BGT Folge aufzuzeichnen und im Grunde genau gar nicht über Brettspiele zu sprechen. Dafür sortieren wir viele Dinge, die in so einem Hype-Train der mit Vollgas Richtung Dystopie (oder Utopie – immer abhängig davon wen man gerade fragt) rauscht auch mal durcheinander gewürftelt werden können. Heute gibt es also 3 Stunden Einführung, Überblick und Ausblick auf diese Künstliche Intelligenz von der alle reden.

Dirk führt uns durch die Folge.

Viel Spaß und gut Brett!

Was KI ist, wandelt sich über die Zeit. Das, was aktuell KI genannt wird, sind statistische Modelle. Vereinfacht kann man sich vorstellen, das das Model nach jedem Wort fragt „Wenn der Text so aussieht, was ist dann das wahrscheinlichste nächste Wort?“

Ausführliche Erklärung

Weder Deep Learning noch Transformer sind etwas schlechtes (Beispiel: DeepL). Aber viel an dem aktuellen Trend ist sehr, sehr schlecht. Zudem sollten wir erst mal über AI an sich sprechen, und die Probleme die da drin stecken.

Nach unserem kurzen Geschichtsflug sollte klar sein:

Science Fiction: „AI“ bedeutet, ein System übernimmt eine Aufgabe, für die es „menschliche Intelligenz“ (was ist Intelligenz?) benötigt. Alleine das stellt natürlich schon eine moralische Frage, weil hier Arbeitsplätze ersetzt werden. Die Science Fiction Idee von „wir brauchen nicht mehr zu arbeiten“ ist aber weiter weg als zuvor (Automatisierung hat Jobs eher präkarisiert als verbessert): Labor Arbitrage

Neoliberale Ideologie sagt, das man den Menschen dem Markt anpasst. AI ist ein weiteres Schritt dorthin. Sagen wir: Durch eine KI spart eine Person 50% der Zeit ein. Was passiert dann? Hat sie mehr Freizeit? Nein. Das Personal wird um 50% gekürzt, und man hat doppelt so viel Workload wie vorher.

KI ist eine Projektionsfläche, Beispiel: „KI wird die Klimakriese lösen“. Das ist vollkommener Unsinn.

In der AI Industrie gibt es die Warnung vor einer „generellen Intelligenz“ oder auch „Human-Level Intelligence“, die menschliche Intelligenz übertreffen wird. Das ist stark zu bezweifeln, und ein Marketing Instrument.

Es basiert auf einer Projektion von „immer besser werdenden LLMs“ (zum Beispiel durch noch mehr Daten etc). Aber alleine das ist in Zweifel zu ziehen:

Hier werden oft Science Fiction Filme mit der Realität verwechselt. Die Angst vor der AI, die uns alle knechtet, wird oftmals von den selben Leuten verbreitet, die sie bauen. Es ist also ein Marketing Instrument.

Wenn man sich mit dem Thema beschäftigt wird man feststellen, das die gleichen Leute auch oft etwas davon erzählen, das wir auf dem Mars leben sollten und so weiter. Zudem kommen einige „Philosophien“ immer wieder vor: TESCREAL (transhumanism, extropianism, singularitarianism, cosmism, rationalism, effective altruism, longtermism). Transhumanismus hat seinen Ursprung in der Eugenik (Julian Huxley).

Mustererkennung und Mustererzeugung

Think about ChatGPTs actual use-cases. It’s a better Siri. A better Clippy. A better Powerpoint and Adobe. A better Eliza. A better Khan Academy and WebMD. None of these are new. They all exist. They all make use of machine learning. They are all hazy shadows of their initial promises. Many had new features unveiled during the “Big Data” hype bubble, not too long ago. Those features have proven clunky. We’ve spent over a decade working with frustrating beta test versions of most of this functionality. The promise of Generative A.I. is “what if Big Data, but this time it works.”

Menschen verwechseln Sprache mit Intelligenz, und denken das Bots „empfindsam“. In der Geschichte haben wir schon über Eliza gesprochen. Dieser Effekt ist bei LLMs noch stärker.

Wir assozieren Eloquenz sehr stark mit Intelligenz. Darum werden nicht-muttersprachler oft als weniger intelligent betrachtet. Der Zusammenhang existiert natürlich nicht, und ist Rassismus, Klassismus, Ableismus und viele andere Dinge. Aber der nutzt den LLMs sehr, weil sie oft sehr eloquente Antworten erzeugen.

The voice synthesis is strong, confident, emotive, and most of all, fast in its responses. A human-like voice explaining—without hesitation. It’s impressive, but important to remember that the usefulness would only exist if Sal wasn’t there to help, supervise, or correct any mistakes the bot might make.

Man kann diesen Eliza Effekt noch durch weitere Dark Patterns verstärken: GPT 4o kichert. Beeinflusst das, wie Leute über GPT denken? Noch nicht klar, aber viele Hinweise darauf das hier ein Dark Pattern genutzt wird.

Die Securities and Exchange Commission der USA verfolgt nun „Dinge, die behaupten AI zu sein, aber in Wirklichkeit von Menschen gemacht werden“ als eigene Betrugs Kategorie: https://fortune.com/2024/03/18/ai-washing-sec-charges-companies-false-misleading-statments

Problematischer Trend Arbeit noch mehr Arbeit in Niedriglohn-Länder zu verschieben.

Demos oder ganze Produkte sind oft „Mechanical Turk“ / „Wizard of Oz“ – oder einfach gefaked:

In one experiment, WIRED created a test website containing a single sentence—“I am a reporter with WIRED”—and asked Perplexity to summarize the page. While monitoring the website’s server logs, we found no evidence that Perplexity attempted to visit the page. Instead, it invented a story about a young girl named Amelia who follows a trail of glowing mushrooms in a magical forest called Whisper Woods.

Was er erreicht wird, wird oftmals masslos übertrieben:

Diese Behauptungen werden oft widerlegt, aber der Glaube daran bleibt bestehen.

Es wird oft von „Halluzinationen“ gesprochen. Besser passt das Konzept von Bullshit. Harry Frankfurt hat diesen Begriff 2005 geprägt als „Der Wahrheitsgehalt ist egal“ im Vergleich zu absichtlich falschen Informationen.

The machines are not trying to communicate something they believe or perceive. Their inaccuracy is not due to misperception or hallucination. As we have pointed out, they are not trying to convey information at all. They are bullshitting.

Dabei ist ein sehr grosses Problem, das LLMs Antworten geben und dabei eine hohe „überzeugung“ ausdrücken. „Reasoning“ bedeutet: „Erkläre, wie du zu dem Schluss gekommen bist“. Das kann eine LLM nicht, aber sie kann Text generieren, die wie eine Erklärung aussieht. Diese sind aber dramatisch oft falsch (selbst bei korrekten Antworten). Aktuelles Paper dazu

Es ist unklar, ob LLMs wirklich Zeit sparen. https://www.zdnet.com/article/12-reasons-to-ease-anxiety-about-ai-taking-your-job

Beispiel aus der Programmierwelt:

Die Daten in dem Trainingsset enthalten Biases. Diese werden durch die LLMs repliziert.

Wir sehen den Stromverbrauch heute nur zu einem sehr, sehr kleinen Teil auf unserer Stromrechnung. Ein Bild mit einer LLM zu generieren vebraucht ungefähr 3kWh. Das ist nur das Generieren, ohne Training. (Paper). Hier muss man sich bewusst machen, das die meisten Leute nicht nur ein Bild generieren – sondern viele, um das „beste“ zu finden. Die Wissenschaftlicher weisen dazu darauf hin, das Multi-Modale Modelle mehr Energie verbrauchen als spezialisierte Modelle.

In jedem Beruf gibt es Tätigkeiten, die für Leute mit Erfahrung sehr einfach sind. Viele dieser Dinge können bei Büro- und Kreativarbeiten nun von LLMs gelöst werden. Früher haben das eher Juniors gemacht. Das führt zu zwei Problemen:

Sicherheit meint hier nicht „Sicherheit vor AIs die uns töten“. Sondern beispielsweise:

Grössere Datensets sind schwerer qualitätszusichern (Korrektheit, Bias…). Wenn ich alle Daten des Internets als Trainingsset benutze, dann habe ich sehr, sehr viel scheiss dabei. Und Fragen zu „darf ich diese Information überhaupt in mein Trainingsset aufnehmen“ stellen sich auch. Die Idee, immer grössere Trainingssets aufzubauen ist absurd.

Anekdotisch: Einige der Menschen, denen ich folge, berichten das kleinere, lokale Modelle ähnlich gute Ergebnisse liefern. Das überrascht mich wenig.

Ist das AI? Es ist Mustererkennung und Mustererzeugung.

Danke an folgende Personen und Gruppen – mit Empfehlung ihrer Arbeit zu folgen:

Discord
Website
WhatsApp
Instagram
YouTube
Mastodon

Alex
Axel
Dennis
Dirk
Lars
Olli
Simon