GPT-3 steht für „Generative Pretrained Transformer in Version 3“. Transformer sind eine spezielle Bauform neuronaler Netze, die ihre Aufmerksamkeit selbst auf das lenken können, was ihr Erschaffer beim Training als Problem definiert hat. Die Strukturen in den Parametern des neuronalen Netzes, die zum freien Schreiben gebraucht werden, sind weitgehend die gleichen wie für Text-Klassifikation oder Übersetzung. Deswegen kann man einen Transformer zuerst auf terabyteweise Text aus dem Internet trainieren (Pre-Training) und ihn danach für die eigentliche Aufgabe wie Übersetzung oder Klassifikation fit machen. OpenAI, die Firma hinter GPT-3 hat das so gemacht und konnte mit diesem Trick ein gigantisches Netz mit 175 Milliarden Parametern trainieren.

Die schiere Größe von GPT-3 ist kaum vorstellbar und je größer, desto weniger haben seine Väter von OpenAI den Überblick, welche der Parameter was bewirken. In der Praxis überrascht GPT-3 sowohl mit stilsicheren Beschreibungen als auch mit dreisten Lügen und renitenter Arbeitsverweigerung. Dem neuronalen Netz wurde bereits Rassismus, Sexismus und das Formulieren von Verschwörungsmythen nachgewiesen. Den Entwicklern kann man das nur indirekt vorwerfen, da sie der KI keinen Hass in die Wiege gelegt haben. Die problematischen Sätze entspringen dem Training mit Text, den letztlich vorher Menschen geschrieben haben. GPT-3 ist ein wahres Kind der Netzkultur der heutigen Zeit – mit allen Problemen, die es mit sich bringt, wenn man kein Leben hat, sondern nur Internet.

Mit dabei: Arne Grävemeyer, Pina Merkert und Keywan Tonekaboni

=== Anzeige / Sponsorenhinweis ===

Dieser Podcast ist gesponsert von Dell Technologies. Rufen Sie uns an unter 0800-724 48 69 oder besuchen Sie uns online unter: Dell.de/KMU-Beratung

=== Anzeige / Sponsorenhinweis Ende ===