Wo steckt das „Gehirn“ einer KI? Tauchen Sie ein in die Welt der Transformer-Modelle und erfahren Sie, dass Wissen nicht zentral, sondern verteilt und emergent gespeichert ist.

Diese Folge enthüllt, wie:

• Grundlegende Wortbedeutungen in Embedding-Matrizen kodiert sind.

• Kontextuelle und relationale Zusammenhänge im Self-Attention-Mechanismus gelernt werden.

• Faktisches, linguistisches und Common-Sense-Wissen hauptsächlich in den Feed-Forward-Netzwerken als eine Art Key-Value-Speicher abgelegt ist.

Entdecken Sie die hierarchische Wissensbildung von Syntax in den unteren Schichten bis zu abstrakter Semantik in den oberen Schichten und wie dieses Wissen im Moment der Anwendung dynamisch zum Leben erwacht. Ein tiefer Blick hinter die Kulissen der Künstlichen Intelligenz!