Stéphane Mallat
Collège de France
Science des données
Année 2018-2019
L'apprentissage par réseaux de neurones profonds
Les réseaux de neurones profonds ont des applications spectaculaires mais sont encore mal compris d'un point de vue mathématiques. Le cours présentera des applications ainsi que les outils algorithmiques et mathématiques permettant d'aborder l'analyse de ces réseaux. De nombreuses questions ouvertes seront discutées. Chaque cours est suivi de présentations de challenges de données ou de séminaires d'intervenants extérieurs sur une application des réseaux de neurones profonds. Le cours abordera successivement les sujets suivants :
Applications des réseaux de neurones en vision, audition, physique, langage naturel...
Réduction de la dimensionnalité : symétries, décompositions multi-échelles, et parcimonie
Les origines des réseaux de neurones : la cybernétique et le perceptron
Universalité d'un réseau à deux couches
Approximations de fonctions : malédiction de la dimensionnalité
Approximations avec des réseaux multicouches
Apprentissage d'un réseau : fonctions de coûts
Optimisations par descente de gradient stochastique
Algorithme de rétro-propagation
Architecture des réseaux convolutifs
Analyses multi-échelles et ondelettes
Symétries, invariants et parcimonie dans les réseaux profonds