Stéphane Mallat

Collège de France

Science des données

Année 2018-2019

L'apprentissage par réseaux de neurones profonds

Les réseaux de neurones profonds ont des applications spectaculaires mais sont encore mal compris d'un point de vue mathématiques. Le cours présentera des applications ainsi que les outils algorithmiques et mathématiques permettant d'aborder l'analyse de ces réseaux. De nombreuses questions ouvertes seront discutées. Chaque cours est suivi de présentations de challenges de données ou de séminaires d'intervenants extérieurs sur une application des réseaux de neurones profonds. Le cours abordera successivement les sujets suivants :

Applications des réseaux de neurones en vision, audition, physique, langage naturel...

Réduction de la dimensionnalité : symétries, décompositions multi-échelles, et parcimonie

Les origines des réseaux de neurones : la cybernétique et le perceptron

Universalité d'un réseau à deux couches

Approximations de fonctions : malédiction de la dimensionnalité

Approximations avec des réseaux multicouches

Apprentissage d'un réseau : fonctions de coûts

Optimisations par descente de gradient stochastique

Algorithme de rétro-propagation

Architecture des réseaux convolutifs

Analyses multi-échelles et ondelettes

Symétries, invariants et parcimonie dans les réseaux profonds