Learning representations using neural networks and optimal transport
Réseaux de neurones et transport optimal pour l'apprentissage de représentations
par Warith HARCHAOUI sous la direction de Charles BOUVEYRON
Thèse de doctorat en Mathématiques. Mathématiques appliquées
ED 386 Sciences Mathematiques de Paris Centre

Soutenue le jeudi 08 octobre 2020 à Université Paris Cité

Sujets
  • Apprentissage par renforcement (intelligence artificielle)
  • Modèles de mélanges gaussiens
  • Réseaux neuronaux (informatique)
  • Traitement d'images -- Techniques numériques

Les thèses de doctorat soutenues à Université Paris Cité sont déposées au format électronique

Consultation de la thèse sur d’autres sites :

TEL (Version intégrale de la thèse (pdf))

Description en anglais
Description en français
Mots clés
Partionnement de données, Réseaux génératifs adversaires, Distance de Wasserstein, Dualité de Kantorovich, Transport optimal de Monge, Modèles génératifs profonds, Auto-encodeur, Estimation de l'incertitude
Resumé
La dernière décennie a vu les réseaux de neurones devenir un outil de référence dans l'apprentissage statistique. Eneffet, cette technologie s'est imposée comme un outil essentiel pour des types de données aussi variés que lesimages, le texte, le son, etc. dans des contextes à grande échelle. Les succès des réseaux neuronaux s'étendentégalement à l'apprentissage par renforcement (jeux et robotique) et à l'apprentissage non-supervisé (analyse etgénération de données), avec notamment une qualité inégalée pour l'imitation d'images avec les réseaux génératifsadversaires. Néanmoins, les réseaux neuronaux restent difficiles à interpréter en tant qu'estimateurs statistiques.L'objectif de cette thèse est d'atténuer cet inconvénient et d'accroître encore la portée des réseaux de neuronesgrâce à trois applications dites d'intelligence artificielle : (i) le partitionnement des données en groupes (clustering)grâce à un algorithme qu'on propose, (ii) la recherche des coordonnées pertinentes d'un signal avec une notionqu'on a baptisé « la pire distance de Wasserstein » et (iii) la prédiction d'un résultat munie de l'estimation d'uneincertitude associée en revisitant et en étendant les méthodes connues.A travers ces trois contributions, nous nous proposons de répondre à trois questions sur les représentations : (i)Comment représentons-nous les objets qui appartiennent aux groupes que nous essayons de former ? (ii) Commentreprésenter ce qui fait qu'un objet ressemble au reste des objets de son type ? (iii) Comment représenter uneincertitude associée à une prédiction automatique ? Ainsi, ce travail présente des moyens de s'éloigner del'utilisation supervisée classique du deep learning (le domaine de l'apprentissage statistique des réseaux deneurones) avec la volonté d'interpréter ces mystérieuses « boîtes noires » grâce à de nouveaux outils algorithmiqueset statistiques. Nous avons veillé à ce que notre utilisation des réseaux de neurones soit la plus interprétablepossible pour une meilleure compréhension des données en jeu, au-delà des décisions automatiques