PRIX NOBEL DE PHYSIQUE 2024

Geoffrey Everest Hinton : réseaux de neurones pour l’apprentissage machine

Issu d’une famille de tradition scientifique (son père était un entomologiste renommé), Geoffrey Everest Hinton est né le 6 décembre 1947 à Wimbledon (Royaume-Uni). Il poursuit une formation très interdisciplinaire en physiologie, philosophie et physique, puis en psychologie expérimentale à l'université de Cambridge. Il étudie ensuite à l'université d'Édimbourg, où il obtient son doctorat en intelligence artificielle en 1978. Pendant son postdoctorat aux États-Unis, à San Diego, il commence à développer ses recherches sur les réseaux neuronaux artificiels et leurs applications en intelligence artificielle. De 1982 à 1987, Geoffrey E. Hinton est professeur au département d’informatique de l'université Carnegie-Mellon à Pittsburgh (Pennsylvanie), où il travaille avec le psychologue américain David Rumelhart et l'informaticien américain Ronald J. Williams sur l’algorithme de « rétropropagation ». Comme son nom l’indique, cet algorithme transmet l’erreur faite par un réseau de neurones à sa sortie (par rapport à la valeur attendue) jusqu’à l’entrée du réseau, dans le but d’ajuster tous les paramètres internes pour la minimiser. Cetteapproche, déjà introduite par le mathématicien et informaticien finlandais Seppo Linnainmaa en 1970, permet aux réseaux de neurones profonds d’apprendre à représenter de manière utile les données, en particulier pour le traitement et la reconnaissance des images.


En 1985, Geoffrey E. Hinton introduit avec David H. Ackley et Terrence J. Sejnowski la notion de machine de Boltzmann. Les machines de Boltzmann sont des réseaux de neurones artificiels récurrents stochastiques, capables d’apprendre eux-mêmes les caractéristiques statistiques propres à un ensemble de données (apprentissage machine dit non supervisé). C’est un des tout premiers exemples de modèle génératif : une fois l’apprentissage du réseau effectué, celui-ci peut produire des données à la fois originales et cohérentes avec ces caractéristiques statistiques.

Geoffrey E. Hinton quitte les États-Unis en 1987 et poursuit ses recherches à l'université de Toronto (Canada), puis à l'University College de Londres (Angleterre), avant de revenir au Canada en 2001. Il contribue à faire progresser l’apprentissage automatique fondé sur les réseaux de neurones profonds et démontre la robustesse et la versatilité de ces approches dans l’apprentissage supervisé « parce qu'ils peuvent facilement tirer parti de l'augmentation de la quantité de calculs et de données disponibles », comme il le soulignera dans le célèbre article intitulé « Deep learning » publié avec Yann LeCun et Yoshua Bengio en 2015 dans la revue Nature.

En 2002, Geoffrey E. Hinton introduit la méthode dite de la « divergence contrastive », qui permet d’entraîner de manière efficace les machines de Boltzmann restreintes, réseaux de neurones artificiels bipartites à deux couches. Il lui est alors possible, quelques années plus tard, de pré-entraîner des réseaux neuronaux profonds, couche par couche. La première application majeure de cette approche de pré-entraînement a été la reconnaissance vocale. En 2008, il invente, avec Laurens van der Maaten, l'algorithme t-SNE (tdistributed stochastic neighbor embedding) permettant de visualiser de manière fidèle et optimale, dans un plan, des données complexes définies par de nombreuses variables (données dites de très haute dimension). Il s’agit d’une technique de réduction de dimension utilisée pour l’exploration de ces données de très haute dimension. En 2010, il montre que l'utilisation d'unités linéaires rectifiées améliore les machines de Boltzmann restreintes. En 2012, avec deux de ses étudiants, Alex Krizhevsky et Ilya Sutskever, il met au point AlexNet, un algorithme fondé sur un[...]