- 1. Historique
- 2. Quelques définitions
- 3. L'approximation parcimonieuse, une propriété fondamentale des réseaux de neurones
- 4. Réseaux de neurones et régression non linéaire
- 5. L'apprentissage des réseaux de neurones formels
- 6. Quelques exemples d'applications des réseaux de neurones
- 7. Bibliographie
RÉSEAUX DE NEURONES
L'approximation parcimonieuse, une propriété fondamentale des réseaux de neurones
Les réseaux de neurones non bouclés, tels que nous les avons définis plus haut, possèdent une propriété remarquable qui est à l'origine de leur intérêt pratique : ce sont des « approximateurs universels parcimonieux ».
Qu'est-ce que cela signifie ? Un réseau de neurones est capable d'imiter n'importe quel processus, après ajustement de ses paramètres par apprentissage ; la propriété d'« approximation » est la traduction mathématique de cette capacité d'imitation. De plus, la « parcimonie » exprime le fait que le réseau a besoin d'un petit nombre de paramètres ajustables pour réaliser correctement sa tâche.
De manière plus précise, la propriété d'approximation peut être énoncée de la façon suivante : toute fonction bornée suffisamment régulière peut être approchée avec une précision arbitraire, dans un domaine fini de l'espace de ses variables, par un réseau de neurones comportant une couche de neurones cachés en nombre fini, possédant tous la même fonction d'activation, et un neurone de sortie linéaire.
Cette propriété n'est pas spécifique des réseaux de neurones : bien d'autres familles de fonctions paramétrées possèdent cette propriété. La spécificité des réseaux de neurones réside dans le caractère « parcimonieux » de l'approximation : à précision égale, les réseaux de neurones nécessitent moins de paramètres ajustables que les autres approximateurs connus ; plus précisément, le nombre de poids varie linéairement avec le nombre de variables de la fonction à approcher, alors qu'il varie exponentiellement pour la plupart des autres approximateurs. C'est cette remarquable parcimonie qui justifie l'intérêt pratique des réseaux de neurones : dès qu'un problème fait intervenir plus de deux variables, les réseaux de neurones sont, en général, préférables aux autres méthodes.
La suite de cet article est accessible aux abonnés
- Des contenus variés, complets et fiables
- Accessible sur tous les écrans
- Pas de publicité
Déjà abonné ? Se connecter
Écrit par
- Gérard DREYFUS : Professeur à l'E.S.P.C.I.
Classification
Médias
Représentation graphique
Encyclopædia Universalis France
Neurone à fonction sigmoïde
Encyclopædia Universalis France
Réseau non bouclé
Encyclopædia Universalis France
Autres références
-
ANTHROPOLOGIE COGNITIVE
- Écrit par Arnaud HALLOY
- 5 810 mots
...succinctement, les modèles connexionnistes décrivent les phénomènes mentaux et comportementaux comme le produit émergeant d’activation et de création de réseaux de neurones. Ils se distinguent ainsi assez radicalement des modèles « classiques » qui envisagent le cerveau à l’image d’un ordinateur qui traiterait... -
APPRENTISSAGE PROFOND ou DEEP LEARNING
- Écrit par Jean-Gabriel GANASCIA
- 2 645 mots
- 1 média
...techniques variées fondées sur la logique ou la statistique et s’inspirant de modèles psychologiques, physiologiques ou éthologiques. Parmi celles-ci, des techniques anciennes reposant sur un modèle très approximatif du tissu cérébral – les réseaux de neurones formels – ont obtenu depuis les années... -
AUTOMATISATION
- Écrit par Jean VAN DEN BROEK D'OBRENAN
- 11 882 mots
- 12 médias
...fin des années 1980, les travaux scientifiques aboutissant au concept d'une logique « non classique », la logique floue, d'une part, et au concept des réseaux de neurones, adaptés à la modélisation et à la commande des processus non linéaires, d'autre part, trouvèrent des applications dans l'automatisation... -
AUTO-ORGANISATION
- Écrit par Henri ATLAN
- 6 255 mots
- 1 média
...intelligence artificielle destinées à fabriquer des machines à apprendre et à mémoire distributive (cf. F. Fogelman-Soulié, 1991 ; T. Kohonen). Ce calcul est effectué en parallèle par un grand nombre d'unités, dites neurones formels, qui effectuent chacune des opérations élémentaires simulant de... - Afficher les 25 références
