ANALYSE NON STANDARD

Au milieu du xx^e siècle, le mathématicien et logicien Abraham Robinson (1918-1974) est parvenu à refonder la notion d'infinitésimale –  de grandeur infiniment petite – dont Georg Cantor (1845-1918) et Richard Dedekind (1831-1916) étaient supposés avoir délivré la communauté mathématique. On était d'ailleurs reconnaissant à ces derniers d'un tel bannissement, parce que les deux siècles qui avaient précédé, au cours desquels la mathématique avait admis en son sein un calcul infinitésimal, avaient été en même temps deux siècles de gêne quant aux fondements : l'admission de grandeurs ou nombres infiniment petits mais non nuls donnait lieu à des contradictions.

De plus, Robinson a réussi à définir de façon rigoureuse de tels nombres en utilisant les techniques de la théorie des modèles, elle-même fortement liée à la théorie des ensembles mise en place par Cantor. Il faisait fond sur les « ensembles infinis » auxquels Cantor nous avait introduits et habitués pour réhabiliter les anciennes infinitésimales disqualifiées. Robinson a donné le nom d'analyse non standard à la nouvelle analyse infinitésimale.

Comme on pouvait le prévoir, cette découverte a relancé tout un ensemble de discussions : celles qui avaient porté, dans le passé, sur la consistance logique de la notion d'infinitésimale bien sûr, mais aussi la « grande » discussion sur la légitimité des totalités infinies qui avait accompagné l'instauration de la mathématique formelle ensembliste, où s'affrontèrent notamment Luitzen Brouwer (1881-1966) et David Hilbert (1862-1943).

Dans un premier temps, le sentiment qui prévalut fut que les méthodes de Robinson étaient « encore plus » infinitistes que celles habituellement utilisées à la suite de Georg Cantor, Ernst Zermelo (1871-1953), et Adolf Fraenkel (1891-1965) : que, pour obtenir les infinitésimaux, il fallait en substance faire tourner la machine infinitaire encore plus fort. Il semblait bien, en effet, que Robinson utilisait, pour construire ses élargissements (au sein desquels apparaissaient les infinitésimales) des ultraproduits, sorte d'objets immenses fabriqués à partir de produits infinis de structures et en faisant appel à l'axiome du choix, usuellement regardé comme le plus « idéaliste » de tous les axiomes de la théorie des ensembles. Certains continuateurs de Robinson ont même soutenu que, pour disposer d'une théorie plus adéquate, il pouvait être nécessaire de faire intervenir un ultraproduit satisfaisant de plus une condition de saturation définie en termes de cardinaux infinis.

Une nouvelle vision mathématique

Mais il est intéressant de savoir qu'un courant original, à la fois logique, mathématique et philosophique, a vu au contraire dans l'idée du non-standard une novation susceptible de suggérer aux mathématiciens une vision de leur art et de leurs mondes plus « intuitionniste », une pratique des mathématiques pour une part empreinte de constructivisme, et qui réconcilie en un sens Brouwer et Hilbert. Ce courant, animé par Georges Reeb (1920-1992) en France et Edward Nelson (1932-2014) aux États-Unis, a connu essentiellement deux étapes.

Premièrement, Edward Nelson formule, en 1977, l'analyse non standard comme une mathématique non standard, liée à une nouvelle « théorie des ensembles », appelée « théorie des ensembles internes » (internal set theory, IST), qui apparaît comme une extension conservative de la théorie des ensembles de Zermelo et Fraenkel avec axiome du choix (ZFC), en sorte qu'elle n'est aucunement en conflit avec la mathématique dominante au niveau des vérités qu'on y démontre. Cette mathématique non standard ajoute au langage de la théorie usuelle une nouvelle qualité pour les objets, celle d'être (ou n'être pas) standard. On est ainsi amené à concevoir qu'il y a, parmi la faune des ensembles, des ensembles non standards, qui sont à comprendre comme des ensembles non assignables, mal contrôlés, mal saisis, mal identifiés. La pensée de l'infini incluse dans la théorie des ensembles se simplifie si l'on prend en considération les objets non standards : de nombreuses définitions classiques de l'analyse se formulent de façon plus intuitive, avec un quantificateur de moins.

Deuxièmement, Pierre Cartier (1932-2024), Jacques Harthong (1948-2005), Georges Reeb et Edward Nelson ont poursuivi ce genre d'intuition en plaidant en faveur de la possibilité de développer le paysage et les problèmes de l'analyse, voire plus généralement de toute la mathématique, à partir de la seule admission d'un entier infiniment grand. Cela peut se faire et se justifier de plusieurs façons, en référence au théorème de Gödel (Liu), en faisant usage d'une notion d'accessibilité pour ainsi dire informatique (Cartier, Harthong), en construisant une nouvelle et originale notion logique de prédicativité (Nelson), ou en revenant simplement à la méfiance épistémologique de Brouwer envers le tiers exclu (Reeb). Pour les recherches fondationnelles, ces travaux sont passionnants, parce qu'ils démontrent une sorte de convergence entre plusieurs faits classiques (la non-catégoricité des théories intéressantes, l'incomplétude, l'idéalité du tiers exclu, etc.), voire suggèrent une piste originale pour accomplir de façon décalée le programme de Hilbert.

La morale implicite à ces diverses démarches mathématiques et logiques est que la grande mathématique formelle ensembliste a certes bien droit à son discours idéal des totalités infinies, allant au-delà des configurations finitaires de ce qui peut être construit, mais qu'un discours différent, quoique analogue, est peut-être possible : son programme est en substance d'ajouter au fini plutôt des éléments inassignables que des totalités infinies. Un tel discours fournit également une idéalisation puissante, mais plus proche du finitaire qu'elle idéalise : on se tient plus à son niveau, on s'éloigne moins de son atmosphère. Et de la sorte, une philosophie des mathématiques inspirée par le non-standard aboutirait à une sorte d'infinitarisme constructiviste intelligent.