FORMALISME

La formalisation du calcul algébrique

Aux yeux des algébristes anglais (comme Peacock, De Morgan, Hamilton) et allemands (Grassmann, Hankel) du milieu du xix^e siècle, la permanence du concept de nombre à travers ses extensions successives, qui n'est ni celle d'une représentation concrète, ni celle d'une évidence intellectuelle, est celle d'un symbolisme : le calcul sur les nombres complexes, sous réserve de définitions convenables des opérations algébriques, peut en effet s'écrire de la même façon que le calcul sur les entiers, les rationnels et les réels. Il obéit aux mêmes règles opératoires de commutativité, d'associativité et de distributivité. Un système de « nombres » n'est donc pas autre chose qu'un système d'objets pour lesquels ces règles opératoires sont valides. Le concept de nombre, le concept des règles du calcul est en un sens un concept purement « logique ». Il est important de noter que la « logique » ou « algèbre » de Boole représente précisément une extension de ce type. Or, on sait aujourd'hui qu'elle s'applique aussi bien au calcul des propositions qu'aux structures de réseaux électriques (ce qui en a fait un instrument privilégié de l'informatique).

Le point de vue qui s'exprime dans l'idée de calcul formel réduit par là le « sens » des concepts traditionnels aux règles de leur usage, et le distingue nettement d'une interprétation ou d'une représentation, réduites au statut d'« exemplification » et d'application. La mathématique formelle définit directement les structures opératoires « abstraites » et n'a aucun besoin d'en préciser d'abord l'interprétation intuitive, ce qui est une démarche extra-mathématique. De là un déplacement de l'objet de la science : celle-ci ne consiste pas à pratiquer et développer le calcul à son propre niveau, mais, puisque son essence réside en fait dans la mise en œuvre des règles, à définir, expliquer, et, éventuellement, varier et généraliser ces règles mêmes. Après avoir dégagé la notion générale de loi de composition, on élargit le champ de l'algèbre en définissant de nouveaux systèmes de « nombres » (par exemple les quaternions de Hamilton, définis par analogie avec les nombres complexes comme systèmes de quatre nombres réels, mais dont le produit n'est plus commutatif) et en construisant des calculs symboliques dont l'interprétation est tout à fait étrangère au domaine numérique (par exemple le calcul vectoriel, le calcul matriciel).

Ainsi, le formalisme apparaît comme capacité de créer des objets mathématiques nouveaux en définissant leur structure abstraite selon un mouvement que J. Cavaillès appelait le « moment de la variable, remplaçant les déterminations d'actes par la place vide pour une substitution ».

Il permet d'unifier la mathématique en reconnaissant la structure des relations identiques dans lesquelles sont des « objets » d'ailleurs différents. Il conduit à définir la particularité « concrète » des notions mathématiques comme combinaison complexe de plusieurs structures de relations formelles. L'œuvre de N. Bourbaki a représenté en France, jusqu'à une date récente, l'aboutissement de ce point de vue.

Méthode axiomatique et formalisme

L'évolution de l'algèbre abstraite converge avec le développement de l'axiomatique, principalement issue de la réflexion sur la géométrie projective et les géométries non euclidiennes. Tout ce que le formalisme requiert pour s'autoriser à considérer un domaine d'objets mathématiques, c'est la non-contradiction logique des relations qui le définissent en quelque sorte implicitement. En revanche, il n'est nullement requis que ces relations aient un « sens intuitif », ou plutôt c'est le système des relations formelles, symboliquement exprimé, qui doit être considéré comme le sens.

De la même façon, dans les Grundlagen der Geometrie (1899), D. Hilbert montrait que le « sens » des propositions géométriques n'est aucunement lié aux représentations intuitives de l'espace, mais dépend seulement de la cohérence du système d'axiomes initial. Les notions primitives (point, droite, plan) à partir desquelles toutes les autres sont définies ne sont pas elles-mêmes définies : on peut considérer que les relations choisies comme axiomes les définissent implicitement.

Ici, on comprend mieux encore pourquoi le symbolisme n'est pas simplement un moyen d'expression commode ni une convention (même si, bien entendu, on peut toujours définir des symbolismes équivalents), mais tend à devenir l'objet même de la pensée et d'une véritable expérimentation mathématique. C'est le point de vue formel qui rend nécessaire, en pratique, le symbolisme : langage par construction exactement adéquat à une définition formelle, et susceptible d'être traité non pas comme un « moyen d'expression » renvoyant à un sens qu'il faudrait chercher et garder en mémoire, mais comme un nouvel objet, d'ailleurs matériel, et tout entier présent, exhibé aux yeux du théoricien.

Le logicisme

Il y a au contraire, au moins initialement, et sur le plan philosophique, une nette divergence entre la pensée formaliste et axiomatique (telle que la développe Hilbert) et le logicisme de G. Frege et B. Russell, second des grands courants qui sont à l'origine de la formalisation moderne.

Le projet de Frege, même s'il suppose la formalisation du raisonnement mathématique et la construction d'une écriture mathématique entièrement symbolique, est, à l'opposé du formalisme, un projet de réduction des mathématiques à la logique. Mais le terme « logique » n'a pas ici le même sens que tout à l'heure, où il s'agissait finalement de la non-contradiction d'un système de relations. Il désigne au contraire un ensemble de quelques notions considérées comme des termes universels intelligibles a priori de la pensée rationnelle, et inséparables de leur sens (bien que ce sens n'ait rien d'empirique). Telles sont, par exemple, les notions de concept, d'extension d'un concept c'est-à-dire de classe, et d'identité.

Selon Frege, le problème fondamental de l'arithmétique (le problème de ses fondements) est de construire une définition logique explicite du nombre entier qui mette en évidence son contenu de signification purement logique. Ce problème est en même temps le problème fondamental des mathématiques, dès lors que les méthodes d'arithmétisation de l'analyse élaborées par K. T. W. Weierstrass, R. Dedekind, G. Cantor permettent déjà de ramener les nombres réels, donc toutes les notions de l'analyse classique, à la notion de l'ensemble des entiers. Voici la définition de Frege, qui est une analyse en trois étapes de la notion de nombre :

« 1. Le concept F est numériquement équivalent au concept G signifie qu'il existe une relation biunivoque entre les objets tombant sous le concept F et ceux qui tombent sous le concept G.

« 2. Le nombre qui appartient au concept F est l'extension du concept numériquement équivalent à F.

« 3. n est un nombre signifie il existe un concept tel que n soit le nombre qui lui appartient. »

La différence des deux points de vue, formaliste et logiciste, est plus apparente encore si on prend en considération l'œuvre de G. Boole, évoquée ci-dessus. Pour Boole, de façon typiquement formaliste, « la mathématique traite des opérations considérées en elles-mêmes, indépendamment des matières diverses auxquelles elles peuvent être appliquées ». Les règles de la logique, qu'il s'agisse de la logique des enchaînements de propositions ou de la logique des classes, sont une telle matière, qu'il est possible de représenter par un calcul symbolique proche du calcul algébrique usuel. Le projet de Boole est une application de l'algèbre symbolique à la logique traditionnelle, une mathématisation de la logique, celui de Frege une logicisation des mathématiques.

Le contraste apparaît encore nettement dans les philosophies du langage qui s'étayent sur chacune des deux entreprises. On trouve chez Hilbert une réflexion sur la nature du signe matériel, dont la forme invariante permet la substitution dans les formules (qui comportent généralement plusieurs occurrences du « même » signe) ; et une réflexion sur la distinction des signes qui figurent dans les formules et de leur désignation dans une « métalangue » non formalisée permettant de définir les expressions formelles et les règles de leur dérivation. On trouve chez Frege une réflexion sur les concepts et les expressions du langage mathématique, envisagés comme des noms propres dont il faut caractériser les différents types de signification.

Cependant, l'entreprise logiciste ne pouvait être conduite qu'à la condition de transformer la logique traditionnelle en caractérisant de façon précise les formes propositionnelles qui peuvent apparaître dans la démonstration, et les règles d'inférence valides, donc en rendant la logique indépendante des représentations spontanées de la grammaire des langues naturelles. C'est ce que Frege entreprit le premier en construisant, dans sa Begriffschrift (1879), un système formel qu'il appliqua ensuite à la logicisation de l'arithmétique. Ultérieurement, il s'agit aussi d'éviter les contradictions ou les paradoxes que suscite l'emploi intuitif des notions logiques fondamentales (celle de classe ou d'ensemble).