INFORMATION THÉORIE DE L'

Application à la thermodynamique

La notion de quantité d'information est l'un des concepts de base de la théorie de l'information. Remarquant que son expression mathématique ressemblait à celle que Ludwig Boltzmann avait donnée à la fin du xix^e siècle pour l'entropie, Shannon a pressenti que l'on pouvait établir un pont entre la théorie de l'information et la thermodynamique. Afin de comprendre ce lien, souvenons-nous d'abord qu'un morceau de matière, même petit, comprend un si grand nombre de particules qu'on ne peut le décrire à l'échelle microscopique que de façon statistique. Prenons l'exemple d'une épingle d'acier. Elle contient quelque 10¹⁹ atomes. La plupart d'entre eux sont des atomes de fer, situés aux nœuds d'un réseau cristallin. Les autres (environ 1 p. 100 du total) sont des atomes de carbone, plus petits, qui s'intercalent en se plaçant dans certains des interstices. L'empilement des atomes de fer n'est pas parfaitement régulier, de sorte que la configuration de l'édifice est caractérisée par la nature et la position des défauts, ainsi que par les emplacements des atomes de carbone. Le nombre de ces configurations défie l'entendement. Déjà, le nombre d'états distincts obtenus en disposant les atomes de carbone de toutes les façons possibles dans un réseau régulier d'atomes de fer nécessiterait, si on voulait l'écrire, pas moins de 10¹⁷ chiffres. La connaissance de la configuration précise de notre tête d'épingle est donc hors de portée. En revanche, nous pouvons espérer rendre compte des propriétés, non pas d'un objet spécifique, mais d'échantillons génériques. Ce ne sont plus les particularités d'une certaine tête d'épingle qu'il s'agit alors de décrire, mais les propriétés communes à toutes les têtes d'épingle fabriquées dans les mêmes conditions.

Tous les objets ont alors les mêmes caractéristiques macroscopiques (volume, composition, masse, température), mais la configuration microscopique de chacun d'entre eux reste inconnue. On peut toutefois attribuer une probabilité p_n à chacune des très nombreuses configurations compatibles avec les données. En particulier, si rien dans ces données ne nous permet de préférer une configuration à une autre, nous pouvons attribuer à toutes les configurations la même probabilité p. Une fois choisie cette loi de probabilité, il devient possible de répondre à des questions de nature statistique comme celle-ci : comment les distances entre atomes de carbone dans l'acier sont-elles distribuées ? Il arrive même que la loi des grands nombres fournisse des réponses quasi certaines. Ainsi, la petitesse des fluctuations statistiques de la densité d'un matériau comportant un grand nombre de particules explique l'apparence continue de la matière.

Cela n'empêche pas que notre description microscopique des objets demeure fondamentalement incomplète et probabiliste. Toutefois, le caractère partiel de cette connaissance peut être quantifié en prenant appui justement sur la théorie de l'information. Considérons les diverses configurations possibles de notre matériau comme des « messages ». Si toutes ces configurations, en nombre W, sont équiprobables, la probabilité p de chacune d'elles vaut p=1/W. Recevoir un message reviendrait à déterminer complètement la configuration d'un échantillon particulier. La quantité d'information ainsi gagnée serait alors égale, en vertu de la formule de Shannon, à k logW.

Mais nous avons déjà souligné que, en raison de la valeur gigantesque de W, l'observation d'une configuration particulière était hors de portée. Renversons donc notre point de vue : au lieu de considérer des gains d'information impossibles à obtenir, examinons la situation avant toute observation.[...]