SHANNON CLAUDE ELWOOD (1916-2001)

Né le 30 avril 1916 à Gaylord (Michigan, États-Unis), Claude Elwood Shannon est considéré par l'ensemble de la communauté scientifique comme le père fondateur de la théorie de l'information et des communications numériques.

En 1940, il obtient un master en ingénierie électrique et un doctorat en mathématique du Massachusetts Institute of Technology (MIT). Pour son master, il applique l'algèbre de Boole au problème de la commutation des relais et circuits électriques. À cette époque, le système de Boole qui consiste à manipuler des 0 et des 1, et constitue actuellement le centre nerveux de tous les calculateurs modernes, était peu connu. Pour son doctorat, il applique les mathématiques à la génétique. Auteur de plusieurs ouvrages, il a également rédigé plus d'une centaine de publications dans des domaines aussi variés que la théorie de la communication, la théorie de l'information, la cryptographie, les calculateurs, les circuits et les jeux. Mais la plupart des travaux de Shannon ont été réalisés dans le contexte de l'ingénierie des télécommunications, et c'est dans ce domaine qu'il occupe une place unique.

C'est en 1941 que Shannon rejoint les Bell Telephone Laboratories, où il a été recruté pour développer des méthodes de transmission de l'information et pour améliorer la disponibilité du téléphone à longue distance. En 1948, alors que tout le monde pense qu'une transmission sur un câble doit nécessairement utiliser une onde électromagnétique, Shannon publie une théorie mathématique des communications dans le Bell System Technical Journal. L'idée, qui paraît évidente aujourd'hui, de transmettre des images, de la vidéo à l'aide d'un flux de 0 et de 1 était née. C'est à cette époque que Shannon propose d'utiliser un système de codage entre la source et le canal de transmission ainsi qu'un décodeur entre le canal et le récepteur. Ce principe est toujours utilisé aujourd'hui, entre autres pour les transmissions sur fibres optiques et les liaisons par satellites. Dans sa publication, Shannon propose de transmettre dans un canal des mots composés de symboles élémentaires de durée finie. C'est encore lui qui introduit la notion de code correcteur d'erreur et la notion de redondance, qui consiste à insérer des symboles supplémentaires dans les mots de code, ce qui permet la correction des erreurs de transmission. Il crée aussi le terme « bit », désormais bien connu des informaticiens ainsi que des ingénieurs concepteurs en télécommunications. C'est toujours pour obtenir une définition mathématique de l'information que Shannon et Warren Weaver introduisent la notion d'entropie, jusque-là réservée au domaine de la thermodynamique. Cette notion peut s'expliquer en considérant une situation où M événements discrets m_i peuvent se produire avec une probabilité d'apparition P_i. Si nous ne possédons aucune information a priori sur ce système, alors toutes les probabilités P_i sont égales. La réalisation d'un événement apporte des informations sur le système étudié et cette information est d'autant plus grande que l'événement est improbable. La probabilité d'apparition d'un événement est donc reliée à l'information. Shannon et Weaver définissent alors l'entropie (H) d'un système comme étant la quantité d'information totale par unité de temps : $H\mathrm{ }=\mathrm{ }-\mathrm{ }{\sum }_{i=1,M}\mathrm{ }Pi.\mathrm{l}\mathrm{n}\mathrm{ }\left(Pi\right)$.

Remarquons que lorsque les probabilités P_i sont nulles, sauf une qui est égale à 1, l'entropie définie par cette relation est nulle : dans ce cas, le système est parfaitement défini. Dans tous les autres cas, l'entropie est positive et constitue une mesure du désordre existant dans le système ; c'est aussi une mesure de notre ignorance des caractéristiques du système étudié. C'est de ces définitions que naissent[...]