TRAITEMENT AUTOMATIQUE DES LANGUES

L’évaluation des systèmes de traitement automatique des langues

Un point important pour le traitement automatique des langues, comme pour tout domaine scientifique expérimental, est celui de l’évaluation – un aspect qui n’était pas si important de prime abord, lorsque les enjeux commerciaux étaient encore faibles et où il était hors de question (ou hors de portée) de traiter la langue « courante ». Dès lors, la validation d’un système a longtemps, consisté à montrer que celui-ci pouvait traiter certains phénomènes linguistiques particuliers considérés comme importants et(ou) particulièrement complexes.

À partir des années 2000, la donne a changé : les systèmes ont maintenant des contraintes opérationnelles. Il n’y a donc pas de sens à les évaluer au moyen de tests connus à l’avance, avec un vocabulaire limité et prédéfini. C’est au contraire la capacité des systèmes à faire face à l’imprévu, c’est-à-dire à des phrases complexes, à des phénomènes linguistiques en interaction, à des mots et des expressions non connus à l’avance, qui revêt une importance cruciale.

Des mesures classiques ont donc été définies. Si le système doit « reconnaître » ou annoter (ce qui est en fait la même tâche) des noms de lieux, on peut évaluer ce qui a été reconnu à tort comme un nom de lieu, et ce qui a été oublié par le système (en plus de ce qui a été reconnu correctement, bien évidemment). Il faut donc disposer de deux mesures différentes pour caractériser un système ; on parle alors de précision et de rappel :

– la précision correspond au pourcentage d’éléments pertinents identifiés par le système parmi tous les éléments identifiés ;

– le rappel correspond au pourcentage d’éléments pertinents identifiés par le système parmi tous les éléments à identifier.

Prenons, par exemple, le cas d’un fonds documentaire composé de 100 documents, dont 8 sont pertinents par rapport à la requête d’un utilisateur. Le système propose 12 documents, dont 6 sont pertinents. La précision est alors de 0,5 (6 documents sont pertinents parmi les douze proposés, donc 6/12 = 0,5). Le rappel est de 0,75 (6 documents pertinents ont été retrouvés parmi les 8 qui étaient à retrouver, donc 6/8 = 0,75). Le « bruit », qui est le complémentaire de la précision, concerne ici les 6 documents proposés à tort ; le « silence » correspond aux documents qui auraient dû être identifiés, mais ne l’ont pas été (ici, 2 documents « oubliés »).

Pour obtenir une seule mesure et pouvoir comparer plusieurs systèmes entre eux, ou plusieurs versions d’un même système, on calcule la F-mesure, qui est en fait la « moyenne harmonique » de la précision et du rappel. Si l’on donne le même poids à la précision et au rappel :

$$\text{F}\text{-mesure}\mathrm{ }= \frac{2\mathrm{ }\times \mathrm{ }(\mathrm{p}\mathrm{r}\mathrm{é}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{ }\times \mathrm{ }\mathrm{r}\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{e}\mathrm{l})\mathrm{ }}{\mathrm{p}\mathrm{r}\mathrm{é}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{ }+\mathrm{ }\mathrm{r}\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{e}\mathrm{l}}$$

La moyenne harmonique permet de privilégier les systèmes ayant un rappel et une précision homogènes par opposition à une simple moyenne qui, elle, ne permettrait pas de privilégier ainsi l’homogénéité des résultats entre précision et rappel.

Ces mesures, quelque peu techniques, sont essentielles. Elles permettent de comparer des systèmes sur une base objective et donnent des résultats rapides, stables et reproductibles. De nombreuses propositions visant à les améliorer – l’évaluation et les mesures d’évaluation constituent, rappelons-le, un domaine de recherche en soi au sein du TAL – ont été formulées mais elles les ont souvent rendues plus complexes, sans bénéfice clair.

Notons enfin l’importance croissante des campagnes d’évaluation. Une campagne d’évaluation vise à évaluer par comparaison, de façon contrôlée et en temps limité, des systèmes autour d’une tâche commune. En pratique, des données sont fournies, et un descriptif très précis et très normé du résultat recherché est défini. L’évaluation est faite en comparant les résultats fournis par les systèmes à des[...]