Dans notre métier du TI, il y a des constantes, des concepts, des idées, qui reviennent tout le temps, mais dont on s’aperçoit fortuitement, que l’on ne sait pas tout à fait de quoi il s’agit.
C’est le cas de l’entropie de "Monsieur" Shannon, un concept que l’on trouve partout, dans les algorithmes de compression, le codage de Huffman, par exemple, dans les télécommunications, dans les statistiques et surtout dans le "Machine Learning" de l’Intelligence Artificielle.
Nos avons tous croisé à un moment ou un autre, cette drôle de chose qui prétend "mettre de l’ordre" dans le chaos et comprendre le désordre. Qui nous fait percevoir un phénomène apparemment "brownien" et qui part dans tous les sens, comme s’il était parfaitement ordonné et structuré.
A vrai dire, on peut très bien continuer à vivre sans savoir que l’entropie d’une distribution s’obtient par un calcul de logarithme et qu’il existe même une entropie dite croisée qui quantifie la dissimilarité entre 2 distributions.
Mais on peut aussi faire un petit effort et se dire que l’entropie n’a jamais mordu personne et que comprendre ce qu’elle caractérise ne nous fera pas attraper la scarlatine.
Sachant que dans le futur nous aurons de plus en plus à conceptualiser les algorithmes, mais pas à les programmer, ce ne sera pas du temps de perdu de se familiariser avec l’outil. Nous serons plus à l’aise pour choisir les bons éléments en Machine Learning, les prioriser dans un algorithme en arbre, toujours en ML, mesurer l’impureté d’un ensemble de données, voire encore éviter la surmodélisation des modèles. Autant d’avantages qui jusqu’à présent ont pu sembler appartenir à un dialecte du Balouchistan oriental, mais qui justement s’éclairent dès que l’on fait un effort d’initiation.
Cerise sur le gâteau, les participants feront connaissance, au-delà de Claude Shannon, avec Ludwig Boltzmann, le pape de l’entropie statistique et Rudolf Clausius, le créateur de l’entropie thermodynamique. Ca ne peut pas se rater.