theorie de l'information: Chapitre 1

  • Upload
    ferouk

  • View
    219

  • Download
    0

Embed Size (px)

Citation preview

  • 7/31/2019 theorie de l'information: Chapitre 1

    1/4

    Thorie de linformation

    1

    Chapitre 1 : Introduction la thorie de linformation

    Introduction

    La thorie de l'information , dsige lathorie de l'information de Shannon , qui est unethorieprobabilistepermettant de quantifier le contenu moyen eninformationd'un ensemblede messages, dont lecodage informatiquesatisfait unedistribution statistiqueprcise. Cedomaine trouve son origine scientifique avecClaude Shannonqui en est le pre fondateur

    Parmi les branches importantes de la thorie de l'information de Shannon, on peut citer :

    le codage de l'information, la mesure quantitative deredondanced'un texte, la compression de donnes, la cryptographie.

    Dans un sens plus gnral, une thorie de l'information est une thorie visant quantifier etqualifier la notion de contenu eninformationprsent dans un ensemble de donnes. ce titre,il existe une autre thorie de l'information : lathorie algorithmique de l'information, creparKolmogorov, Solomonov etChaitinau dbut des annes1960.

    1. Le concept de linformation

    L'information est un concept physique nouveau qui a surgi dans un champ technologique. Leconcept thorique d'information a t introduit partir de recherches thoriques sur lessystmes detlcommunication. L'origine de ces recherches remonte aux tudes entreprises

    ds la fin du XIXe

    sicle, en physique et en mathmatique parBoltzmannet Markovsur lanotion deprobabilitd'un vnement et les possibilits de mesure de cette probabilit. Plusrcemment, avant laSeconde Guerre mondiale, les contributions les plus importantes sontdues la collaboration des mathmaticiens et des ingnieurs destlcommunications, qui ontt amens envisager les proprits thoriques de tout systme de signaux utilis par lestres, vivants ou techniques, des fins decommunication.

    Cette thorie est ne de proccupations techniques pratiques. La socitBell cherche transmettre les messages de la faon la fois la plus conomique et la plus fiable. Aussi lecadre originel de la thorie est celui d'un systme de communications o un metteur transmetun message un rcepteur travers un canal matriel/nergtique donn. metteur etrcepteur ont par hypothse un rpertoire commun, un code qui contient les catgories designaux utilisables. Ainsi le message cod est transmis, de l'metteur au rcepteur travers lecanal, sous forme de signes ou signaux ports par de la matire/nergie.

    2. Caractre de linformation

    Pour Shannon, l'information prsente un caractre essentiellement alatoire. Un vnementalatoire est par dfinition incertain. Cette incertitude est prise comme mesure del'information. L'information est la mesure de l'incertitude calcule partir de la probabilit del'vnement. Shannon a donc confondu la notion d'information et de mesure d'incertitude. Ilfaut remarquer que dans cette dfinition l'information est bien synonyme de mesured'incertitude. Dans cet ordre d'ide, plus une information est incertaine, plus elle est

  • 7/31/2019 theorie de l'information: Chapitre 1

    2/4

    Thorie de linformation

    2

    intressante, et un vnement certain ne contient aucune information. En thorie del'information de Shannon, il s'agit donc de raisonner en probabilit et non en logique pure.

    L'information se mesure en units d'information dites bits. Le bit peut tre dfini comme unvnement qui dnoue l'incertitude d'un rcepteur plac devant une alternative dont les deux

    issues sont pour lui quiprobables. Plus les ventualits que peut envisager ce rcepteur sontnombreuses, plus le message comporte d'vnements informatifs, plus s'accrot la quantit debits transmis. Il est clair que nul rcepteur ne mesure en bits l'information obtenue dans unmessage. C'est seulement le constructeur d'un canal de tlcommunication qui a besoin de lathorie, et mesure l'information en bit pour rendre la transmission de message la plusconomique et la plus fiable.

    La notion d'information d'aprs Shannon est ncessairement associe la notion de redondance et celle de bruit . Par exemple, en linguistique l'information n'est ni dans lemot, ni dans la syllabe, ni dans la lettre. Il y a des lettres voire des syllabes qui sont inutiles la transmission de l'information que contient le mot : il y a dans une phrase, des mots inutiles la transmission de l'information. La thorie de Shannon appelle redondance tout ce qui dansle message apparat comme en surplus. Aussi est-il conomique de ne pas transmettre laredondance.

    L'information chemine travers un canal matriel/nergtique : fil tlphonique, onde radio,etc. Or, dans son cheminement, l'information rencontre du bruit.Le bruit est constitu par lesperturbations alatoires de toutes sortes qui surgissent dans le canal de transmission et tendent brouiller le message. Le problme de la dgradation de l'information par le bruit est donc unproblme inhrent sa communication. Ici, l'ide de redondance prsente une face nouvelle ;alors qu'elle apparat comme un surplus inutile sous l'angle conomique, elle devient, sousl'angle de la fiabilit de la transmission un fortifiant contre le bruit, un prventif contre lesrisques d'ambigut et d'erreur la rception.

    3. Reprsentation de la thorie mathmatique de l'information

    Claude Shannonet Warren Weaveren 1948, ont modlis linformation pour tudier les loiscorrespondantes :

    bruit(Le bruit est un son complexe produit par des vibrations diverses, souvent amorties et qui nesont pas des harmoniques ),

    entropie(L'entropie de Shannon, due Claude Shannon, est une fonction mathmatique qui,intuitivement, correspond la quantit d'information contenue ou dlivre par une sourced'information. Cette source peut tre un texte crit dans une langue donne, un signal lectrique ouencore un fichier informatique quelconque (collection d'octets) )

    et chaos(La thorie du chaos traite des systmes dynamiques rigoureusement dterministes, maisqui prsentent un phnomne fondamental d'instabilit appel sensibilit aux conditions initiales qui, modulant une proprit supplmentaire de rcurrence , les rend non prdictibles en pratique surle long term )

    Pour une source X comportantn symboles, un symbolei ayant une probabilit pi d'apparatre,l'entropie H de la source X est dfinie comme :

  • 7/31/2019 theorie de l'information: Chapitre 1

    3/4

    Thorie de linformation

    3

    L'informatiqueconstituera une dclinaison technique automatisant les traitements (dont latransmission et le transport) d'information. L'appellation Technologies de l'Information et dela Communication recouvre les diffrents aspects (systmes de traitements, rseaux, etc.) del'informatique au sens large.

    Les sciences de l'informationdgagent dusens depuis desdonnesen s'appuyant sur desquestions decorrlation, d'entropieet d'apprentissage(voirData mining). Lestechnologies del'information, quant elles, s'occupent de la faon de concevoir, implmenter et dployer dessolutions pour rpondre des besoins identifis.

    4. Exemples d'information

    Uneinformationdsigne, parmi un ensemble d'vnements, un ou plusieurs vnementspossibles.

    Enthorie de la dcision, on considre mme qu'il ne faut appeler information que ce quiest susceptible d'avoir un effet sur nos dcisions (peu de choses dans un journal sont cecompte des informations)

    En pratique, l'excs d'information, tel qu'il se prsente dans les systmes demessagerielectronique, peut aboutir une saturation, et empcher la prise dedcision.

    1- Une bibliothque possde un grand nombre d'ouvrages, des revues, des livres et desdictionnaires. Nous cherchons un cours complet sur la thorie de l'information. Toutd'abord, il est logique que nous ne trouverons pas ce dossier dans des ouvrages d'artsou de littrature ; nous venons donc d'obtenir une information qui diminuera notretemps de recherche. Nous avions prcis que nous voulions aussi un cours complet,nous ne le trouverons donc ni dans une revue, ni dans un dictionnaire. nous avonsobtenu une information supplmentaire (nous cherchons un livre), qui rduira encorele temps de notre recherche.

    2- Il faut moins de bits pour crire chien que mammifre . Pourtant l'indication Mdor est un chien contient bien plus d'information que l'indication Mdor est unmammifre : le contenu d'information smantique d'un message dpend du contexte.En fait, c'est le couple message + contexte qui constitue le vritable porteurd'information, et jamais le message seul (voirparadoxe du compresseur).

    Rsum

    La thorie de l'information est une thorie mathmatique qui dcrit les aspects fondamentauxdes systmes de communication. Elle a t initie par C. Shannon dans les annes 1940.

    Un systme de communication est la transmission d'une information depuis une source travers un canal jusqu' un rcepteur.

    Une source peut tre

  • 7/31/2019 theorie de l'information: Chapitre 1

    4/4

    Thorie de linformation

    4

    - une voix- une suite de symboles binaires (bits)- un signal lectromagntique

    Le canal peut tre

    - une ligne tlphonique- une liaison radio- un support optique- un support magntique

    Pour amliorer la transmission, on code la source pour rduire le dbit de la source : cela peutse faire avec ou sans perte d'informations (on se limitera sans perte) et consiste transmettreen moyenne moins de symboles qu'il n'en provient de la source.

    Le canal de transmission est sujet diverses perturbations dues l'environnement que l'onnommera bruit. Pour contrer ces perturbations qui peuvent engendrer soit perte soitdformation de l'information, on utilisera un codage de canal qui, contrairement au prcdent,ajoutera des informations au message transmettre ce qui augmentera le dbit ncessaire.

    Bien sr, la rception il faut dcoder ce qui arrive du canal pour ainsi restituer le premier

    codage de l'information transmise qui son tour sera dcod pour arriver au rcepteur