INFORMATION, Si~.LECTION, INFORMATION SP.LECTIVE

LA SI~CURITI~, E S T - E L L E U N E CONSTANTE D ' U N I V E R S ?

par Michel LALO~: Ancien 616re de l'I~cole Polytechnique

SoM~,~as.. - - Apr& avoir repris et prolong~ un calcul d~t d WOOD'~,VARD, o n cn applique les r&ultats au cas le plus simple d'une communication entre deux correspondants, en comment ant par montrer (I) comment il en d&oule la ddfinitlon d'une Information qui a une correspondance physique a~ec l'entropie. On montre ensuite (II) comment cette in/ormation permet, par exemple, d'op&er une s61eetion avec un risque d'autant plus [aible que son dgbit est plus grand et le choix ~t [aire plus restrelnt. Cette conception entropique attribue ~ l' in[ormation des propri~tSs contraires ~ certalns postulats admis par S~AN~orq dans sa th&rie bien connue. On montre enfin (I l l ) comment &iter cet dcueil en abondonnant le point de ~ue cofit = entropie pour celui co~1t = temps, ce qui rend ainsi de plus d /'Information s61ectlve le caract&e purement op&'ationnel que son auteur lui attribue. Pour terminer, on expose (IV) comment la sfieurit4, consid&& comme constante d' Uni~,ers, peut remplacer une constante [ondamentale de la physique.

I N T R O D U C T I O N

Au cours des d6veloppements r6cents de la th6orie de l ' information, l 'analogie entre l ' information et l 'entropie est apparue si f rappante que certains n 'ont pas h6sit6 h confondre volontairement les deux notions, ce qui ne va pas sans soulcver de s6rieuses objections quand il s'agit de l ' information ~ s61ective ~.

Dans ce qui suit, l ' auteur propose une ~, infor- mat ion ~ qui est, comme il se dolt, additive, qui se d6finit en dehors de l'id6e de s61ection, el: qul a une 6quivalence physique avec l 'entropie. La s61ection apparal t alors comme une op6ration qui consomme de l ' information et d ' au tan t plus que le risque d 'er reur op6ratoire est plus faible et le choix h faire plus 6tendu.

I. I N F O R M A T I O N .

Soit un individu A qui d6sire faire connaltre '~ un correspondant B, avec lequel il est tell6 par une vole de t616communication, qu 'un certain 6v6ne- ment s'est produit. Quel est, pour A, le moyen le plus 6conomlque pour y parvenir, 6tant entendu qu'il est comptable de l'6nergie qu'il envoie sur la vole h par t i r de l '6poque o~ lui-m~me a eonnais- sance de l '6v6nement h signaler, mais non pas de l'6nergie d6pens6e avant cette 6poque, ni de celle que B met en oeuvre pour assurer la r6ception de ce qui arrive i* l 'autre bout de la vole ?

Pour y r6pondre, il sera fait de larges emprun|.s la r6f6rence [1] et h la premi6re patt ie de la r6f6-

rence [2]. La notat ion en a 6t6 conserv6e. II convient cependant de pr6ciser que la notion d ' information telle qu'elle est d6finie et utilis6e ici n 'est pas celle de Wo ODWAI~D.

WOODWAI~D part du th6or6me sur l'6chantillonnage. Une fonction du temps n(t) al6atoire stationnaire et gaussienne, dont la r6partition spectrale 6nerg6tique

est uniforme de la fr6quence 0 "h la fr6quence W, et nulle ailleurs, peut s'6crire :

/ r '

r 6tant entier et chaque valeur n(rl2W ) = nt 6tant une variable al6atoire ind6pendante dont la distribution est :

t,(nr) = 1r exp I - - nrl2NoW],

k est une eonstante de normalisation, .N o l%nergie de bruit par unit6 de bands de fr6quenee.

Les variables al6atoires nr 6tant ind6pendantes entre elles, on a :

P ( ' h . - . "q) = P [n(l)] = k e x p l - - En~/2NoW]"

En tenant compte de la relation d'orthogonalit6 : si, = [2wt--_r! si,, r~ [2wt- -s ]

7~[2Wt--r] )-~W['---7 dt __I t12W s i r = s , - - 0 r # s ,

o n volt que / n2(t) dt = En~12W,

1. II est remarquable que W a i t disparu. Soit maintenant y(t) = u~(t) -t- n(t) un ensemble"

message u~(t) et bruit n(t), ee dernier de la nature pr6eis6e plus haut. Appelant p~(y) la probabilit6 d'obte- nir le signal y(t) quand le message ux(t) est eontenu dans y(t) on a :

p~(y)= p ( y - - u ~ ) = k e x p l - - ( t l N o ) f (Y--U~)~dt 1"

Si p(x) est la probabilit6 a priori pour que le message uz soil envoy6, p~(x) la probabilit4 pour que, quand y(t) est re,u, ua ait 6t6 envoy6, on a, en vertu du th6or6me de BAYrS :

p~(x) = p( X) . p~.(g) -- kp(x) exp l--(1/No) j " (y-- u~,) 2 dt{.

On peut [aire entrer dans k, coefficient de normali- sation, ce qui ne d6pend pas de uz. En tenant eompte de

ee que / u ~ dt = E~ 6nergie du message attendu, on .2

b crira : ! E, 2

(i) p~Ix) = kp(.~) exp l - - v + a f Y(t)u,(t)dt I" [

[ ] Pour tout renvoir entre crochets se reporter h la bibliographic in fine.

2 / s

Les limites d'int6gration n'ont plus besoin d'gtre pr6cls~es. Ce sont les limites temporelles du message attendu.

Ce qui d6pend effeetivement du signal re,u, c'est la quantit6

(2) Z ~ / ' y ( t ) u~(t) . J r

En vertu du th6or~me de PArtSEVAL, obtenir Z revient h un d6ealage dans le temps pros, h faire passer y(t) dans un filtre (dit filtre id6al)de gain complexe O*(~) eonjugu6 du spectre ~(~) de uz(t) (*).

Le filtrage O*(v) transforme le bruit de densit6 spectrale uniforme No12 (le facteur t12 provient de l 'extension de la r6partit iou spectrale de bruit aux fr6quences n6gatives) en un bruit de r6partition speetrale (N0/2)O(,) O*(v), toujours gaussien, dont la puissance moyenne est :

A:-2~ f 0(9) O* (v) d~ = No2Ex.

Le message ux, s'il existe, se transforme, h u n d6ealage des temps pros, en un autre message de spectre ~(,~) O*(v), dont l 'amplitude maximale est :

C'est 6videmment cette amplitude maxima]e qu'il conviendra de relever h la sortie du filtre.

Les propridtds statlstiques de py(x) sont donc enti~- rement fixdes par p(x), Ex, N 0.

Revenons aux correspondants A e t B. I1 r6sulte de ce qu'il vient d'gtre dit que les performances de la vole de t616communication qui les relie ne d6pen- dront, en ce qui concerne le problbmc qui se pose h eux, que de Ez et N o. N o est born6 inf6rieurement par la valeur kT, o5 T e s t la temp6rature de la r6sistance d'entr6e du r6cepteur de B, k la constante de BOLZMANN (et n'a rien h voir, 6videmment, avee ]es coefficients de normalisation, dont la notation a 6t6 conserv6e d'apr~s WOODWARD). La valeur de Ez int6resse A, comptable de l'6nergie qu'il envoie vers B, mais la forme m6me du message qu'il enverra (on n'enverra pus) vers B importe peu, h condition bien entendu que B la connaisse par avance compl~tement, ~poque, phase et ampli tude comprises. Cette affirmation n'est pus nouvelle [3]. On oublie cependant souvent qu'elle t ient encore pour les signaux modul6s en fr6quence ; on oublie aussi quelquefois qu'elle entralne la proposition suivante : tout [ractionnement d'un message en mes- sages ~l~mentaires ayant entre eux une incertitude quelconque (par exemple une incoherence de phase) entratne une perte qu'aucun artifice de rdception ne saurait eompenser. Ceci d61imite les possibilit6s du codage et de la corr61atlon dont les vertus sont consid6r6es trop souvent comme magiques.

M. LALOI~ [ANNALES DES TfZLf~COMMUNICATIONs

C'est pourquoi A profitera de ce que, ant6rleu- rement h la connaissance de l '6v6nement h signaler, il lui est permis de d6penser de l'6nergle non compta- bilis~e, pour convenir avec B d'un certain mes- sage u~(t) enti6rement d6fini h l 'avance, 6poque comprise. B construira son r6cepteur de gain complexe q~*(v), lequel r6cepteur lui donnera, "h l '6poque convenue, la quantit6 Z (2) d'of~ il d6duira :

('3) ,,,(:~) :- kp(x) exp { - - ( E 4 r o ) f ~(Z/N0) t- Et c'est tout ee qu'il peut faire. En l 'absenee de

connaissance sur p(x), toute conclusion sur l'exis- tence ou la non existence du message uz lui ferait prendre un risque sur lequel il ne pent m~me pas faire d'estimation.

Pour aller plus loin, il faut faire une hypoth6se s u r p(x).

A titre d'exemple, supposons d 'abord que B sache que : ou bien le message existe, et cela avec la probabilit6 p, ou biel, il n'existe pas, et cela avec ]a probabilit6 l - - p . Ce renseignement, pes t par exemple, lui ~tre parvenu par la vole de t616com- munication ant6rieurement 'h l '6poque pr6vuc pour le message.

La premiere chose 'a faire, pour B, est de se d6barrasser de k e n normant. I1 obtient :

p exp { -- (E4 Vo) + (9.Z/No I /)/x) --

t - r + (2ZlNo) I + 1-- 1,'

qu'il rendra sym6trique en 6crivant :

P~' P l E,, , Z t l - w -- i - t; e x p , - - -t- 2 �90 i :

Z ~st une quantit6 al6atoire qui peut avoir deux distributions gaussiennes l 'une et l 'autre, de mgme

6cart type V ~ o E ~ / 2 ; reals, s'il y a effectivement message, Z e s t centr6 autour de E~, s'il n 'y a pas message, Z e s t centr6 sur 0 ; on 6crira :

Z+ :: E~, Z o : O.

Ayant 6crit (4), B d6sire estimer le service que lui a rendu la r6ception de Z, c'est-h-dire chiffrer l ' information apport6e. I1 pose comme condition que cette information soit additive, c'est-h-dire que l ' information apport6e par" l 'ensemble de deux messages concordants soit 6gale h la somme des informations apport6es par chacun des messages, et aussi que ses propri6t6s statistiques ne d6pendent que de E , (et de N 0, bien entendu). Moyennant quoi, il est conduit a 6crire :

(5) I = Log [p/(1 -- p)].

Le logarithme a pour base e. I1 en sera toujours de mgme dans la suite du texte.

B consid6rera donc que la connaissance d 'un 6v6nement avee la probabilit6 p 6quivaut ~ la quantit6 d' information donn6e par (5), laquelle infor- mation peut ~tre positive ou n6gative (elle est nulle

(*) Rappelons que ce r6sultat connu sur le filtre id6al n'est valable que si le spectre du bruit est uniforme. I1 est tou- tefols ais6 de se ramener h ce cas s'il n'en est pas initialement ainsl.

- - 32

t. 10i tlo 2, 1955]

dans le eas partieulier off p = 1 12), et que le passage de la probabilit6 de eet 6v6nement d'une valeur a une autre apporte une information :

h l = A Log [p/(t -- p)],

qui peut, aussi, gtre positive, n6gative, ou nulle, e t

done que le signal y(t) lui a apport6 l ' information :

~i = -- (E~/~'0) + (2 Z/~u

Comme N o = kT (au facteur de bruit prSs ; B, suppos6 infiniment adroit, le r6duira ~ 1), on volt que 1, tou t en 6tant sans dimensions, peut ~,tre consid6r6 comme une entropie h une constante d 'Univers pr~s.

AI est lui-m~me une variable al6atoire, ayant deux distributions possibles (suivant que le message est ou n 'est pas effectivement pr6sent), gaussiennes

toutes deux, de m~me 6cart type 2V/~INo, et jouissant de la propri6t6 :

P+ (Al) = Po(hl) eA%

laquelle est facile h retrouver h partir de la distri- bution de Z. On verrait quc :

AI+ = E~INo :~ F

P e s t l ' information moyenne apport6e par message. C'est aussi, au coefficient I l k pros, l 'augmentat ion d'entropie produite par la dissipation par effet Joule du message uz dans la r6sistance d'entr6e du r6cep- teur de B.

Afin de se rapprocher de la terminologie courante, le mot ~ message ,, h6rit6 de WooowanD, va lnainte- nant gtre abandonn6, et P sera l ' information moyenne apport6e par ~ symbole >>. I1 convient tou- tefois de pr6ciser que F n'a pas la nature d'une information s61ective au sens de SHANNON puisqu'aucune op6ration de sUection n'a 6t6 f a r e ]usque lb.

Mais c'est pr6eis6ment de s61ection dont il va ~tre trait6 maintenant.

I I . S I ~ L E ~ T I O N ,

Ayant en mains Z, B peut, par (4) connaltrc pu. Dans certains cas, cela ne lui suffit pas ; par exemple il se pourrait que la connaissance de i '6v6nement signal6 par A ne l'int6resse que parce que cela peut influeneer une d6cision que lui-m~me B dolt prendre. Et avant de la prendre il veut connaRre le risque qu'il cour t de se tromper. Tel est le probl~me de la s61ection.

Au lieu de le traiter tel quel, nous allons le g6n6ra- liser en supposant que B dolt ehoisir non pas entre deux possibilit6s (pr6sence-absence) mais entre N possibilit6s.

Les donn6es a priori sont maintenant les suivantes : A peut 6mettre N symboles u . compl~- tement distincts (la distinction pouvant gtre faite indiff6remment dans le domaine des temps ou celul des fr6quenees), ehaeun d'eux ayant une proba- bilitbp~, et:une 6nergie-E,, et s 'excluant l ' un l 'autre.

INFOBMATION, sI~LEC'rlON, INFOBMA'rlON SI~LIs 3 / 8

Sachant cela, B annoncera comme rer le symbole qui lui apparait le plus p robab le ~ la r6ception. Quelle probabilit6 a-t-il de tomber juste ?

L'6quation (3) lui donne :

= k I - - (EdXo) + 2(z./2v,,) + Log p . I,

~ivec

p+ (z . ) : z, { - ( z . - E . ) q w o ix. }. En appelant Xn l'expression

E,~ 2 Z,, X, ,=--]~o§ ~oo- i-Logp,,

on verrait que :

P0(Xn) = k exp t -- (114 F , ) ( .~ + F ~ - Log p~)21 ,

P+ (Xn) = Po(Xn) eX4pn, avec F~ = E,INo.

Si le symbole u~ est effectivement envoy6, la probabil i t6 ~r d 'annonce correcte pour B, c'est la probabilit6 pour que Xr soit sup6rieur h tous les autres X, . Donc :

Le symbole uq ayant lui-m~me une probabilit~ p~, la probabilit6 m d'annonce correcte relative h l 'ensemble des symboles est :

Ui : ~pq ~q

Cette quantit6 ~, que l 'on appellera s6curit6 moyenne, s'6crit aussi sous une forme sym6trlque :

car une int6gration par partie redonne l 'expression pr~c6dente. Done en d6finitlve ~ e st 6gal h :

/ ' I I _ H I + O [ ( l / 2 ~ / ~ ) ( X + F , ~ - - L o g p , ~ ) ] l o X d X . . n ]2

Cette fornmle est d 'un maniement assez encoln- brant. Seuls les cas de simplification sont prati- quement exploitables. Toutefois, avant de les 6tudier, on peut tirer quelques conclusions g6n6rales sans se faire d'illusions sur leur utilit6 pratique.

La formule donnant t~ permet d'6tablir les iden- titfis suivantes :

- - P" = = p,,

La premiere permet de consid6rer les ~ , eomme les eomposantes, dans l 'espaee des pn, d 'un veeteur d6rivant du potentiel t : .

La seeonde signifie que, relativement aux p~, tn est une fonction homog~ne d'ordre 1. On verrait aceessoirement que les t:~ sont des fonetlons homo- g~nes d'ordre 0.

- - 3 3 - -

Voici un probl~me d 'adaptat ion d 'une vole "h une source caraet~ris6e par la distribution Pl, p~ . . . p~ . . . de ses symboles, en suite at6atoire. On fixe l ' information moyenne pour l'ensemble des symboles NpnI ' , = 17, mais non pas chacun des I'n que l'on d~sire pr6eis~ment connaltre pour les extremes de la s6eurit6 moyenne m. C'est un pro- blame d'extr~mes li~s. II faut annuler toutes les (ttriv~es partielles en 1?~ de la fonction :

+ X E p~ P~ (k = eonstante).

En tenant compte de l'identit6 ~F--~ -~ p~ ~p,~'

on verrait que cela revient h trouver les valeurs de F~ . . . F , . . . , telles que toutes les dtriv6es partielles secondes non crois6es en p~ de la fonc- tion ~-4- XZp, Log p~ soient nulles. Ce r tsul ta t est d 'une utilit6 pratique douteuse, mais l'intro- duction de la fonction ~ entropie ,~ ne manquera pas d'etre remarqu6e.

Voici maintenant uu probl~me d 'adaptat ion de la source h la vole; une vole &ant donn6e, qui peut t ransmettre N symboles donnts apportant chacun une information moyenne P~ donn~e, quelle est la source "~ N symboles, caract6ris6e par leur distribution p: . . . p~ . . . telle que la s6curit6 moyenne en bout de ligne soit extreme.

D'abord, on la rend maximale, c'est imm6diat, en donnant h l 'un des p~ la valeur l , h tous les autres la valeur 0. ~ devient 6gal h t. Mais la transmission ne sert plus h rien : il n 'y a rien h transmettre.

Quant h rendre ~ minimal, cela arrive quand tous les b ~ l b p , sont 6gaux, donc les ~ , 6gaux. Done :

l~tant donnd une ligne de transmission pouvant transmettre N symboles distincts fixgs, la source d'in[ormation dormant au bout de ligne le m~me risque d'erreur sur tous les symboles est aussi celle pour laquelle le risque cl'erreur moyen est le plus [ort.

C'est en gtnt ra l un risque d'erreur faible qui est rechercht. On est done tent6 de reprendre la recherche du maximum de ~ dans des conditions te]les qu'il soit obtenu autrement qu'en enlevant tout in t t r& h la communication.

I1 faut un crit~re qualifiant l ' t t a t des connais- sances avant que la transmission n'ait lieu. La valeur limite de ~, quand on fait tendre tous les F,, vers 0 ne convient pas. On peut voir qu'alors t~ tend vers le plus 61ev6 des p~, qu'il soit unique ou mul- tiple. Ce crit~re manquerait de souplesse.

La fonction entropie H = - - ~p~ Log p~, qui s'est introduite d'elle meme plus haut, prtsente la particularit6 que son compltment h i satisfait "h l '6quation des fonctions homog~nes d'ordre ] dans l 'hyperplan Y,p, = 1.

On est done incit6 ~ choisir H comme qualifiant l '&at des connaissances avant la transmission, et conduit "~ se poser le probl~me suivant :

Une vole &ant donnte, qui peut t ransmettre N symboles donn6s, quelle est la source h N symboles (en suite al6atoire) caracttris~e par leur distri-

M. L A L O i ~ [ANNALES Dig8 T/~LI~GoMMUNICATIONS

bution Pl . . . P , . . . , assujettie, en outre, h une entropie au sens de SHANNON H = - YT-Log p . donn6e, telle que la s~curit6 moyenne en fin de ligne soit extreme.

On verrait que les conditions suivantes doivent &re remplies :

~1 + X -t-/z(i + Log Pl) = O,

r~z + ~, + ~z(l + Log Pz) = 0,

. . . . . . . . . . . . . . . . . . . . . . . .

et [z &ant des constantes. Elles entralnent :

(~--~z:)l(H+ Log p~) = (~ - - t%) l (H+ Log p2) . . . .

Autrement dit, la r6partition des m, est homo- th6tique de celle des Log p,.

Un premier cas de simplification notable apparatt quand le nombre des symboles se r tdu i t h deux, u 1 et u2; l ' int tgrat ion peut alors s'expliciter, on trouve :

p, (r: + r~ + Log (pdp,) t

p~ (P, + P_l + Log (=pJp,) ~ 1+~ vr,+r, /I"

Les performances globales, aussi bien que celles relatives h u n symbole, de la vole de transmission ne dtpendent done que de l 'ensemble F: + Fz, et non pas s6partment de F1 et F~. On pouvait le pr6voir, d'ailleurs, puisque la pr&ence de u~ entraine l'absence de u: et inversement.

t~nerg6tiquenlent et entropiquement, il sera 6conomique de concentrer route l ' information sur le symbole le plus rare, l 'autre ne se signalant que par l'absence du premier.

Admet tan t l ' information concentrte sur le symbole le plus improbable (Pl < 1]2), et posant 11 = Log [px l ( l - -p l ) ] , la stcurit6 relative h ce symbole est :

~: = (1/2) I 1 + O [(F~ + 1,)12 ~/-~] I"

On a done, h stcurit6 constants, une relation simple entre l ' information moyenne ntcessaire F x st l'infor- mation a priori I r

Un autre cas de simplification notable est celui oh les symboles u~ sont 6quiprobables a priori. II conviendra alors d 'at t r ibuer h chacun d 'eux la meme information moyenne F. Si N est le nombre de symboles, on a :

:01 o= -e / t : - I

L'inttgrale, qui ne paralt pas pouvoir etre expli- cit6e quand N > 2, exprime une relation entre ~, P e t N qui est pr6sent6e graphiquement sur la figure 1. Ce graphique indique l ' information moyenne minimale F n6eessaire pour sUeetionner

34

t. I0, n ~ 2, 1 9 1 t 5 ] INIFOBMATIOiN~ $1~LEC'I'ION~

entre N Gas possibles 6quiprobables (l'6chelle est en Log ( N - - t)) avee un risque moyen d'erreur 1 ~ ~.

I 0 "'~ / F

/ /

f

I I

f J

/ /

I 0 "3 /

j j J " ~

/ /

/

j j l J

/ / /

/

0 2 3 4 5 6 7 8 9 1

H-~

FIG, 'l. ~ Courbe dormant I - - ~ en fonetion de I" et N.

Pour les grandes valeurs de F, I'6quation (6) s'6crit asymptotiquement :

Log ( l - ~) ~ Log (N-- 1) + Log [1 -- | Log (N-- t) -- (I'12) -- (t/2) Log 2r~r.

E n 6crivant

Log ( N - - t ) = - Log [1 ]N~ ( 1 - t /N)],

on remarquera que c'est l'information a priori, relative hun symbole, chang6e de signe. Log ( 1 ~ ~) est sensiblement l'information a posteriori. Cela permet de juger de la perte d'inforlnation provoqu6e par l'op6ration irr6versible que constitue le choix du symbole h la r6eeption.

L'examen graphique de la figure I conduit "h la constatation suivante : la s61ection entre N possibi- lit6s 6quiprobables n6cessite :

a) une quantit6 d'information moyenne d6pen- dant de la s6curit6 de l'op6ration ;

b) une quantit6 d'information moyenne suppl6- mentaire sensiblement proportionnelle h l'infor- mation a priori Log ( N - - 1), avec un coefficient de proportionnalit6 qui d6pend de la s6curit6 et tend vers une limite finie (= 2) pour les tr~s grandes s6curit6s.

En se plagant au seul point de rue entropique, il y a manifestement int6r6t, h s6curit6 finale impos6e grande, ~t d6pen~er le moins souvent possible l'6nergie correspondant h a). Si done on peut grouper les symboles h l'6mission, il faut le faire, marne si ee codage a pour effet d'61argir le choix h la r6ception.

INFORMATION sI~LECTIYE 5 /8

Cela est conforme h l'intuition, l'op~ration s61ee- tion est irr6versible, done fficheuse ; il faut l'6viter autant que faire se peut.

Pr6cisons : pour transmettre une s61eetion entre quatre possibilit6s 6quiprobables, il est plus 6cono- mique - - entropiqueinent - - d'op4rer d'un seul coup que par deux s61ections binaires en cascade, et l'~eonomie est d 'autant plus consid6rable que la s6eurit6 finale cst i)lus 61cv6e.

I I I . I N F O I ~ M A T I O N S ~ . L E C T I V E .

Ces consid6rations entropiques int6ressent le th6o- ricien, dans certains cas le technicien (cas du radar, pour lequel entropie h la r6ception signifie watts h l'6mission). Elles paraissent oiseuses h l'exploitant d'une ligne de t616communication. Ses pr6occu- pations sont d'un autre ordre. La ligne existant, sa bande passante 6rant ce qu'elle est, le cofit d'un message sera pour lui non pas l'6nergie d6pens6e h l'6mission (dont le prix est n6gligeable devant les frais g6n6raux), mais la dur6e pendant laquelle la ligne est bloqu6e au profit de ce message.

Ce point de rue utilitaire s'int6resse au probl~me suivant : h puissance de cr~te et h bande passante fix6e, conunent transmettre le plus d'information possible (comment gagner le plus d'argent possible, la transmission de l'information 6rant payante, bien entendu).

La premiere r6ponse qui vient "h l'esprit est : faire travailler constamment l'6metteur h sa puissance de crg[e. Mais cela ne vaut rien, sous ce climat. Si la discrimination entre symboles ne se fait pas dans le temps, il faut qu'elle se fasse en fr6quence. I1 est alors n6cessaire de fractionner la bande passante allou6e, et donc allonger la dur6e des symboles et done la du%e de la transmission. Le gain est illusoire.

En fair, la bande passante de la vole impose la nature des svmboles. Ceux-ci doivent gtre tous un mgme et unique message dont le crit~re discrimi- natoire est l%poque. Par 6couomie de temps, il conviendra de rendre jointives les 6poques d'appari- tion possibles, et de ehoisir pour symbole unique 616mentaire uric impulsion rectangulaire, non modul6e en fr6quence (6conomie de bande passante).

Cest de la transmission par impulsions cod6es en position, les positions possibles 6rant quantifi6es et jointives. Admettons que la ligne s'y pr6te.

Les conditions normales d'utilisation de la vole consistent h transmettre une suite al6atoire de symboles ; s'ils sont deux, A 1 et A2, 6quiprobables et ind6pendants, A1 sera cod6, par exemple 10,A~0i; ] indique l'6poque de l'impulsion, 0 l'6poque du repos. La s6curit6 peut gtre lue sur le graphique de la figure I en fonction des donn6es.

Si maintenant les symboles h transmettre sont au hombre de 4, toujours 6quiprobables, la eorrespon- dance directe pourra gtre la suivante

A1 1000 A~ 0100 A3 0010 A4 0001.

- - 3 5

618

Relativement au cas pr6eOdent, le coot = dur6e d 'un message sera double, alors que le coot = entropie sera le mgme. Mais la s6curit6 sera moins bonne. Appelant ~z la s6curit6 d 'un choix binaire, ~:a la s6curit6 d 'un choix quarternaire, on aura, d'apr~s (6) asymptot iquement :

Toujours avec 4 symboles, la sOlection peut se falre autrement : d6termination de l 'appartenance au groupe A1A~ (cod6e par 10) ou au groupe AaA a (codOe en 01), puis d6termination "~ l'int6rieur du groupe, cod6e 6galement 10 ou 01. On aura alors la correspondance binaire double:

Ai ~010 A~ ~00t A~ 0~lI0 A~ 0~0::I.

Quel est alors le risque d'erreur ? Chaque erreur sur la premiere s61ection entralne une erreur sur deux symboles A. Le risque est 2(1 - - ~2). S'il n 'y a pas d'erreur sur la premiere s61eetion, 6v6nement qui a une probabilit6 ~2, il subsiste encore un risque 1 - - ~2 sur la seconde.

Au total la eorrespondance binaire double aura un risque :

On volt que, pour les sOcuritOs finales 61ev6es, et "h coot = duroc 6gale, les risques du codage quaternaire et du codage binaire double sont les m~mes, au second ordre pr~s.

Bien entendu, on n'a pas cherch6 "~ dOmontrer que pour un codage sans erreur la s61ection quater- naire revient ~ une s61ection binaire double. Autant vouloir prouver que 2 x 2 = 4. I1 est simplement montr6 que le point de rue coot = temps conduit a une conclusion qui n'est pas absurde (ce point de rue n'est probablement pas ]e seul non absurde) ; alors que, darts les mgmes conditions, la conception coot = entropie considOre le codage double comme dOsastreux.

Une lois admise la conception corot = temps, on constate que pour les faibles sOcurit6s tinales, il n 'y a pas 6quivalence entre un codage quaternaire et un codage binaire double.

D'autre part, toujours sous l'angle coot = temps, une s61ection quadruple conduit h un risque trois fois supOrieur /a une s61ection binaire. Les risques s'6galisent en s 'annulant, mais leur diff6rence n'est pas un infiniment petit d'ordre sup6rieur. Autrement dit, une sOlection quadruple coOte plus de deux fois le prix d 'une s61ection binaire, la diffOrence restant finie m~me pour les tr~s grandes sOcurit6s. Toutefois leur rapport tend vers 2 quand le risque tend vers 0.

Ces remarques conduisent h penser qu'il y a des pr6eautions ~ prendre au moment of~ l 'on passe de l '6tude d'une vole sans bruit h celle d'une vole avec

M. LALO~ [ANN&LI~$ 101iS T~L~COMMUNICATIONS

bruit, particuli~rement dans le cas ici suppos6 oi~ les symboles sont indOpendants.

Ces remarques conduisent aussi h penser que le point de rue informationnel du radar ne peut passe rat tacher directement au point de rue information- nel de la transmission d 'un message. En effet, dans le radar, lc coOt-dur6c 6chappe h l 'exploitant ; en contre-partie, le coOt-entropie n'est pas purement spOculatif, il est en relation directe avec les watts produits "h l'6mission et avec la portOe.

I V . C O N C L U S I O N .

I1 semble bien que trois ~tres physiques diff6rents aient quelquefois 6t6 confondus. Aux deux premiers, il a 6t6 donn6 ici les noms d' (( information :~ et de , sOlection ~ ; le troisi~me serait celui appel6 clas- siquement (( information s61ective >>.

Cette confusion entralne uu malentendu compa- rable �9 ~ celui qui se produirait si un imprimeur envoyait "~ la presse un trait6 de mOcanique ration- nelle dans lequel les typographes auraient m61ang6 les termes : vitesse, acc616ration, force.

L' information a une correspondance entropique ~:ertaine.

La s61ection est une op6ration qui consomme de l'information.

L'information s61ective a une ctn'respondance entropique formelle mais non pas physique.

Une objection a 6t6 faite ~ ceux qui, prolongeant les t ravaux de SHANNON, veulent pousser jusqu'au bout l'assimilation de l ' inforination sOlective "~ l'entropie, h savoir que la consid6ration de l 'unit6 binaire d'information comme unit6 naturelle condui- rait ~ une relation entre deux constantes d'univers, celle de PLANK et celle de BOLTZMANN et que la r6duction du nombre des constantes d'Univers est difficilement acceptable.

D'apr~s ce qui vient d'etre dit, l ' information seule apparalt comme mesurable en unit6 d'entropie, et travers le coefficient k. Cette information est d'ailleurs sans dimension (*).

Si on dOfinit 1'unit6 d' information comme celle qui est capable d'op6rer la s61ection entre deux possi- biiit6s 6qu~probables, cette unit6 varie avec la s6curit6 de l'op6ration. Une relation entre h e t k ne se trouverait fixOe que par l ' introduction d'une nouvelle constante d'Univers, h savoir la sOcurit6 au-dessus de laquelle un 6vOnement probable doit ~tre consid6r6 comme certain ; mais alors le nombrc des constantes d'Univers ne serait pas modifi6.

On peut d'ailleurs gOn6raliser, et consid6rer le cas d'une s61ection non pas seulement binaire, mais d'ordre quelconque. La formule 6 relic entre elles les unitOs d'information de divers ordre ainsl intro- duites.

L' information dont l 'unit6 est d6finie de cette fa~on n'est pas l ' information s61ective au sens de

(*) C'est eette information-l~ que consomme le d6mon de MAXWELL BRI1LLOI~IN I/t].

- - 3 6

dans son: travail d'Oelu,qier selon LO0n

t. J.0, n o 2, 1955] INFORMATION, SIs

SHANNON. II parait d'ailleurs impossible de d6finir une unit6 physique d'informatlon s61ective, et cela du seul fair que la s61ection, op6ration irr6versiblc, est destructrice d'information.

SHANNON ne l'a pas fair. A son unit6 binaire d'information, il n'a pas donn6 d'autre caract6re que celui d'un op6rateur.

WOODWARD, en revanche, a fait une tentative [2] pour d6finir l'information ind6pendamment de l'id6e de s61ection. D'apr~s lui, l'information contenue dans la connaissance que ,c tel 6v6nement a la probabilit6 p ~, a pour mesure Log p. C'est un fait qu'aucune op6ration de s61ection n'intervient dans cette d6finition. Mais le raisonnement qui y conduit, partant de l'hypoth~se que l'information est additive, fait intervenir une op6ration de s61ec- tion.

I1 en r6sulte que sa d6finition de l'information, qui se rapproche de celle propos6e ici pour les faibles probabilit6s, s'en 6carte pour les probabilit6s 61ev6es au point que, pour lui une certitude correspond une information finie, alors que, selon la formule (5), l'information est infinie.

La formule 6 et sa repr6sentation graphique (fig. l) conduisent aussi aux consid6rations suivantes.

Soit une ligne pouvant transmettre N symboles ind6pendants et d'6gale 6nergie (donc v6hiculant tous la mgme information moyenne). Ace t t e ligne, on associe une source caract6ris6e par le nombre M (inf6rieur ou 6gal h N) de symboles 6quiprobables qu'elle 6met en suite al6atoire. Si M = 1, la s6curit6 de la transmission est @ale ~ l, et son utilit6 est nulle. Au fur et h mesure que M augmente et se rapproche de N, la s6curit6 diminue et, parall~- lement, l'int6rgt de la transmission augmente. On peut donc parler, en quelque sorte, d'6change entre le pouvoir s61ectif et la s6curit6 de la transmission (*)

Cet 6change intervient par quanta, parce que l'on a suppos6 que l'on passait brutalement d'une source '~ M symboles 6quiprobables/~ une source ~ M + l symboles 6quiprobables. Rien toutefois n'empgche d'imaginer l'introduction progressive du nouveau symbole, et de dire, par analogie, que le pouvoir s61ectif de la ligne augmente lui aussi progres- sivement, et en sens inverse de la s6curit6. Cela est d'autant plus tentant que pour chaque valeur de M, la s6curit6 la plus faible correspond pr6cis6ment l'6galit6 des risques (voir th6or~me en italique du w ~ s61ection ~), donc, ici ~ la r6partition 6quipro- bable a priori.

l~tendant ces consid6rations au cas o~t les symboles transmis par la ligne ne v6hiculent pas tous la mgme information moyenne, on dira, d'une fa~on g6n6rale, que le pouvoir s61ectif d'une ligne est utilis6 ~ plein

INFORMATION SELECTIVE 7/8

quand elle travaille avec la source pour laquelle la s6curit6 moyenne est la plus basse.

Le th6or~me d6jh cit6 dit qu'alors le risque d'erreur est le m~me sur tous les symboles. On notera, au passage, que le risque d'erreur h la r6cep- tion est ind6pendant du signal re,u, commodit6 non n6gligeable. D'autre part, cette condition, quand elle est remplie, facilite la conception d'une trans- mission ~r sans erreur ~.

I~mile BOREL admet que pour notre Univers ait un sens, il faut consid6rer les 6v6nements tr~s probables comme certains (**). Cela est vrai pour le corres- pondant B qui dolt prendre une d6cision en fonction de ce qu'il revolt. Son r6cepteur lui indique ~ chaque fois le symbole le plus probable. I1 n'a pas h se poser la question : faut-il agir comme si c'6tait le bon, car une supposition n6gative ne l'inciterait pas

agir autrement qu'une supposition positive. Sa conscience ne sera cependant absolumeht tranquille, et il n'aura le sentiment de ne jamais se tromper que si la s6curlt6 la plus basse est au moins 6gale h celle de son univers. Et cet univers lui paraltra homog~ne si toutes les s6curit6s sont 6gales (et 6gales' h la s6curit6 moyenne). Ce sera alors, pour lui, une trans- mission sans erreur.

Dans un article h venir, l'6tude de la s61ection et de l'information sera reprise dans d'autres condi- tions : les correspondants A e t B n'ont plus le moyen de tout convenir h l'avance sur la nature des messages qui seront 6ehang6s. Si seule la phase des symboles n'est pas connue h la r6ception, la s6curit6 moyenne est encore une fonction homog~ne d'ordre 1 des p~. I1 en r6sulte que les consid6rations sur la s6curit6 moyenne minimale sont valables.

Une application au calcul des performances limites des radars de recherche lointaine y sera donn6e. Une fois fix6es les conditions d'6mission, les performances des radars h longue port6e d6pendent de l'ensemble r6cepteur, indicateur, et observateur, et toute modi- fication d'un quelconque 616ment peut avoir une influence, bonne ou mauvaise, sur la port6e. On con~oit rint6rgt de connaltre l'existence d'une limite que le meilleur r6cepteur, associ6 au meilleur indicateur et au meilleur observateur puisse th6ori- quement atteindre, mais non pas franchir. L'exis- tence et la situation de cette limite expliquent l'6chec de certains chercheurs, et permettent d'en pr6dire h ceux qui s'obstineraient h vouloir p6n6trer dans un domaine interdit, aussi bien d6fendu que l'est, par exemple, celui des r6cepteurs chim6riques dont le facteur de bruit serait inf6rieur h t.

Manuscrit re~u le 30 ]uillet i954.

(*) C'est une id6e d6jh avanc6e par B. MANDELI~ROT. qui imagine un ~c d6mon )) capable d'op6rer cet 6change [5].

(**) [6, p. 1 t] :~c Son but (celui de la th6orie des probabilit6s) c 'est d 'arr iver h pr6voir avec une certitude presque absolue, humainement absolue peut-on dire, certains 6v6nements dont la probabilit6 cst telle qu'elle se confond avec la certitude. ))

[6, p. 12] : ~ Si l 'on arrive ainsi h 61iminel: l ' ineerti tude dans

les applications du ealcul des probabilit6s, c 'est en utilisant ce que l 'on peut appeler la lol unique du hasard. Cette loi consiste sirnplement en ee que les phdnom$nes dont la proba- bilitd est suffisamment petite ne se produisent ]amais ; ou, si l 'on pr6f6re, ces ph6nom~nes n 'ont 6t6 et ne seront jamais observ6s par aucun homme.

37

s/8 M. LALO~ [ANNALES DES TI~LI~COMMUNICATIONS

B I B L I O G R A P H I E

Ill W o o n w x a a (P. M.), D ~ v ~ s (I. L.). Information theory and inverse probabil i ty in telecommuni- cation. (Th6orie de l ' information et probabilit6 inverse dans les t616communications.) Prec. Inst. Electr. Engrs, Par t I I I , G.-B. (mars t952), 99, n ~ 58, pp. 37-44.

[2] WOODWARD (P. M.). Probabil i ty and information theory with application to radar. (Th6orie des probabilit6s et th6orie de l ' information, avec application h ]a th6orie du radar.) Pergamon Press, Ltd, Londres (1953), 128 p.

[3] D~,v~s (I. L.). On determining the presence of signals in noise. (Dfitermination de la presence de signaux dans le bruit.) Prec. Inst. Electr. Engrs, Par t I I I , G.-B. (mars t952), 99, n ~ 58, pp. 45-51.

[4] BmLLOC~N (L.). The negentropy principle of infor- mation. (N6gentropie et information.) J. appl. Phys., U. S. A. (sept. i953), 24, n ~ 9, pp. t152- i i63.

[5] MANr)~LB~OT (B.). Les d6mons de Maxwell C. R. Acad. Sci., Fr. (5 mai t952), 234,. n ~ 19, pp. 1345-1347.

[6] BO~EL (E.). Le hasard. Presses Universitaires de. France (1948).

NOTES, INFORMATIONS, ACTUALIT~ (suite de p. 30)

~ Congr~s international sur les traitements par les ultrasons ~ et ~ Colloque sur la pression de radiation sonore et u l t rasonore , (Marseille, mai 1955) *

En raison de l 'a t tent ion constamment croissante que les conditions de la vie moderne conduisent ~ apporter

l '6tude des ultrasons, il y a d6jh eu plusieurs rdunions internationales relatives h l 'ultra-acoustique (Alle- magne : 1949 ; Italie : 1950 ; Belgique : 1951), et la France a 6t6 charg~e par l 'Union Internationale de Physique Pure et Appliqu6e et par la Commission Inter- nationale d 'Acoustique d'organiser une r6union en 1955.

Cette r6union se tiendra 5 Marseille du 23 au 28 mai. C'est le Centre de Recherches Scientifiques Industrielles

et Maritimes (C. R. S. I. M.), de cette ville, qui est eharg6 de l 'organisation de ce congr6s (*), sous les auspices de la Commission Internationale d 'Acoustique (C. I. A.) et du Groupement des Acousticiens de Langue Fran~alse (G. A. L. V.).

Le congr6s sera plac6 sous la pr6sidence de M. DuPouY, membre de l ' Ins t i tut , directeur du Centre National de la Recherche Scientifique. I1 comprendra quatre sections : j o Applications des ultrasons en phy- sique ; 20 Applications des ultrasons ep chimie ; 3 ~ Appli- cations des ultrasons en biologie ; 4 ~ Etude et r6alisation d'apparcils 6metteurs d'ultrasons puissants.

Au C. R. S. I. M. 6galement se tiendra, les 20 et 21 mai, un (( colloque sur la pression de radiation sonore et ultrasonore )). Cctte r6union de caract6re restreint (**) est organis6e sous les auspices de l 'Union Internationale de Physique Pure et Appliqu6e e t a pour but de d6finir les caract6res el les possibilit6s de mesure de cette prcssion.

COMPTES R E N D U S DE LIVRES M.G. GOUnET, physicien, r6alisateur et pddagogue de

n l l m m m m M m m n m m n M w x ~ H / f / H / , ~ j / ~ f / / s f E E / A

GOUDET (G.). Les fonctions de Bessel et leurs applications en physique (2 e 6d. revue et corrig6e). ~ Collection d 'ouvrages de math6matiques h l 'usage des physiciens~ publi6e sous la direction de G. DARMOXS et A. LlCrINEROWlCZ. Masson, Paris (1954), 26 fig., 8 tabl., 7 r6f. bibl. Prix : 600 F. [Don de l '6diteur.]

Les fonctions de BESS~L sent au carrefour de la technologie, qui affectionne les formes circulaires, et de la physique math6matique, que domine en partie l '6quation de LAPLACP. II est done normal que

talent, ait song6 ~ enrichir la litt6rature scientifique fran~aise d 'une monographie consacr6e h ces fonctions.

En 75 pages, l 'auteur brosse un tableau sufllsamment complet et tr6s accessible des r6sultats vraiment importants de la th6orie et il les applique h la r6solution de quelques probl6mes typiques. Certaines propri6t6s sent d6duites simplement des d6veloppements en s6ries enti6res ; d 'autres, plus d6licates h d6montrer (par exemple : d6veloppements asymptotiques) sent sim- plement 6nonc6es.

La seconde 6dition, dans laquelle les errata de ]a premi6re (***) ont 6t6 pour la plupar t corrig6s (****), a 6t6 enrichie de tables de 8 fonctions de BESSEL usuelles.

P. AMSTUTZ.

(sui~ en p. 47)

* Information req.ue du secr6tariat du G. A. L. F. (*) Les personnes d6sireuses de pr6senter une communi-

cation sent pri6es de le faire savoir le plus rapidement possible h M. CANAC, directeur du C. R. S. I. M., 66, rue Saint-S6bastien h Marseille ; elles devront joindre un r6sum6 de 400 mots environ et indiquer, si n6cessaire, le format des projections. En tout 6tat de cause, la liste des communi- cations sera arrft6e le t5 avril au plus tard. Pour tout renseignement compl6mentaire il est 6galement possible de s'adresser h MM. CnAVASSE OU LEHMANN" D6partement ACOUSTIQUE du Centre National d't~tudes des T616commu- nications, 24, rue Bertrand h Paris 7 e (sEe. 4~-20).

(**) La participation hee colloque n'a lieu que sur invi- tation personnelle et les personnes d6sireuses d'y assister en qualit6 d'auditeurs sent prit~es de vouloir bien en faire la demande fi M. CANAC.

(***) La premi6re 6dition avait 6t6 publi6e en 1943, par le mgme 6diteur, dans la collection de l'l~cole Normale Sup6- rieure intitul6e c( PUBLICATIONS DES LABORATOIRES- PIIYSIQUE )).

(****) I1 ne subsiste gu/~re, semble-t-il, dans cette r6im- pression photom6canique, que quelques menues erreurs, par exemple : - - p . 6, au dernier membre de la relation exprimant dFz, un facteur r reste amenuis6 en indiee ; - - p. 10 (1.1t), ccle )) au lieu de ,~ la ,, ; - - p . 27,1e terme g6n6ral de l'expression de Jr(z) dolt 6tre pr6cfd6 du signe + , et son num6rateur dolt contenir z/2 au lieu de z/z ; - - p. 69, /~ la ligne t t , (( situ6 )) au lieu de ,~situ6e,), et fi la ligne t2, virgule intempestive h supprimer.

38