C. R. Acad. Sci. Paris, t. 326, SCrie I, p. 1213-1216, 1998 Systemes dynamiques/Dynamical Systems

Orbites h&&ocli.nes et ensemble de Peierls

Albert FATHI

Unit& de mathbmatiques puras et appliqutks, l&de normale sup&ieura de Lyon, 46, all& d’Italie, 69364 Lyon cedex 07, Frame Courriel : afathi@umpa.ens-lyon.fr

(Rep et acqcept6 le 11 mai 1998)

R&urn& Nous montrons que, pour un systkme dynamique lagrangien, le bon ensemble pour trouver des connexions hCtCroclines est l’ensemble de Peierls et non pas celui d’Aubry- Mather. Nous en dkduisons des g6nCralisations de thCor&mes de Bolotin ou Rabinowitz. 0 Acad&mie des SciencesElsevier, Paris

Heteroclinic orbits and Peierls set

Abstract. We show that, fir a Lqrangian dynamical system, the appropriate set to ,jnd heteroclinic connections is thr Peierls set and not the Aubty-Mather set. This enables us tofind generalizations of rhrorems due to Bolotin or Rabinowitz. 0 Acadkmie des Sciences/Elsevier, Paris

1. Rappels et ensemble de Peierls

Nous montrons comment obtenir des orbites hktkroclines pour les systitmes dynamiques lagrangiens B l’aide des rksultats obtenus dans 141 et [5].

Rappelons le cadre de la thCorie, nous renvoyons g [4] et [5] pour les details. On considbre k! une variCtC compacte, de classe C” et saris bord. On note par (a:, 71) un point du fib& tangent ‘TA4, avec 3: E 1M et ‘u un vecteur tangent en z, la projection canonique 7r : ‘I’A4 + M est done (2:: V) H :I;.

On suppose dans la suite que I, : TM 4 R, (z, U) I-+ L(z, U) est un lagrangien de classe C”, superlinkaire et strictement convexe dans les fibres, c’est-h-dire que 32L/i3~,2 est partout dkfinie strictement positive. Puisque M t:st compacte, les extrkmales du lagrangien L nous donnent un flat de diffkomorphismes sur Tkf qui sera not.6 ($t)tE~. Le thCor&me KAM faible [4], th&orkme 1, permet de trouver des fonctions lipschitziennes SW.., U+ : 111 -+ R et une constante co E R telles que :

(1) pour tout chemin y : [~:b] -+ M de classe C’, avec a, b E R et (1 5 I-,, on ait :

I *b

u*(y(b)) - u*($a)) < L(y(.s),j/(s))ds + co@ - u); . 0.

Note pdsentbe par Michael HERMAN.

0764-4442/98/0326 I2 13 0 AcadCmie de\ SciencesiHaevier, Paris 1213

A. Fathi

(2) pour tout .c E M, il existe deux chemins y- :] - X, 01 -+ M et T.+ : [0, +w[ -+ M vkrifiant r-(O) = ~~~(0) = 3: et pour tout I E [O,+x[, on a ~+(?+(t)) - w,+(x) = cot + ~~:L(y+(s),j+(s))ds et L(X) - x(7-(--t)) = cof + J”, L(y-(s),~...(s))ds.

La constante -co est le minimum des intkgrales JTM L d/h, oh p parcourt les mesures de probabilitk

sur T:2/1 invariantes par le flot (,!+ (wir [4], corollaire 2). L’ensemble d’Aubry-Mather $?, est la fermeture de la r&union des supports des mesures de probabilitk IL sur TIM invariantes par & et vkifiant _.-- -co = J’ l,db~. La projection 7rIMo est injective d’inverse lipschitzien. On pose “Wlo = 7r(Mfr). Les fonctions TJ- et TL+ arrivent par paires Cgales sur MO (151, corollaire 2). une telle paire (K. 11,$) est appelCe une paire de fonctions conjugukes.

Pour une telle paire (‘u-.. II+) de fonctions conjugukes. on pose I(, +, J = {:I: E M 1 ‘X(J) = IL+ ( :I:) }. On a I& II ,, , 1 > JUT). Les fonctions U- et TL+ sont diffkrentiables en toui point de I(,, ,,~,” )

et de mCme dCrivCe (1.51, proposition 5). L’ensemble Ii!,, ,U+I = {(x, v) / .I’ E Z(,,-,,+I, &IL- = drw, = il)l,(:x:, *~)/i)v} est invariant par le flot & et par dkfinition se projette par x sur Z(,, ,,, k).

Le thCor&me (IS], thCor&ne 6), dLi essentiellement j Mgnk, montre que & q = UC”-,,,+) f(,,,-,,,, ), oh la reunion est prise sur les paires de fonctions conjugdes, est un compact invariant et transit[~ par chaines pour & done connexe.

DEFINITION 1. - On appelle enscwzble de Peier1.s l’ensemble PO = n,,Lm ,i,~ ) I,,,, ,,, , J, oti l’intersection est aussi prise sur les paires (II...; IL.+) de fonctions conjugdes.

On note par ‘F’(, c M la projection 7r(Fcpo). L’application r est bijective de PC, sur ‘PO et son inverse est lipschitzien. car c’est aussi le cas pour tout &,, .,,~+ i (voir [5], proposition 5).

On renvoie B [5] pour la dkfinition et les propriCtCs de la barrike de Peierls II. Ces propri&Cs permettent de dkmontrer la proposition suivante.

PROIWSIIX~N 2. - Si .I: E Al, les conditions .wivunte.s .sont e’quivalentes : (I) .I’ E P() ; (2) lrr barriPrp de Peierk h(z):. .I:) est nuile : (3) il criste une suite y,, : [0, t,,] --i M de chemin de clrrsse Cl par morceuux tels que : - pour foul n, 012 u y,,(O) = r,,(tll) = :I’ ; - Iu *suite (t,,) tend vers f’w, qutmd 11, - x ; - pour II. + 05, on (1 j;:” L(y,, (s). y,,(s)) ds + c()t,( - 0.

Remarquons que dans la condition U), on peut supposer que les 7n sont des extrkmales.

TH~OREME 3. - Toute orbitr par (fit d’un point de 5~) \ PC, est une orbite h&‘rocline entre deux composantes connexes (Pventuellement identiques) de 7Jo.

Dkmorzstrution. - Supposons yue (x. II) E 1/,,. ,(,. 1. oh (I/,-. u+) est une paire de fonctions conjugukes, il suffit de voir que les ensembles w-limite et tr-limite (qui sont connexes) de l’orbite ~I+(:E. ,v) sont contenus dans ‘?‘(,.

Soit s, --+ cc tel que (Y, . 71.~ ) = lim,,.~,,, djh,, (:I:, II). Comme I?(,, -.,, , 1 est invariant par & et la restriction 7r : Zcl, ,,, + ) - X(,, ,(, .I est un graphe, il suffit de voir que :I:,, E PC,. Quitte B extraire une sow-suite, on peut supposer que t,, = s,,+~ -- s,, -i x. Pour tout TI., on considkre la courbe y,, : [O.f,,] - Al. s H 7r(& . ...,,, (:r, ,v)), on a :

1

aI,, (53, / I L(y?7(s).j/7,(*s)) tls + C&, =

0 1 L(q&(:c. II)) ds + C()l,,

. L1,,

1214

Orbites h&&oclines et ensembles de Peierls

Comme 7r(ti8,, (z! gu)) + :I;,, il n’est pas difficile de cornpEter les ‘yn en une faniille de courbes qui satisfont A la condition (3) de la proposition 2 avec 2, g la place de IC. I1 en rCsulte que X, E PO.

2. Connexions hi%&-oclines

On utilise des revCtements de M afin de construire des extrkmales minimisantes hCt&oclines 2 des composantes connexes de Z;,. 11 faut, alors, prkciser la dCpendance en M en notant par co(M), ~o(M)L~C,(M@& M), Z,J(M), fro(M), M”(M), respectivement la constante CO et les ensembles ?,I~ P,,,&, 10, Mo? &IO. La proposition suivante n’est pas difficile B vkrifier.

PRCKISITION 4. - Soit p : M’ -+ M un revCtement compact. On munit M’ du lagrungien 1;’ = Lo Tp. On a : (1) c:o(M’) = co(M), (2) (Tp)-t&(M) c Z”(M’), (3) J’()(M’) = p-‘(p,,(M)) et &(M’) = (‘l’p--‘(‘PO(M)), (4) ,A40(A4’) c p-‘(M,)(M)) et iZi”(M’) c (TT,)-‘(&(M)).

Si 1~ reve^temmt p : nil’ --+ M rst galoisien, on a : (4’) Mo(M’) = ~I-‘(M,(M)) et .,/lo(M’) = (‘I’p-‘(Go(M)).

On POX C;j = IJ, T~,(Z~~(M’)), oti la rkunion est prise sur tow les revetements p : M’ -+ M compact, galoisien, de groupe de revetement abklien et avec M’ connexe.

Pour A c M, il est nature1 de noter par W”(A) (resp. W’“(A)) 1’ ensemble des points (2, II) dont l’orbite par & a un ensemble id-limite [resp. tr-limite) contenu dans A.

Ce qui suit gCnCralise des tht5orkmes de Bolotin (voir [l] et [2]).

THBOREME 5. - L’ensemhle c,, est umnexe, invarknt et inch dans W~‘(~~,) n WIL(F,j). Pour tout ouvert V connexe et tef qzw Co c 1~’ c ‘l‘A4, on u 111 (TM, V! Z) = 0.

DPmon.stration. - La connexitk et l’invariance de &, r&sulte de la connexitk et de l’invariance des ?$( Ml) ainsi que du fait que les Tp(&( M’)) contiennent tous l’ensemble non vide 75,).

Pour demontrer l’inclusion & c W”(7?0) n IV’“(&), ‘1 1 suffit de remarquer clue &(M’) c Mi”(‘&(niP)) n WcL(?O(Ad’)) ct que ‘~CljM’) = (TJ,)-‘(‘&n/r)).

I1 reste & dkmontrer le dernier point. La projection 7r induit un isomorphisme en homologie, en particulier, le groupe H1(‘I’M: Z) est de type fini comme H1(M, Z). Puisque V est connexe l’homomorphisme H,(TM, Z) --+ HI (‘I’M, V, Z) est surjectif, il en rksulte que Hl(‘I’M, V. Z) est un groupe abklien de type fini. Si ce dernier groupe est non nul, comme il est de type fini, on peut, alors, trouver un entier X: > 2 et un homomorphisme de groupe surjectif H1(TM, V, Z) -+ Z/k:Z. Le composk H1(‘TM, Z) -+ IL, (TM, \i; Z) -+ Z/k-Z est aussi surjectif, il d&ermine done un rev&tement galoisien non-trivial au-dessus de TM. La projection K : TM + M &ant une Cquivalence d’homotopie, un tel revCtement cst de la forme Tp : ‘PM’ -+ TM, oh p : M’ -+ M est un revCtement galoisien de degrk k > 2 aver M’ variCt@ compacte et connexe. Comme H1 (TA4, Z) + Z/kZ factorise par II1 (TM, r/: Z), lc revetement ‘1’~) : ‘l’A4’ - ‘J’M est trivial au-dessus de l’ouvert connexe V. On peut done &ire V = 1,; U . . . IJ r/i., avec les \: des ouverts dis,joints tel que ‘I’?) induise un homkomorphisme dc V; sur I/‘, pour i = 1 ~. . . JL Comme Tp(&(A4’)) c co(M), la connexitk de &(M’) implique que &(M’) est contenu dans un seul Vi, ce qui est absurde, car &(A/r’) contient ‘$‘0(A4’) = Tl,-~ “(‘?‘~l(M)) qui, lui, intersecte chaque V,. Cl

Si A est une partie de M, on dkfinit $,(n;l, A, Z) (le groupe d’homologie de tech de degrC 71,) comme la limite des H,,(M: V. Z), oil V parcourt le systkme de voisinages de A.

1215

A. Fathi

COROLLAIRE 6. - Si z), u une infnitP de composantes connexes, @or-s W”(F”) fl -W7’(?o) \ ‘?o contient une $jnitk d’orbites distinctes. En gkn&al, l’ensemble W’(Po) n W”(F’o) \ PO contient au moins rang HI (M, ‘F’o, Z) orbites distinctes.

Dkmonstrution. - Dans le cas oti ‘%‘o a une infinitk de composantes connexes, comme & est connexe ^ et que chaque orbite dans I;, a des ensembles w-limite et cu-limite connexes et contenus dans 7& on voit que f&, doit &tre composC d’une infinitd d’orbites. Puisque !fo c f$ c W~y(Y&,)n WU(‘?O), on a fini.

On peut maintenant considkrer le cas oti 61 \ f$ est composk d’un nombre fini n d’orbites. Soit V un voisinage de &, on peut trouver un voisinage ouvert 0 de co constituk d’un ouvert T/;, c V contenant $1 et d’un nombre fini de voisinages tubulaires plongks des extrCmales de & non-incluses dans PO. En prenant (3 asset petit, on voit que 11 > rmgH~(O, V;,, Z), or la suite HI(~, J’O, Z) --+ HI (TM, VI, Z) -+ HI (TM, 0: Z) = 0 est exacte, done 71, 2 rangH1(Tn_l, VU, Z). Comme V,, est un voisinage arbitrairement petit, on en dkduit I’inCgalitt *n 2 ra,ng I”IlkTM, ‘7+,, Z) par passage A la limite. Comme K : T,W + M est une Cquivalence d’homotopie et que 7?, est un graphe au-dessus de F’,,, la projection 7r induit un isomorphisme de fi, (Tk?, PO, Z) sur I’Il(M, PO, Z). cl

Dans la suite, nous supposerons que le lagrangien L est rkversible, c’est-a-dire que L(:c, -a) = L(x, ?I), pour tout (z, su) E T&f. Dans ce cas, par convexitk de I, dans les fibres, pour tout :c E M, on a L(:c, 0) = infaETziT1 L(:r: . v).

PROPOSL’TJON 7. - Pour un $grungien I, re’ver.Gble, on u les tCga1itP.v --CO = infzEhl L(n:, 0) = infc,.,,),cr,2f L(z,,u). De plus MO = ?a = {(x,0) 1 L(:c! 0) = -c,}.

Le th&orkme suivant est une gCn&ralisation du thkorbme de Rabinowitz (voir 161).

TH~ORI?ME 8. - Supposons L rkversible et ‘F’” = {x E M 1 L(z, 0) = inf_TM L) jni. Alors, on prut trouver au mains 2[rang Hl( M, Z) + card’& - I] orbites h&!roclines h ‘PO.

Une partie des rCsultats contenus dans cette Note a &6 trouvke inddpendamment par Gonzalo Contreras et Gabriel Paternain [3]. Je remercie Nicole Desolneux et Michel Herman pour l’aide qu’ils m’ont apportke dans ce travail.

RCfkences bibliographiques

[ 11 Bolotin S.V., Homoclinic orbits to invariant tori of Hamiltonian systems, Amer. Math. Sot. Transl. 168 (1995) 21-90. [Z] Bolotin S., Invariant sets of Hamiltonian systems and variational methods, In: Proc. Int. Congr. Math. Ziirich 1994, Chatterji

S.D. (Eds.), Birkhsuser, Verlag, 1995, pp. 1169-l 178 [3] Contreras G., Patemain G.P., Connecting orbits between static classes and a generic property of Lagrangian systems info,

preprint, 1998. [4] Fatbi A., ThBor*me KAM faible et ThCorie de Mather sur les systkmes lagrangiens. C. R. Acad. Sci. Paris 324 SCric I

(1997) 1043-1046. [5] Fathi A., Solutions KAM faibles et barrieres de Peierls, C. R. Acad. Sci. Paris 325 S&e I ( 1997) 649-652. [6] Rabinowitz P.H., Periodic and heteroclinic solutions for a periodic Hamiltonian system, Ann. Inst. H. Poincari Anal. Non

Lin6aire 6 (1989) 331-346.

1216