135
Spectre des surfaces hyperboliques N. Bergeron

Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

  • Upload
    others

  • View
    4

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Spectre des surfaces hyperboliques

N. Bergeron

Page 2: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2

Page 3: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Table des matieres

0.1 Le plan hyperbolique . . . . . . . . . . . . . . . . . . . . . . . . . 70.2 Surfaces hyperboliques . . . . . . . . . . . . . . . . . . . . . . . . 120.3 Laplacien hyperbolique . . . . . . . . . . . . . . . . . . . . . . . . 15

1 Surfaces hyperboliques arithmetiques 191.1 L’espace des reseaux . . . . . . . . . . . . . . . . . . . . . . . . . 191.2 Algebres de quaternions et groupes arithmetiques . . . . . . . . . 221.3 Surfaces hyperboliques arithmetiques . . . . . . . . . . . . . . . . 28

2 Decomposition spectrale 352.1 Le laplacien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.2 Operateurs integraux invariants sur H . . . . . . . . . . . . . . . 402.3 Le laplacien sur Γ\H . . . . . . . . . . . . . . . . . . . . . . . . . 492.4 Operateurs integraux sur Γ\H . . . . . . . . . . . . . . . . . . . . 512.5 Rappels d’analyse fonctionnel . . . . . . . . . . . . . . . . . . . . 582.6 Demonstration du Theoreme spectral . . . . . . . . . . . . . . . . 612.7 Le principe du minimax . . . . . . . . . . . . . . . . . . . . . . . 66

3 Formules des traces de Selberg 713.1 La formule des traces dans un cadre general . . . . . . . . . . . . 713.2 La formule des traces pour les surfaces compactes . . . . . . . . . 753.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

4 Autour de la Conjecture de Selberg 894.1 Sur la multiplicite de la premiere valeur propre . . . . . . . . . . 894.2 Representations du groupe PSL(2,Z/pZ) . . . . . . . . . . . . . 934.3 Comptage de points dans les reseaux arithmetiques . . . . . . . . 984.4 Minoration uniforme de la premiere valeur propre . . . . . . . . . 1004.5 Le cas de la surface modulaire . . . . . . . . . . . . . . . . . . . . 101

5 Probleme de l’isospectralite 1115.1 La formule de traces de Sunada . . . . . . . . . . . . . . . . . . . 1115.2 Un triplet de Sunada . . . . . . . . . . . . . . . . . . . . . . . . . 113

6 La conjecture d’unique ergodicite quantique arithmetique 1156.1 Premiers liens avec la theorie ergodique . . . . . . . . . . . . . . 1166.2 Multiplication par 2 et 3 sur le cercle . . . . . . . . . . . . . . . . 1196.3 Operateurs de Hecke et Theoreme de Lindenstrauss . . . . . . . . 1256.4 T -recurrence et A-ergodicite . . . . . . . . . . . . . . . . . . . . . 129

3

Page 4: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4 TABLE DES MATIERES

Page 5: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Introduction

Commencons par le cas plus familier de l’analyse spectrale sur les tores. Letore Tn est le quotient de l’espace euclidien

Rn = x = (x1, . . . , xn) : x1, . . . , xn ∈ R

par le groupe de translation Zn vu comme sous-groupe discret (et sans torsion)du groupe G = Rn agissant sur l’espace euclidien par translations. Le groupeG fait de l’espace euclidien un espace homogene. L’espace euclidien peut etremuni de la metrique riemannienne

ds2 = dx21 + . . .+ dx2

n

induite par le produit scalaire 〈x, y〉 = x1y1 + . . . + xnyn de norme associee||.||. La metrique ds est de courbure constante nulle et induit une structureeuclidienne (plate) sur le tore Tn. Le groupe G agit par isometries par rapporta la metrique ds.

Soit ∆ = − ∂2

∂x21

− . . . − ∂2

∂x2n

le laplacien (geometrique) sur Rn. Le laplacien

commute a l’action de G sur l’espace euclidien. Il definit donc un operateurdifferentiel sur le tore Tn, toujours note ∆ et appele laplacien.

Il est clair que les fonctions exponentielles 1

ϕ(x) = e(〈x, ξ〉), ξ ∈ Rn,

sont des fonctions propres de ∆ ;

∆ϕ = λϕ, λ = λ(ϕ) = 4π2||ξ||2.

L’inversion de Fourier classique

f(ξ) =

Rn

f(x)e(−〈x, ξ〉)dx,

f(x) =

Rn

f(ξ)e(−〈ξ, x〉)dξ,

est juste la resolution spectrale du laplacien ∆ sur les fonctions verifiant debonnes conditions de decroissance a l’infini. Sur le tore, la decomposition enserie du Fourier correspond a ce que les fonctions ϕξ pour ξ ∈ Zn forment unsysteme orthonorme complet du probleme spectral

∆ϕ = λϕ.

1Dans tous le texte nous utiliserons la notation e(z) = e2πiz .

5

Page 6: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6 TABLE DES MATIERES

La theorie analytique des nombres classique profite enormement de l’analyseharmonique sur les tores puisqu’elle exploite souvent les proprietes des fonctionsperiodique notamment via la formule de Poisson.

Formule de Poisson Soit f ∈ S(Rn), i.e. une fonction dont toutes les deriveessont rapidement decroissantes (classe de Schwartz). Alors,

m∈Zn

f(m) =∑

m∈Zn

f(m). (1)

Demonstration. La formule de Poisson decoule du developpement en serie deFourier de la fonction periodique

F (x) =∑

m∈Z

f(x+m). (2)

Exercice 0.1 Rappelons que la fonction zeta de Riemann ζ(s) est definie pourRe(s) > 1 par

ζ(s) =

∞∑

n=1

n−s =∏

p

(1 − p−s)−1.

Le produit etant sur les nombres premiers et l’egalite etant equivalente a l’unicitede la factorisation d’un entier en produit de nombres premiers.

En appliquant la formule de Poisson a∑

n∈Z f(nx) avec f paire et f(0) =

f(0) = 0, dans l’egalite

1

2

∫ ∞

0

(∑

n∈Z

f(nx)

)xs dx

x= ζ(s)

∫ ∞

0

f(x)xs dx

x

demontrer que la fonction zeta de Riemann admet un prolongement analytiqueet verifie l’equation fonctionnelle

Λ(s) := π−s/2Γ(s

2

)ζ(s) = Λ(1 − s) (3)

ou

Γ(s) =

∫ ∞

0

e−xxs dx

x. (4)

La theorie moderne des formes automorphes fait quant a elle intervenir latheorie spectrale de quotients de groupes (non commutatifs) plus generaux.

Dans ce cours nous nous concentrons uniquement sur le cas du groupe G =SL(2,R) et du plan hyperbolique qui lui est associe. Cet exemple est centraldans la theorie, il a l’avantage d’etre explicite mais il est surtout suffisammentriche pour servir de cas modele, nous verrons enfin que de nombreuses questionsle concernant restent ouvertes.

Page 7: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

0.1. LE PLAN HYPERBOLIQUE 7

0.1 Le plan hyperbolique

Comme modele pour le plan hyperbolique nous utiliserons le modele de Poin-care du demi-plan complexe

H = z = x+ iy ∈ C : y > 0.

Il est muni d’une structure complexe (celle induite par C) et de la metriqueriemannienne, dite hyperbolique,

ds2 =dx2 + dy2

y2. (5)

La fonction distance sur H est explicitement donnee par

ρ(z, w) = log|z − w| + |z − w||z − w| − |z − w| . (6)

On a

cosh ρ(z, w) = 1 + 2u(z, w) (7)

ou la fonction

u(z, w) =|z − w|2

4ImzImw(8)

est souvent plus pratique a utiliser que la vraie fonction distance ρ(z, w).Muni de la metrique riemannienne ds2 le demi-plan H a une courbure K

constante egale a −1. Une telle surface est generalement appelee surface hyper-bolique. Le plan hyperbolique est donc la surface hyperbolique complete univer-selle simplement connexe.

Pour decrire la geometrie de H nous rappelons quelques proprietes bienconnues des homographies

gz =az + b

cz + d, a, b, c, d ∈ R, ad− bc = 1. (9)

Une telle homographie determine la matrice

(a bc d

)au signe pres. En parti-

culier, les matrice I =

(1

1

)et −I =

(−1

−1

)donnent toutes les deux

la transformation identite. Nous tiendrons toujours compte de cette distinction,parfois sans le mentionner.

Notons G = SL(2,R) le groupe des matrices reelles 2 × 2 de determinant1. Le groupe PSL(2,R) = G/±I de toutes les homographies agit sur le plan

complexe compactifie C = C∪∞ (la sphere de Riemann) par transformationsconformes. Une homographie g envoie un cercle euclidien vers un cercle a lacondition d’appeler egalement cercle les droites euclidiennes dans C (ce sontles cercles passant par l’infini). Bien sur les centres ne sont generalement paspreserves puisque g n’est pas une isometrie euclidienne, a part lorsque g =

±(

1 ∗0 1

), qui represente une translation.

Page 8: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

8 TABLE DES MATIERES

Si g =

(∗ ∗c d

)∈ G, alors,

gz − gw =z − w

(cz + d)(cw + d). (10)

En particulier, cela montre que

|gz − gw| = |z − w|,

si les deux points sont sur la courbe

Cg = z ∈ C : |cz + d| = 1. (11)

Si c 6= 0, la courbe Cg est un cercle centre en −d/c ∈ R et de rayon |c|−1. AinsiCg est le lieu geometrique sur lequel g agit comme une isometrie euclidienne.Nous appellerons Cg le cercle isometrique de g . On deduit de (10) que

d

dzgz = (cz + d)−2, (12)

on appelle donc |cz + d|−2 la deformation de g au point z. Le disque interieura Cg est constitue des points de deformation > 1 alors que les points exterieursau cercle Cg sont de deformations < 1. Remarquons que g envoie le cercle Cg

vers le cercle Cg−1 en echangeant interieurs et exterieurs.

Etant donne un element g =

(∗ ∗c d

)∈ G on note

j(g, z) = cz + d. (13)

La fonction j verifie la relation dite “de cocycle” :

j(gh, z) = j(g, hz)j(h, z). (14)

Compte tenu de la formule

|j(g, z)|2Im(gz) = Im(z) (15)

la sphere de Riemann C est reunion de trois orbites deG, le demi-plan (superieur)

H, le demi-plan inferieur H et le bord commun R = R ∪ ∞. On a de plus,

(Im(gz))−1|d(gz)| = (Im(z))−1|dz|,

ce qui implique que la metrique ds sur H est invariante sous l’action de G. Leshomographies sont donc des isometries du plan hyperbolique. En plus de cesisometries on a la symetrie orthogonale a travers la droite imaginaire, z 7→ −z,qui renverse l’orientation. On laisse en exercice de deduire des proprietes ci-dessus les theoremes suivants.

Theoreme 0.2 Le groupe de toutes les isometries de H est engendre par leshomographies et la symetrie z 7→ −z.

Theoreme 0.3 Les droites hyperboliques (geodesiques dans H) sont representeespar les demi-cercles et demi-droites orthogonaux a l’axe reel R.

Page 9: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

0.1. LE PLAN HYPERBOLIQUE 9

Les theoremes suivants pour le plan hyperbolique sont immediats dans lemodele de Poincare. Nous les laissons en exercice.

Theoreme 0.4 Il existe une unique geodesique passant par deux points distinctsdonnes.

Theoreme 0.5 Si γ est une geodesique et p un point, alors il existe une uniquegeodesique passant par p et perpendiculaire a γ.

Theoreme 0.6 Si γ et η sont deux geodesiques a distance > 0, alors il existeune unique geodesique perpendiculaire a γ et η.

Les cercles hyperboliques (lieu des points a distance fixee d’un point donne)sont representes par des cercles euclidiens dans H (mais bien sur avec un centredifferent).

Il y a plein de jolies relations dans le plan hyperbolique. Par exemple, latrigonometrie hyperbolique affirme que dans un triangle hyperbolique

sinα

sinh a=

sinβ

sinh b=

sin γ

sinh c, (16)

sinα sinβ cosh c = cosα cosβ + cos γ, (17)

ou

cosh c = cosha cosh b− sinh a sinh b cos γ, (18)

ou α, β, γ sont les angles interieurs desquels on voit les cotes respectifs a, b, c.La relation (17) implique que la longueur d’un cote donne ne depend que desangles interieurs du triangle.

Des phenomenes encore moins intuitifs apparaissent lorsque l’on s’interessea l’aire. Pour definir l’aire, on a besoin d’une mesure. La mesure riemanniennededuite de la metrique ds = y−1|dz| sur H s’exprime simplement en fonction dela mesure de Lebesgue par

dµ(z) =dxdy

y2. (19)

Il est facile de deduire directement de (12) et (15) que la mesure dµ est G-invariante.

Un domaine compact P ⊂ H est un polygone geodesique si son bord est unecourbe de Jordan fermee geodesique par arcs. On definit les cotes et les anglesinternes de la facon habituelle. Un n-gone est un polygone geodesique a n cotes.

Theoreme 0.7 L’aire d’un n-gone P d’angles internes θ1, . . . , θn est donneepar la formule suivante

aire(P ) = (n− 2)π − (θ1 + . . .+ θn).

Page 10: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

10 TABLE DES MATIERES

Nous allons maintenant presenter differents systemes de coordonnees du planhyperbolique. On laisse les verifications en exercice. Mais remarquons d’abordque l’application

z 7→ z − i

z + i, z ∈ H

envoie biholomorphiquement le demi-plan H sur le disque ouvert unite D,

D = w = x+ iy ∈ C : x2 + y2 < 1.La metrique induite est

ds2 =4(dx2 + dy2)

(1 − (x2 + y2))2(20)

et les droites geodesiques correspondantes sont les arcs de cercles orthogonauxau cercle unite.

Pour illustrer la geometrie du plan hyperbolique H, regardons le disque hy-perbolique de rayon r centre en i (que nous prendrons comme origine de H).L’aire hyperbolique du disque est 4π(sinh(r/2))2, et son perimetre 2π sinh r.D’un autre cote, le centre euclidien est i cosh r et le rayon sinh r, l’aire eu-clidienne est dont π(sinh r)2 et son perimetre 2π sinh r. Donc, bien que lesperimetres soient les memes, l’aire euclidienne est bien plus grande que l’airehyperbolique lorsque r est grand (et un peu pres de la meme aire lorsque r estpetit). La plupart de l’aire hyperbolique se concentre pres du bord du disque.

Coordonnees polaires Soit p0 ∈ H un point base arbitraire et soit v unvecteur unitaire tangent en p0. Pour tout point p ∈ H−p0, il existe une uniquegeodesique parametree par la longueur d’arc γ : [0,+∞[→ H avec γ(0) = p0 etpassant par p. Soit θ = θ(p) ∈ [−π, π[ l’angle directe du vecteur v au vecteurtangent a γ en p0 et soit r = r(p) la distance de p0 a p, de sorte que γ(r(p)) = p.Alors (r, θ) = (r(p), θ(p)) sont les coordonnee polaires de p0 relativement auchoix du point base p0 et du vecteur v. Dans les coordonnees polaires la metriquehyperbolique admet l’expression suivante,

ds2 = dr2 + sinh2 rdθ2. (21)

Plutot que de prendre θ(p) dans l’intervalle [−π, π[, on peut voir θ(p) commeun element du cercle unite

S1 = R/[s 7→ s+ 2π].

Coordonnees de Fermi Si l’on remplace le point base p0 par une droitegeodesique fixee, on obtient les coordonnees de Fermi. Elles sont definies commesuit. Soit γ0 : t 7→ γ0(t) ∈ H une droite geodesique fixee dans le plan hyperbo-lique, parametree par la longueur d’arc. Alors γ0 separe H en deux demi-plans :le demi-plan a gauche et le demi-plan a droite de γ0. Pour tout point p ∈ H ona donc une distance signee r de p a γ0 : positive d’un cote et negative de l’autre.Dans ces coordonnees la metrique hyperbolique devient

ds2 = dr2 + cosh2 rdt2. (22)

Nous adopterons toujours la convention de signe suivante : si γ0 est orienteela distance signee r d’un point p a γ0 sera negative si p est a gauche de γ0 etpositive sinon.

Page 11: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

0.1. LE PLAN HYPERBOLIQUE 11

Coordonnees horocycliques Ces dernieres coordonnees sont utiles dansl’etude des cusps. Soit p0 un point du bord de H , i.e. un point du plan complexeetendu C ∪ ∞ qui appartient a l’axe reel ou est le point a l’infini. Les cercles(euclidiens) generalises qui sont contenus dans H ∪ p0 et passent par p0 sontappeles horocycles de centre p0 .

Les transformations de SL(2,R) envoient les horocycles sur des horocycles.Dans le cas particulier p0 = ∞, les horocycles sont les droites (euclidiennes)horizontales, et les droites verticales sont les geodesiques avec un point terminala l’infini. Les droites verticales et horizontales s’intersectent orthogonalement.Quelque soit la position du point p0, les geodesiques passant par p0 et les horo-cycles en p0 forment une famille orthogonale.

Soit maintenant h : t 7→ h(t) ∈ H un horocycle parametre par la longueurd’arc. Le plan hyperbolique est encore separe en deux demi-plans par h. Onchoisit la parametrisation de h de facon a ce que p0 soit a gauche de h. Parconvention la distance signee r d’un point p a h est negative si p est a gauchede h et positive sinon.

Il existe un unique reel t tel que la geodesique passant par p et perpendi-culaire a h rencontre h en h(t), et par definition les coordonnees horocycliquessont (r, t). Dans les coordonnees horocycliques la metrique hyperbolique admetl’expression suivante,

ds2 = dr2 + e2rdt2. (23)

Classification des isometries Les homographies sont des isometries du planhyperbolique, et bougent les points de differentes manieres que nous voulonsclassifier. Commencons par remarquer que deux isometries conjuguees agissentde la meme maniere ; la classification devra donc etre invariante par conjugaison.Etant donnee une homographie g ∈ PSL(2,R), nous notons

[g] = hgh−1 : h ∈ PSL(2,R)

sa classe de conjugaison. La transformation identite forme une classe a elle touteseule sur laquelle il n’y a rien a dire.

Un invariant de conjugaison geometrique important est le nombre de pointsfixes (et leurs positions). Chaque

g =

(a bc d

)6= ±1

a un ou deux points fixes dans C. Il y a plus precisemment trois possibilites :

1. g a un point fixe dans R,

2. g a deux points fixes distincts dans R,

3. g a un point fixe dans H et son conjugue dans H.

La matrice (resp. transformation) est respectivement dite parabolique, hyper-bolique, elliptique et cette classification s’applique bien evidemment aux classesde conjugaison. Chaque classe de conjugaison contient un representant qui agitsur H de l’une des trois facons suivantes.

1. z 7→ z + v, avec v ∈ R (translation, point fixe ∞),

2. z 7→ pz, avec p ∈ R+ (homothetie, points fixes 0 et ∞),

Page 12: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

12 TABLE DES MATIERES

3. z 7→ k(θ)z, avec θ ∈ R, k(θ) =

(cos θ sin θ− sin θ cos θ

), (rotation, point fixe i).

Une transformation parabolique est toujours d’ordre infini, et bouge lespoints le long d’horocycles.

La droite geodesique entre les deux points fixes d’une transformation hyper-bolique g est preservee par g. Des deux points fixes, l’un est attractif l’autre estrepulsif. Le facteur d’homothetie p est appelee la norme de g. Pour tout pointz sur cette geodesique, | log p| est la distance hyperbolique entre z et gz.

Une transformation elliptique peut etre d’ordre fini ou d’ordre infini, et bougeles points le long de cercles centres en son point fixe dans H.

Un invariant de conjugaison algebrique important est la trace, plus precisemment

sa valeur absolue puisque la tranformation g determine la matrice

(a bc d

)

au signe pres. En terme de trace les classes ci-dessus (autre que l’identite) sontcaracterises de la facon suivante :

1. g est parabolique si et seulement si |a+ d| = 2,

2. g est hyperbolique si et seulement si |a+ d| > 2,

3. g est elliptique si et seulement si |a+ d| < 2.

Les isometries de H ne commutent en general pas, mais il est clair quesi gh = hg, alors les points fixes de g sont egalement des points fixes deh. La reciproque est egalement vraie. Plus exactement, deux isometries de Hdifferentes de l’identite commutent si et seulement si elles ont le meme ensemblede points fixes. Le centralisateur h : gh = hg d’une isometrie parabolique(resp. hyperbolique, elliptique) g est juste le sous-groupe consitue de toutes lesisometries paraboliques (resp. hyperboliques, elliptiques) qui fixent les memespoints que g, et de la transformation identite.

0.2 Surfaces hyperboliques

Dans ce cours nous appellerons surface hyperbolique le quotient Γ\H du planhyperbolique H par un sous-groupe Γ ⊂ SL(2,R) qui agit proprement disconti-nuement et sans point fixe sur H. Rappelons qu’un groupe Γ d’homeomorphismesd’un espace topologique separe X , agit proprement discontinuement si aucuneorbite Γx n’a de point d’adherence dans X . De maniere equivalente, tout sous-ensemble compact Y ⊂ X est disjoint de γY excepte pour un nombre fini deγ ∈ Γ. Remarquons en particulier, qu’alors le sous-groupe Γx ⊂ Γ des transfor-mations fixant un point donne x ∈ X est toujours fini.

Exercice 0.8 Verifier qu’une surface hyperbolique S = Γ\H est une variete rie-mannienne de dimension 2, de courbure constante egale a −1, dont le revetementuniversel est isometrique a H et dont le groupe fondamental est isomorphe a Γ.

Le groupe M2(R) des matrices reelles 2 × 2 est un espace vectoriel de di-mension fini, il est donc naturellement equipe d’une topologie qui induit surG = SL(2,R) une topologie. Un sous-groupe Γ ⊂ G est discret si pour la topo-logie induite de G le groupe Γ est discret.

Exercice 0.9 Verifier qu’un sous-groupe Γ ⊂ SL(2,R) agit proprement dis-continuement sur H si et seulement si Γ est discret dans G.

Page 13: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

0.2. SURFACES HYPERBOLIQUES 13

On pensera generalement a une fonction f sur S = Γ\H comme a unefonction sur H periodique par rapport a l’action du groupe Γ, i.e. f(γz) = f(z)pour tout γ ∈ Γ.

Nous dirons d’un sous-groupe discret Γ ⊂ G qu’il est de premiere espece sitout point du bord ∂H = R est dans l’adherence (pour la topologie de C) del’orbite Γz pour un point z ∈ H.

Domaines fondamentaux Un sous-groupe discret Γ ⊂ G peut etre mieuxvisualise geometriquement a l’aide de son domaine fondamental. Deux pointsz, w ∈ C sont dits equivalents si w ∈ Γz ; on ecrit alors z ≡ w (mod Γ). Unsous-ensemble D ⊂ H est un domaine fondamental pour Γ si

1. D est ouvert dans H,

2. deux points distincts de D ne sont jamais equivalents,

3. toute orbite de Γ contient un point de l’adherence D de D dans C.

Tout sous-groupe discret Γ ⊂ G a un domaine fondamental qui n’est biensur pas unique. Tous les domaines fondamentaux ont neanmoins tous la memeaire

|D| =

D

dµ(z).

Si Γ ⊂ G est discret de premiere espece, on peut choisir pour domainefondamental un polygone convexe. En effet, soit w ∈ H un point fixe par aucunelement γ ∈ Γ autre que l’identite, alors l’ensemble

D(w) = z ∈ H : ρ(z, w) < ρ(z, γw) pour tout γ ∈ Γ, γ 6= 1

est un domaine fondamental pour Γ. On peut montrer que D(w) est un polygone(connexe et convexe) avec un nombre pair de cotes (a la condition que si un cotecontient le point fixe d’un element elliptique d’ordre 2 de Γ, alors ce point estconsidere comme un sommet et le cote divise en deux cotes). Les cotes de D(w)peuvent etre regroupes en paires de cotes equivalents de maniere a ce que lesisometries echangeant ces cotes engendrent le groupe Γ.

A partir de ces proprietes de D(w), on laisse en exercice la demonstrationde la proposition suivante.

Proposition 0.10 Tout sous-groupe discret de premiere espece Γ ⊂ G est detype fini et a un domaine fondamental d’aire finie.

Exercice 0.11 Montrer qu’un sous-groupe discret Γ ⊂ G qui admet un do-maine fondamental d’aire finie est toujours de premiere espece.

Nous appellerons dorenavant un sous-groupe discret du premier type Γ ⊂ G,un groupe de covolume fini. Les groupes Γ de covolume fini se scindent encoreen deux categories selon que l’adherence D dans H d’un domaine fondamentalD pour Γ soit compact ou non. Nous dirons de Γ que c’est un groupe cocompacts’il tombe dans la premiere categorie.

Supposons que le polygone D ne soit pas compact. Alors D doit avoir unsommet dans R, et puisque les deux cotes de D adjacents a ce sommet sonttangents (ils sont orthogonaux a R), ils forment un cusp.

Page 14: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

14 TABLE DES MATIERES

Proposition 0.12 On peut toujours choisir pour domaine fondamental d’ungroupe de covolume fini un polygone dont les sommets cuspidaux sont deux adeux non equivalents.

Si l’on choisit un domaine fondamental comme dans la Proposition 0.12, lesdeux cotes adjacents a un sommet cuspidal sont necessairement equivalents ;l’isometrie de recollement fixe le sommet, c’est une isometrie parabolique, etelle engendre le stabilisateur du sommet. Pour cette raison un sommet cuspi-dal est egalement appele sommet parabolique. Reciproquement, les cusps de Γsont exactement les points fixes d’elements paraboliques de Γ. Il en decoule laproposition suivante.

Proposition 0.13 Un groupe de covolume fini est cocompact si et seulement siil ne contient aucun element parabolique.

Nous avons vu (cf. Exercice 0.8) que si Γ ⊂ G est un groupe discret sanstorsion, le quotient S = Γ\H est une surface riemannienne de courbure constanteegale a −1. La surface S s’obtient en recollant un domaine fondamental de Γ,elle est donc de volume finie si Γ est un groupe de covolume fini et compactesi Γ est un groupe cocompacte. Si l’on autorise Γ a contenir des elements detorsion, alors le revetement H → Γ\H a des points de ramifications en les pointsfixes des elements elliptiques de Γ.

Exemples de surfaces hyperboliques Il y a plusieurs facon de construiredes surfaces hyperboliques. On peut commencer par dessiner un polygone hy-perbolique convexe D ⊂ H de volume fini et avec un nombre pair de cotes.Neanmoins D ne sera en general pas le domaine fondamental d’un groupe Γ decovolume fini. Le polygone D doit pour cela satisfaire certaines conditions quiont ete completement elucidees par Poincare. Nous ne rentrerons pas dans lesdetails. Il est neanmoins facile de montrer de cette maniere que toute surfacede genre ≥ 2 peut etre munie d’une structure hyperbolique et qu’il y a tout unespace de telles structure. Il y a donc beaucoup de surfaces hyperboliques (aisometries pres).

Du point de vue arithmetique, de toutes les surfaces hyperboliques de volumefini, les plus interessantes sont les surfaces hyperboliques arithmetiques quel’on construit dans le premier chapitre. L’exemple le plus important est celui dela surface modulaire X(1) = Γ(1)\H, ou Γ(1) = SL(2,Z), qui est accompagnede ses revetements de congruence X(N) = Γ(N)\H (N ≥ 1), les quotients duplan hyperbolique par les sous-groupes principaux de congruence de SL(2,Z)

Γ(N) = γ ∈ SL(2,Z) : γ ≡ I (modN).

La surface X(1) n’est pas une surface hyperbolique au sens strict puisque Γ(1)

n’agit pas librement sur H, la matrice S =

(0 1−1 0

)∈ Γ(1). On peut

neanmoins parler de fonctions sur X(1), ce sont les fonctions sur H perodiquespar rapport a l’action de Γ(1). Pour N ≥ 2, nous verrons que les surfaces X(N)sont bien des surfaces hyperboliques dont le genre croıt en gros comme N 3

lorsque N tend vers l’infini.

Page 15: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

0.3. LAPLACIEN HYPERBOLIQUE 15

Exercice 0.14 Soit

D(1) = z = x+ iy ∈ H : |x| < 1

2et |z| > 1.

En utilisant les transformations S et T =

(1 10 1

)qui engendrent Γ(1), mon-

trer que D(1) est un domaine fondamental pour l’action de Γ(1) sur H. Montrerque X(1) est non compacte mais d’aire finie et plus precisemment que

aire(X(1)) =π

3. (24)

Montrer de plus que i est un sommet elliptique d’ordre 2, ζ = (1 + i√

3)/2 estun sommet elliptique d’ordre 3, ∞ le seul cusp (a equivalence pres) et que legenre g = 0. Representer la surface modulaire.

0.3 Laplacien hyperbolique

Le laplacien admet une generalisation naturelle sur toute variete rieman-nienne. D’apres [1, p. 126-127] on peut prendre la definition suivante pour lelaplacien ∆ sur H. Soit p ∈ H, considerons deux geodesiques γ1, γ2 : R → Hparametrees par la longueur d’arc verifiant γ1(0) = γ2(0) = p et orthogonalesen p. Etant donne une fonction u ∈ C∞(H), abbrevions u(γi(t)) =: u(ti). Alors∆ est de la forme

∆u(p) = −∂2u

∂t21(0) − ∂2u

∂t22(0).

Exercice 0.15 Montrer que :

1. dans les coordonnees z = x+ iy du demi-plan complexe, le laplacien

∆ = −y2

(∂2

∂x2+

∂2

∂y2

). (25)

2. dans les coordonnees polaires (r, θ) du plan hyperbolique, le laplacien

∆ = − ∂2

∂r2− 1

tanh r

∂r− 1

(2 sinh r)2∂2

∂θ2. (26)

3. le laplacien ∆ commute a l’action de G, i.e. si Lgf(z) = f(g−1z) alors

Lg∆ = ∆Lg, pour g ∈ G. (27)

Comme dans le cas de Rn le deuxieme point ci-dessus est tres important,il caracterise en un certain sens le laplacien puisque l’algebre des operateursdifferentiels sur les fonctions qui commutent aux isometries est une algebre po-lynomiale en le laplacien ∆. Comme dans le cas du tore le laplacien sur H definitun operateur laplacien sur toute surface hyperbolique. Nous nous interesseronsd’abord a la decomposition spectrale du laplacien sur les surfaces hyperboliquescompactes (un analogue de la theorie de Fourier). Plus precisemment, le but dudeuxieme chapitre est la demonstration du theoreme suivant.

Page 16: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

16 TABLE DES MATIERES

Theoreme 0.16 (Theoreme spectral) Soit S une surface hyperbolique com-pacte. Le probleme spectral

∆ϕ = λϕ

admet un systeme orthonorme complet de fonctions propres C∞ ϕ0, ϕ1, . . . dansL2(S) de valeurs propres correspondantes

0 = λ0 < λ1 ≤ λ2 ≤ . . . , λn → ∞ quand n→ ∞.

Dans le cas des surfaces non compactes X(N), on peut formuler le problemespectral de la maniere suivante. Nous recherchons des solutions non nulles φ :H → C au probleme spectral

∆φ = λφφ(γz) = φ(z), γ ∈ Γ(N)∫

X(N)|φ(z)|2dµ(z) < +∞

(28)

Contrairement au cas du tore, les solutions a ces problemes spectraux ne sontpas du tout explicites. L’existence de solutions dans le cas compact decoule dutheoreme spectral. Dans le cas des surfaces X(N) l’existence de solutions peutetre deduite d’un analogue de la formule de Poisson pour le groupe SL(2,R) : laformule des traces de Selberg, nous ne demontrerons cette derniere que dans lecas cocompact au Chapitre 3. Une solution du probleme (28) est appelee formede Maass en hommage a Maass le premier a les introduire. On ne connait alors actuel aucune forme de Maass dans le cas de la surface modulaire (N = 1).Nous montrerons neanmoins qu’il en existe beaucoup.

Le principal probleme qui nous interessera dans ce cours est le comportementde la premiere valeur propre non nulle λ1 dans les revetements de congruence.Nous demontrerons par une methode plutot geometrique, une approximationa la conjecture de Selberg d’abord dans le cas des surfaces arithmetiques com-pactes puis dans le cas de la surface modulaire. Dans ce dernier cas la conjecturede Selberg s’enonce comme suit.

Conjecture 0.17 (Selberg) Pour tout N ≥ 1,

λ1(X(N)) ≥ 1

4.

Quel est le lien avec l’arithmetique ? Decrivons brievement un lienentre ces questions spectrales et la theorie des nombres. Soit K une extensiongaloisienne de Q. Soit ρ : Gal(K/Q) → GL(2,C) une representation irreductiblede dimension 2 du groupe fini Gal(K/Q). A chaque entier premier p non ramifiedans K on peut associer une classe de conjugaison Frobp dans Gal(K/Q). Artindefinit alors une fonction

L(s, ρ) =∏

p det(I − ρ(Frobp)p−s)−1

=∏

p(1 − tr(ρ(Frobp))p−s + det(ρ(Frobp))p

−2s)−1

=:∑+∞

n=1 λρ(n)n−s.

(29)

(Il faut faire attention a la definition des facteurs d’Euler locaux aux entierspremiers ramifies.) Selon une conjecture d’Artin, la fonction L(s, ρ) s’etend en

Page 17: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

0.3. LAPLACIEN HYPERBOLIQUE 17

une fonction entiere de s a tout le plan complexe. Sarnak montre que sous cettehypothese (verifiee dans un certain nombre de cas) la fonction

φ(z) =+∞∑

n=1

λρ(n)y1/2K0(2πny) cos(2πnx), (30)

ou K0 est la fonction de Bessel (cf. Chapitre 2), est une forme de Maass pourune certaine surface X(N) de valeur propre λφ = 1

4 ! (L’entier N qui dependde ρ est appele le conducteur de ρ.) La Conjecture de Selberg si elle est justeest donc optimale meme pour un niveau fini. Plus generalement, la Conjecturede Selberg correspond a une majoration des coefficients de Fourier des formesde Maass. Son analogue pour les formes modulaires est la celebre Conjecture deRamanujan demontree par Deligne.

Le comportement des formes de Maass φλ lorsque λ → +∞, est egalementinteressant, notamment du point de vue de la physique mathematique. Nousconcluerons ce cours par une description des bouleversements recents concernantce probleme dans le cas des surfaces arithmetiques.

Page 18: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

18 TABLE DES MATIERES

Page 19: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Chapitre 1

Surfaces hyperboliques

arithmetiques

Comme nous l’avons rappele en introduction, il y a plusieurs facons deconstruire des groupes de covolume fini. Mais de tous les groupes de covolumefini, les plus importante du point de vue de la theorie des nombres sont lesgroupes arithmetiques. La definition generale des ces groupes etant un peu tech-nique (cf. [8, 9]) nous nous contenterons ici de decrire une famille d’exemples :les groupes arithmetiques provenant d’une algebre de quaternions sur Q. Avantde les decrire nous nous occupons de l’espace des reseaux.

1.1 L’espace des reseaux

Rappelons qu’un reseau de Rn est un sous-groupe isomorphe a Zn et discretdans Rn. Dans cette section on etudie l’ensemble R des reseaux de Rn. On munitRn de la norme euclidienne ||.|| pour laquelle la base canonique (e1, . . . , ed) estorthonormee.

Etant donne un reseau L ∈ R on dispose de deux caracteristiques fonda-mentales de ce reseau

1. sa taille T = T (L) = minv∈L−0||v||, et

2. son volume V = V (L), i.e. le volume euclidien du parallelotope sous-tendupar une base de L.

L’espace R s’identifie immediatement au quotient GL(n,R)/GL(n,Z), d’ouune topologie sur R (la topologie quotient). Par definition de la topologie quo-tient, une suite Lm de reseaux de Rn converge vers un reseau L de Rn si etseulement s’il existe une base (fm

1 , . . . , fmn ) de Lm qui converge vers une base

(f1, . . . , fn) de L. Nous notons L0 = Zn le reseau standard dans Rn. Il corres-pond a la classe de l’identite dans GL(n,R)/GL(n,Z) et tiendra lieu de pointbase de l’espace R. Si L = g(L0) ou g ∈ GL(n,R), on a V (L) = | det g|.

Il est immediat que l’ensemble R n’est pas compact puisque par exemple levolume peut exploser ou la taille tendre vers 0. Le theoreme suivant nous dit quec’est essentiellement la seule facon de degenerer pour une famille de reseaux.

19

Page 20: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

20 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

Theoreme 1.1 (Critere de Hermite-Mahler) Un sous-ensemble M ⊂ Rest relativement compact si et seulement si il existe des constantes ε > 0 etC > 0 telles que

S > εV < C

sur M .

L’idee principal de la demonstration du Theoreme 1.1 consiste a ramenerM dans un sous-ensemble de GL(n,R) par exemple un domaine fondamentalpour l’action de GL(n,Z) sur GL(n,R) et etudier les facon de degenerer dansce domaine fondamental. L’exercice suivant permet de traiter le cas n = 2.

Exercice 1.2 Lorsque n = 2, montrer que l’espace des reseaux de volume 1dans R2 est un fibre a fibre compact au-dessus de la surface modulaire. Endeduire que qu’un sous-ensemble de reseaux de volume 1 dans R2 est relati-vement compact si et seulement si la taille est uniformement minoree par uneconstante strictement positive sur cet ensemble.

En dimension superieure la connaissance explicite (cf. Exercice 0.14) d’undomaine fondamental est remplacee par les sous-ensembles de Siegel que nousconstruisons maintenant.

Pour g dans GL(n,R), on note gij les coefficients matriciels de g. Soient

K := O(n) = g ∈ GL(n,R) : tgg = 1,A := g ∈ GL(n,R) : g est diagonale a coefficients > 0,As := a ∈ A : aii ≤ sai+1,i+1 pour i = 1, . . . , n− 1 avec s ≥ 1,

N := g ∈ GL(n,R) : g − 1n est strictement triangulaire superieure et,

Nt := n ∈ N : |nij | ≤ t pour1 ≤ i < j ≤ n avec t ≥ 0.

D’apres la decomposition d’Iwasawa de GL(n,R), l’application

(k, a, n) 7→ kan

realise un homeomorphisme de K×A×N sur GL(n,R). On note Ss,t le domainede Siegel :

Ss,t = KAsNt

etΓ = SL(n,Z).

On sait que N est un sous-groupe ferme de GL(n,R), homeomorphe a Rm

(m = n(n − 1)/2) par l’application θ : n 7→ (nij)1≤i<j≤n ; par consequent, Nt

est compact.

Exercice 1.3 Lorsque n = 2, comparer l’ensemble F(1) (cf. Exercice 0.14) etl’orbite S−1

s,t i du point i ∈ H sous l’action d’un ensemble de Siegel. En deduire

que F(1) ⊂ S−1s,t i des que s ≥ 2/

√3, t ≥ 1/2.

Plus generalement nous avons en vue le :

Lemme 1.4 On aGL(n,R) = Ss,tΓ

des que s ≥ 2/√

3, t ≥ 1/2.

Page 21: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

1.1. L’ESPACE DES RESEAUX 21

Demonstration. Soient g dansGL(n,R) et L := g(L0). On procede par recurrencesur n.

Une famille (f1, . . . , fn) de vecteurs de L est dite admissible si– si f1 est un vecteur de L− 0 de norme minimale,– si les images f2, . . . , fn de f2, . . . , fn dans le reseau L := L/Zf1 de l’espace

euclidien Rn/Rf1 forment une famille admissible de L,– et si les vecteurs fi sont de norme minimale parmi les vecteurs de L dont

l’image dans L est fi.(Lorsque n = 1, on ne tient pas compte de ces deux dernieres conditions.)

Il est clair que L admet une famille admissible (f1, . . . , fn) et que celle-ciest une base de L. Quitte a multiplier a droite g par un element de Γ, on peutsupposer que, pour tout i = 1, . . . , n, on a gei = fi.

Montrons que g ∈ S2/√

3,1/2. Ecrivons g = kan. Comme (k−1f1, . . . , k−1fn)

est une base admissible de k−1L, on peut supposer que k = 1. On a alors g = an.Donc

f1 = a11e1f2 = a22e2 + a11n12e1. . .fi = aiiei + ai−1,i−1ni−1,iei−1 + . . .+ a11n1ie1.

Par hypothese de recurrence, on sait que

|nij | ≤ 1/2 pour 2 ≤ i < j ≤ n

etaii ≤ 2/

√3ai+1,i+1 pour 2 ≤ i ≤ n− 1.

Il reste a montrer

|n1j | ≤ 1/2 pour 2 ≤ j ≤ n et a11 ≤ 2/√

3a22.

La premiere inegalite resulte de ce que ||fj ||2 ≤ ||fj + pf1||2, ∀p ∈ Z.La deuxieme inegalite resulte de ce que ||f1||2 ≤ ||f2||2, car cela s’ecrit a2

11 ≤a222 + a2

11n212 ≤ a2

22 + 1/4a211.

On peut maintenant demontrer le Theoreme 1.1.Fixons s ≥ 2/

√3 et t ≥ 1/2. Il est clair qu’une partie M de R est re-

lativement compacte si et seulement s’il existe un compact S de Ss,t tel queM ⊂ S.L0 := gL0 : g ∈ S.

Nous demontrons d’abord le sens directe de l’equivalence annoncee par leTheoreme 1.1. Fixons 0 < r < R tels que, pour tout g = kan dans S, pour touti = 1, . . . , n, on a r ≤ aii ≤ R. On a alors

| det g| =n∏

i=1

aii ≤ Rd

etmin

v∈Zn−0||gv|| ≥ r,

car si v =∑l

i=1 miei ∈ Zn avec ml 6= 0, on a

||gv|| ≥ |〈kel, gv〉| = |〈el, anv〉| = all|ml| ≥ r.

Demontrons maintenant le sens reciproque. Soit S = g ∈ Ss,t : gL0 ∈ M.Pour tout g = kan dans S, on a

Page 22: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

22 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

– a11 = ||ge1|| ≥ ε,– aii ≤ sai+1,i+1 pour i = 1, . . . , n− 1,–∏n

i=1 aii ≤ C .On en deduit qu’il existe R > r > 0 tels que, pour tout g = kan dans S, pourtout i = 1, . . . , n, on a r ≤ aii ≤ R. Dons S est compact et M aussi.

1.2 Algebres de quaternions et groupes arithmetiques

Soient F un corps quelconque et a et b deux elements non nuls de F . L’algebrede quaternions sur F correspondante est l’anneau

Da,b(F ) = x0 + x1i+ x2j + x3k : x0, . . . , x3 ∈ F,

ou– l’addition est definie de la facon evidente, et– la multiplication est determinee par les relations

i2 = a, j2 = b, ij = k = −ji,

et par le fait que tout element de F doit appartenir au centre de Da,b(F ).La norme reduite de α = x0 + x1i+ x2j + x3k ∈ Da,b(F ) est

Nred(α) = x20 − ax2

1 − bx22 + abx2

3.

Le conjugue de α estα = x0 − x1i− x2j − x3k,

de telle maniere que Nred(α) = αα = αα. On definit la trace de α par

tr(α) = α+ α = 2x0.

La terminologie provient naturellement du fameux exemple D−1,−1(R) desquaternions d’Hamilton. D’un autre cote D1,1(R) = M2(R). On a d’ailleurs engeneral deux possibilites pour une algebre de quaternions D sur un corps F decaracteristique zero, soit D est une algebre a division (i.e. tout element non nulα ∈ D admet un inverse : cela arrive si et seulement si Nred(α) 6= 0 pour toutα 6= 0 auquel cas α−1 = α

Nred(α) ) soit D ∼= M2(F ), l’algebre des matrices 2 × 2

sur F . Nous laissons ce fait en exercice.

Fixons maintenant deux entiers strictement positifs a et b. Nous pourronsalors naturellement parler de Da,b(Z).

Notre but est de demontrer le theoreme suivant.

Theoreme 1.5 1. Le groupe

SL(1, Da,b(R)) = g ∈ Da,b(R) : Nred(g) = 1

est isomorphe au groupe G = SL(2,R).

2. Via cet isomorphisme l’image Γa,b dans G du groupe SL(1, Da,b(Z)) estun sous-groupe discret de covolume fini.

3. Les assertions suivantes sont equivalentes :

Page 23: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

1.2. ALGEBRES DE QUATERNIONS ET GROUPES ARITHMETIQUES23

(a) Γ est cocompact dans G ;

(b) (0, 0, 0, 0) est la seule solution entiere a l’equation diophantienne x20−

ax21 − bx2

2 + abx23 = 0 ;

(c) Da,b(Q) est une algebre a division.

4. Les sous-groupes Γa,b et Γa′,b′ sont commensurables dans G si et seulementsi les formes quadratiques x2−ay2−bz2 et x2−a′y2−b′z2 sont semblablessur Q .

Remarquons que deux sous-groupes Γ et Λ dans G sont dits commensurablesdans G si quitte a conjuguer Γ dans G, le groupe Γ ∩ Λ est d’indice fini dansΓ et dans Λ. Rappelons de plus que deux formes quadratiques sur un corpsde caracteristique 6= 2 sont dites equivalentes si elles ne different que par unchangement de base sur ce corps et sont dites semblables si elles sont equivalentesa un multiple scalaire (dans le corps de base) non nul pres.

D’apres le point 4. du Theoreme 1.5, il existe une infinite de classes de com-mensurabilite de sous-groupes discrets cocompacts dans G. En effet, si p et qsont deux entiers premiers distincts et ≡ −1 (mod 4), les groupes Γ−1,p et Γ−1,q

ne sont pas commensurables : sinon ∆′ = λtM∆M , ou ∆ = diag1, 1,−p,∆′ = diag1, 1,−q, λ ∈ Q et la matrice M ∈ GL(3,Q). On peut alors suppo-ser detM = ±q2/p2 et λ = p/q. Soit pαn le plus petit commun multiple desdenominateurs des coefficients de M de telle maniere que pαnM = (mij) avecmij ∈ Z, et α ≥ 2. La premiere equation obtenue en identifiant les coefficientsde ∆′ de λtM∆M s’ecrit

q(npα)2 = pm211 + pm2

21 − p2m231.

Donc m211 + m2

21 ≡ 0 (mod p). Puisque −1 n’est pas un carre modulo p, ona necessairement m11 ≡ m21 ≡ 0 (mod p) et donc aussi m31 ≡ 0 (mod p).De la meme maniere, tous les coefficients de pαnM sont divisibles par p. Doncpα−1nM ∈M3(Z) en contradiction avec le choix de pαn.

L’application Φ : Da,b(R) → M2(R) definie par

Φ(1) = I2, Φ(i) =

( √a 0

0 −√a

),

Φ(j) =

(0 1b 0

), Φ(k) =

(0

√a

−b√a 0

).

est une bijection R-lineaire. Il est facile de verifier que Φ preserve la multiplica-tion, c’est donc un isomorphisme d’anneau. Enfin si α = x0 +x1i+x2j+x3k ∈Da,b(R), on a

det(Φ(α)) = (x0 + x1

√a)(x0 − x1

√a) − (x2 + x3

√a)(bx2 − bx3

√a)

= x20 − ax2

1 − bx22 + abx2

3 = Nred(α).

Donc Φ(SL(1, Da,b(R))) = SL(2,R), ce qui demontre le premier point du Theoreme1.5.

Nous noterons dorenavant l’algebre des quaternions reels Da,b = Da,b(R) ense souvenant que cette algebre est definie sur Q (et meme sur Z) et que l’onpeut donc parler de ses points rationnels (ou entiers). Soit P = α ∈ Da,b :

Page 24: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

24 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

tr(α) = 0 l’ensemble des quaternions purs dans Da,b, c’est un sous-espace deDa,b definit sur Q et isomorphe a R3. La norme reduite se restreint a P en laforme quadratique q = −ax2

1 − bx22 + abx2

3.

Lemme 1.6 On a un isomorphisme

SL(1, Da,b)'→ O+

3 (q)

qui provient d’un isomorphisme

Da,b(Q)∗/Q∗ '→ O+3 (q,Q).

Demonstration. Il nous suffit de construire le second isomorphisme. Pour celaon fait operer le groupe Da,b(Q)∗ sur Da,b(Q) par automorphismes interieurs.On pose pour α ∈ Da,b(Q)∗ et β ∈ Da,b(Q) :

Sα(β) = αβα−1.

On a immediatement les proprietes suivantes :– Sα preserve la norme reduite,– (Sα)|Q = IdQ, et– Sα(P ) = P .

Si on pose sα = (Sα)|P on a donc un homomorphisme s : Da,b(Q)∗ → O(q), etle noyau de s est Q ∩Da,b(Q)∗ = Q∗.

Nous allons d’abord montrer que s est a valeurs dans O+(q).Soit β ∈ P avec q(β) 6= 0, la reflexion τβ associee a β est donnee par la

formule

τβ(x) = x− 2q(x, β)

q(β, β)β (x ∈ P ).

Par definition de q = (Nred)|P on a alors

τβ(x) = x− xβ + βx

βββ = −βxβ−1

,

et puisque x et β sont tous deux des quaternions purs,

τβ(x) = −βxβ−1 (x ∈ P ).

Notons deja que si σβ est le renversement d’axe β, on a σβ = −τβ = sβ .Soit u ∈ O3(q,Q), il est bien connu que u est un produit de reflexions,

u = τβ1. . . τβr pour β1, . . . , βr ∈ P , avec q(βi) 6= 0, l’entier r etant pair si u est

dans O+, impair sinon. On a donc

u(x) = (−1)rβ1 . . . βrx(β1 . . . βr)−1 pour tout x ∈ P.

On peut maintenant revenir a la question posee : soit α ∈ Da,b(Q)∗ et supposonssα ∈ O−

3 (q), on aurait alors pour tout x ∈ P :

sα(x) = αxα−1 = −α′x(α′)−1, en posant α′ = β1 . . . βr.

Mais alors, si on pose u = α−1α′, on a, pour tout x ∈ P , −x = uxu−1, ou encore,x = uxu−1. Comme cette derniere formule vaut aussi pour tout x ∈ Q, on aurait

Page 25: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

1.2. ALGEBRES DE QUATERNIONS ET GROUPES ARITHMETIQUES25

donc pour tout x de Da,b(Q) : x = uxu−1, avec u ∈ Da,b(Q)∗, mais x 7→ x estun antiautomorphisme et x 7→ uxu−1 un automorphisme, c’est absurde.

En definitive, on a un homomorphisme s : Da,b(Q)∗ → O+3 (q,Q) et s est

surjectif car les renversements sont dans l’image comme on l’a note ci-dessus etil est bien connu qu’ils engendrent O+. Ceci conclut la demonstration du Lemme1.6.

Nous notons dorenavant

Ψ : SL(1, Da,b) → O+3 (q)

l’isomorphisme du Lemme 1.6. Le groupe O3(q) est naturellement plonge dansGL(3,R) (prendre les coordonnees naturelles (x1, x2, x3) de P ). Nous notonsalors O3(q,Z) l’intersection O3(q) ∩GL(3,Z). D’apres le Lemme 1.6, on a :

SL(1, Da,b(Z)) = Ψ−1(O+3 (q,Z)). (1.1)

Le groupe SL(1, Da,b) est donc discret dans SL(1, Da,b). Son image, Γa,b, parΦ est donc un sous-groupe discret de G.

Lemme 1.7 Soit ρ une representation rationnelle du groupe lineaire O3(q) dansun Rn. Il existe alors un sous-groupe d’indice fini de O3(q,Z) laissant Zn stable.

Demonstration. La representation ρ etant rationnelle, les coefficients des po-lynomes Pµ,ν definis par ρ(g)µ,ν = Pµ,ν(gij) (dans la base canonique de Rn),sont rationnels. Il en est de meme des polynomes Qµ,ν definis par :

ρ(g)µ,ν − δµ,ν = Qµ,ν(gij − δij).

Mais ceux-ci sont sans terme constant, car ρ(1) = 1, et par suite si m est ledenominateur commun a tous leurs coefficients, on a : Qµ,ν(gij − δij) ∈ Z, desque gij − δij ≡ 0 (mod m), i.e. g ≡ 1 (mod m). Pour un tel choix de g lescoefficients ρ(g)µ,ν sont entiers, ce qui assure la stabilite de Zn par ρ(g). Enfin,ces elements forment un sous groupe d’indice fini de O3(q,Z) puisque le quotients’injecte dans GL(3,Z/mZ). D’ou le Lemme 1.7.

Nous commencons par demontrer le critere de cocompacite. L’applicationΨ passe au quotient en un plongement (continu pour les topologies quotients)de SL(1, Da,b)/SL(1, Da,b(Z)) dans l’espace des reseaux de dimension 3 : R3 =GL(3,R)/GL(3,Z). Notons M l’image de ce plongement.

Suppososons maintenant que (0, 0, 0, 0) est la seule solution entiere a l’equationdiophantienne x2

0−ax21−bx2

2+abx23 = 0. Il est evident que cela revient a supposer

que l’algebre Da,b(Q) est a division puisque la norme reduite est multiplicative.Nous voulons montrer que sous cette hypothese le sous-ensemble M de R3 estcompact.

Montrons d’abord que le sous-ensemble M est ferme dans R3. Soit L unreseau dans R3 et supposons qu’il existe une suite Li de reseaux dans Mconvergeant vers L. Puisque la forme quadratique q est continue et prend desvaleurs entieres sur Li, elle doit egalement prendre des valeurs entieres sur L.

Soit (e1, e2, e3) une base de L. Il existe alors un element Li0 de la suite Liavec une base (f1, f2, f3) suffisamment proche de la base (e1, e2, e3) pour que

– q(fi) = q(ei) pour i = 1, 2, 3, et

Page 26: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

26 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

– q(fi ± fj) = q(ei ± ej) pour i, j = 1, 2, 3.On a alors q(ei, ej) = q(fi, fj). L’element g ∈ GL3(R) qui envoie le reseau Li0

vers L laisse donc la forme quadratique q invariante. Autrement dit g ∈ O3(q).Il est clair que la condition d’etre une base directe est une condition fermee.Donc g ∈ O+

3 (q) et L ∈M .Il nous reste a montrer que l’ensemble M est relativement compact. Pour

cela nous allons lui appliquer le Critere de Hermite-Mahler.Commencons par remarquer que tout reseau L dans M est de volume 1.

Nous n’avons donc qu’a verifier que la taille est uniformement minoree sur M .Or par hypothese (0, 0, 0) est la seule solution entiere a l’equation diophantienneq(x1, x2, x3) = 0. L’ensemble

U = x ∈ R3 : |q(x)| < 1

est donc un voisinage ouvert de 0 dans R3 qui n’intersecte le reseau standardL0 = Z3 qu’en 0. Mais M est egale a l’orbite de L0 dans R3 sous l’action dugroupe O+

3 (q) qui preserve la forme quadratique q. En particulier la forme qua-dratique q prend le meme ensemble de valeurs sur chacun des resaux contenusdans M . L’intersection de l’ouvert U avec n’importe quel reseau appartenant aM est donc toujours reduite au point 0 ∈ R3. La taille est donc uniformement mi-noree sur M . Le Critere de Hermite-Mahler implique donc que le sous-ensembleM de R3 est relativement compact.

Finalement, nous avons montre que le reseau Γa,b est cocompact dans Glorsque l’algebre Da,b(Q) est a division.

Supposons maintenant qu’il existe une solution entiere 6= (0, 0, 0) a l’equationdiophantienne q(x1, x2, x3) = −ax2

1 − bx22 + abx2

3 = 0. Montrons que la formequadratique q est semblable sur Q a la forme quadratique −x2

1 − x22 + x2

3.En effet, il existe un vecteur w de P (Q) tel que l’orthogonal w⊥ de w par

rapport a la forme quadratique q contienne un vecteur rationnel et isotropepour Q. Soit u ce vecteur. Soit λ = −1/q(w) et q′ = λq. On a q′(w) = −1 etq′(u) = 0. Puisque q|w⊥ est non degeneree, il existe un vecteur rationnel v ∈ w⊥

tel que µ := q′(u, v) 6= 0. Remarquons que l’expression

q′(v + tu) = q′(v) + 2tq′(u, v)

est alors lineaire en t et a donc un zero t ∈ Q. On peut donc, quitte a remplacerv par v + tu, supposer que q(v) = 0. Si x et y sont dans Q,

q′(xu+ yv) = 2µxy =

(x+ 2µy

2

)2

−(x− 2µy

2

)2

.

Dans la base (w, u− v/(2µ), u+ v/(2µ)) la forme quadratique q′ est donc egalea −x2

1 − x22 + x2

3.

Nous allons deduire de ceci le lemme suivant.

Lemme 1.8 Si Da,b(Q) n’est pas une algebre a division, le groupe Γa,b est com-mensurable au groupe SL(2,Z). En particulier, il est de covolume fini et noncocompact.

Demonstration. Nous supposons donc que Da,b(Q) n’est pas une algebre a divi-sion. Il existe alors une solution entiere 6= (0, 0, 0, 0) a l’equation diophantienne

Page 27: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

1.2. ALGEBRES DE QUATERNIONS ET GROUPES ARITHMETIQUES27

x20 −ax2

1 − bx22 +abx2

3 = 0. Commencons par montrer qu’il existe alors une solu-tion entiere 6= (0, 0, 0) a l’equation diophantienne −ax2

1 − bx22 + abx2

3 = 0. Soitdonc (x0, x1, x2, x3) une solution entiere non nulle a l’equation diophantiennex2

0 − ax21 − bx2

2 + abx23 = 0. Si x0 = 0, il n’y a rien a demontrer. Supposons donc

x0 6= 0, l’un au moins des nombres a, b ou c est non nul. On peut supposer quea 6= 0. Puisque x2

0 − ax21 − bx2

2 + abx23 = 0, on obtient x2

0 − bx22 = a(x2

1 − bx23).

Un calcul simple montre alors que

(b(x0x3 + x1x2), a(x21 − bx2

3), x0x1 + bx2x3)

est une solution entiere de l’equation diophantienne −ax21 − bx2

2 + abx23 = 0. Si

celle-ci est nulle, alors −ax21 + abx2

3 = 0 et (x1, 0, x3) est une solution entierenon nulle (car x1 6= 0) de l’equation diophantienne −ax2

1 − bx22 + abx2

3 = 0.Si l’on compose le morphisme Ψ par un isomorphisme rationnel vers le groupe

orthogonal d’une forme quadratique q′ equivalente a q, on obtient, d’apres leLemme 1.7, un morphisme Ψ′ tel que (Ψ′)−1(O3(q

′,Z)) soit commensurable augroupe Ψ−1(O3(q,Z)).

Donc, d’apres le paragraphe precedent l’enonce du Lemme 1.8, quitte a com-poser Ψ par un morphisme rationnel et a passer a un groupe commensurable, onpeut supposer la forme quadratique q = −x2

1 − x22 + x2

3 et (a, b) = (1, 1). Alorsle groupe Γa,b = Γ1,1 n’est autre que le groupe SL(2,Z). D’ou le Lemme 1.8.

Les trois premiers points du Theoreme 1.5 sont donc demontres. Il nous restea demontrer le quatrieme point.

Nous avons deja vu que le groupe Γa,b est commensurable avec le groupeΓ1,1 = SL(2,Z) si et seulement si la forme quadratique −ax2 − by2 + abz2 estsemblable a la forme quadratique −x2 − y2 + z2. D’un autre cote

ab(−ax2 − by2 + abz2) = −b(ax)2 − a(by)2 + (abz)2

autrement dit, les formes quadratiques −ax2 − by2 +abz2 et x2 −ay2− bz2 sontsemblables.

Plus generalement, il est clair d’apres le Lemme 1.7 que si les formes qua-dratiques x2 − ay2 − bz2 et x2 − a′y2 − b′z2 (et donc les formes quadratiques−ax2 − by2 + abz2 et −a′x2 − b′y2 + a′b′z2) sont semblables, les groupes Γa,b

et Γa′,b′ sont commensurables. Montrons maintenant la reciproque. Supposonsdonc que les groupes Γa,b et Γa′,b′ soient commensurables. Il existe alors uneunique (a +1,−1 pres) application lineaire α : R3 → R3 qui envoie la formequadratique q = −ax2 − by2 + abz2 sur la forme quadratique q′ = −a′x2 −b′y2 + a′b′z2 et un sous-groupe d’indice fini Γ ⊂ O+

3 (q,Z) vers un sous-grouped’indice fini Γ′ ⊂ O+

3 (q′,Z). Notons Γ ⊂ O3(q) (resp. Γ′ ⊂ O3(q′)) l’extension

par +1,−1 du groupe Γ (resp. Γ′).

Lemme 1.9 Le Q-sous-espace lineaire engendre par Γ : QΓ ⊂ EndR3 est egala EndQ3.

Demonstration. Il suffit de le demontrer pour Γ. Commencons par remarquer quele groupe Γ est dense dans O3(q) ∼= O(1, 2) pour la topologie de Zariski, i.e. toutpolynome en les coefficients des matrices ∈ M3(R) qui s’annule sur Γ s’annuleegalement sur O3(q). Ceci decoule du fait que l’adherence (pour la topologie deZariski) de Γ dans O3(q) est un sous-groupe de Lie ferme de O(1, 2) qui n’estpas abelien. Il contient donc la composante connexe de l’identite O+

3 ⊂ O3(q) et

Page 28: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

28 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

puisque Γ contient +1,−1 il est Zariski-dense dans O3(q) ∼= O(1, 2). Puisquel’action de O(1, 2) sur R3 est irreductible sur C, le Lemme 1.9 est demontre.

Puisque α envoie Γ sur Γ′, α envoie QΓ sur QΓ′. Mais d’apres le Lemme 1.9,QΓ = EndQ3, ce qui implique que α = λα0 ou α0 est definie sur Q et λ ∈ R∗.Alors, α0 envoie q sur λ−2q′ et puisque q 6= 0, le scalaire λ−2 ∈ Q. Les formes qet q′ sont donc semblables sur Q. Ce qui conclut la demonstration du Theoreme1.5.

Remarquons que le Theoreme 1.5 implique qu’il y a une infinite de solutionsa l’equation diophantienne x2

0 − ax21 − bx2

2 + abx23 = 1.

Exercice 1.10 En s’inspirant de la demonstration du Theoreme 1.5 montrerqu’il y a une infinite de solutions entieres (m,n) a l’equation diophantienne ditede “Pell-Fermat”

m2 − an2 = 1

lorsque a est un entier sans facteur carre.

On peut montrer (cf. [9]) que tout sous-groupe arithmetique de SL(2) definitsur Q est commensurable a l’un des sous-groupes construits dans le Theoreme1.5. La construction sur d’autres corps de nombres est similaire (cf. [8]).

1.3 Surfaces hyperboliques arithmetiques

Les surfaces hyperboliques sont associees a des sous-groupes discrets deSL(2,R) sans torsion. Nous montrons maintenant comment, a partir desgroupes arithmetiques construits dans la section precedente, construire des sous-groupes sans torsion. Le procede assez simple repose sur le theoreme classiquesuivant.

Theoreme 1.11 Soient n un entier ≥ 2 et F un sous-groupe fini de GL(n,Z).Alors F s’injecte dans GL(n,Z/lZ) pour tout entier l ≥ 3.

Demonstration. Supposons d’abord que le groupe F agisse de maniere irreductiblesur Rn, i.e. que les seuls sous-espaces de Rn invariants sous l’action de F sontl’espace nul 0 ou l’espace Rn tout entier. Soit ||.|| la norme euclidienne usuellesur Rn. Alors, la norme

||x||F :=

γ∈F

||γx||2

1/2

est euclidienne et F -invariante. Soient

r = minx∈Zn−0

||x||F > 0

et x0 ∈ Zn tel que ||x0||F = r. L’orbite F.x0 de x0 sous l’action de F est unsous-ensemble fini de points de la sphere Sr de rayon r pour la norme ||.||F etforme un systeme generateur de Rn (c’est ici que nous utilisons que le groupeF agit de maniere irreductible sur Rn).

Page 29: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

1.3. SURFACES HYPERBOLIQUES ARITHMETIQUES 29

Soit maintenant γ ∈ F tel que γ s’envoie sur l’identite dansGL(n,Z/lZ) pourun certain entier l ≥ 3. Alors vue comme matrice dans Mn(Z), γ−In ∈ lMn(Z).Si γ 6= In, il existe un element x ∈ F.x0 tel que γx 6= x. Mais γx − x est alorsun vecteur non nul ∈ lZn et donc ||γx − x||F ≥ lr. D’un autre cote, γx et xappartiennent tous deux a la sphere de rayon r de la norme ||.||F , ils sont donca distance ≤ 2r l’un de l’autre. Autrement dit,

lr ≤ ||γx− x||F ≤ 2r.

Ce qui est absurde puisque l ≥ 3.Pour conclure la demonstration du Theoreme il faut donc que l’on se ramene

au cas ci-dessus ou F agit de maniere irreductible sur Rn. La construction de lanorme ||.||F montre qu’il existe une forme quadratiques entiere q definie positivesur Rn et F -invariante. L’espace Rn peut donc etre decompose en une sommedirecte finie de sous-espaces definies sur Zn. Le groupe F se plonge donc dansun produit GL(n1,Z)× . . .×GL(nr,Z) (n1 + . . .+nr = n) lui-meme plonge defacon usuelle dans GL(n,Z). De plus pour chaque 1 ≤ i ≤ r, l’image Fi de Fdans GL(ni,Z) agit de maniere irreductible sur Rni . Nous sommes donc rameneau cas traite ci-dessus et le Theoreme 1.11 est demontre.

Soient a et b deux entiers strictement positifs. Etant donne un entier stric-tement positif N nous appellerons N -ieme sous-groupe de congruence principalde Γa,b le sous-groupe Γa,b(N) ⊂ Γa,b image du sous-groupe

O+3 (q,Z) ∩ Ker (GL(3,Z) → GL(3,Z/NZ))

dans SL(2,R). Remarquons que comme dans la demonstration du Theoreme1.5, la forme quadratique q = −ax2 − by2 + abz2 et l’image dans SL(2,R) estprise via les isomorphismes donnees par le Lemme 1.6 et le premier point duTheoreme 1.5.

Corollaire 1.12 Pour tout couple (a, b) d’entiers ≥ 1 et pour tout entier N ≥3, le sous-groupe Γa,b(N) ⊂ SL(2,R) est sans torsion. Le quotient

Xa,b(N) := Γa,b(N)\H

est alors une surface hyperbolique de volume fini. Elle est compacte si et seule-ment si la forme quadratique x2 − ay2 − bz2 ne represente pas 0 sur Q.

Demonstration. Le sous-groupe O+3 (q,Z) ∩ Ker (GL(3,Z) → GL(3,Z/NZ)) est

sans torsion puisque le noyau Ker (GL(3,Z) → GL(3,Z/NZ)) (N ≥ 3) ne contientaucun sous-groupe fini d’apres le Theoreme 1.11. Le groupe Γa,b(N) (N ≥ 3)n’a donc pas de torsion, il est de plus clairement d’indice fini dans Γa,b. LeTheoreme 1.5 implique donc le Corollaire 1.12.

Nous appelons surface arithmetique toute surface admettant un revetementisometrique a un revetement fini d’une surfaceXa,b(N) comme dans le Corollaire1.12. Remarquons que le quatrieme point du Theoreme 1.5 implique que deuxsurfaces Xa,b(N) et Xa′,b′(N

′) comme dans le Corollaire 1.12 admettent deuxrevetements finis isometriques si et seulement si les formes quadratiques x2 −ay2 − bz2 et x2 − a′y2 − b′z2 sont semblables sur Q.

Page 30: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

30 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

La surface modulaire et ses revetements

L’exemple fondamental de surface arithmetique est la surface modulaire ac-compagnee de ses revetements de congruence.

Nous avons vu (Exercice 0.14) que le sous-ensemble

D(1) = z = x+ iy ∈ H : |x| < 1

2et |z| > 1

du demi-plan H est un domaine fondamental pour l’action de SL(2,Z). De plus,i est un sommet elliptique d’ordre 2, ζ = (1 + i

√3)/2 est un sommet elliptique

d’ordre 3, ∞ est le seul cusp (a equivalence pres) et le genre de X(1) est g = 0.Soit N un entier ≥ 1. Le sous-groupe principal de niveau N , note Γ(N) est

le sous-groupe du groupe modulaire constitue des matrices congrues a l’identitemodulo N , i.e.

Γ(N) =

γ ∈ SL(2,Z) : γ ≡

(1

1

)(mod N)

. (1.2)

Theoreme 1.13 Le groupe Γ(N) est distingue dans Γ(1) = SL(2,Z) d’indice

µN = [Γ(1) : Γ(N)] = N3∏

p|N(1 − p−2).

Il est sans torsion des que N > 1 et le nombre de classes d’equivalence de cuspsest

hN = µNN−1 = N2

p|N(1 − p−2).

Demonstration. Soit N ≥ 1. Commencons par remarquer :

Lemme 1.14 Le morphisme

SL(2,Z) → SL(2,Z/NZ)

est surjectif.

Demonstration. Nous allons plus generalement montrer que le morphisme

ψ : SL(m,Z) → SL(m,Z/NZ)

est surjectif. Nous le demontrons par recurrence sur m. Si m = 1 c’est trivial.Supposons donc l’assertion vraie en m − 1 pour m > 1. Soit A ∈ Mm(Z) telque det(A) ≡ 1 (mod N), il est bien connu qu’il existe alors deux matrices U ,V ∈ SL(m,Z) telles que la matrice UAV soit diagonale. Notons a1, . . . , am leselements diagonaux de UAV , et b = a2 . . . am. Posons

W =

b 1b− 1 1

1. . .

1

, X =

1 −a2

0 11

. . .

1

Page 31: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

1.3. SURFACES HYPERBOLIQUES ARITHMETIQUES 31

et

A′ =

1 01 − a1 a1a2

a3

. . .

am

.

Puisque a1b = det(A) ≡ 1 (mod N), on a WUAV X ≡ A′ (mod N). D’apresl’hypothese de recurrence, il existe un element C ∈ SL(m− 1,Z) tel que

C ≡

a1a2

a3

. . .

am

(mod N).

La matrice

B = U−1W−1

1 01 − a1

0C

X−1V −1

appartient alors a SL(m,Z) et B ≡ A (mod N). Ce qui conclut la demonstrationdu Lemme 1.14.

Si N =∏

p ps est la decomposition de N en un produit de puissances de

nombres premiers distincts p, on a :

Z/NZ ∼=∏

p

(Z/psZ),

GL(2,Z/NZ) ∼=∏

p

GL(2,Z/psZ),

SL(2,Z/NZ) ∼=∏

p

SL(2,Z/psZ).

Considerons maintenant le noyau K du morphisme surjectif

GL(2,Z/psZ) → GL(2,Z/pZ).

Puisque K est constitue des matrices de M2(Z/psZ) qui sont congrues a la

matrice identite I2 modulo p, le cardinal de K est p4(s−1).Calculons le cardinal de GL(2,Z/pZ). Ce groupe est constitue des matrices

a coefficients dans Z/pZ, telles que les vecteurs colonnes soient lineairementindependants. Il y a p2 −1 choix pour le premier vecteur colonne et une fois fixele premier vecteur il y a p2−p choix pour le second (on exclut les p multiples dupremier vecteur). Le cardinal de GL(2,Z/pZ) est donc egal a (p2 − 1)(p2 − p).

Le cardinal de GL(2,Z/psZ) est donc egal a p4(s−1)(p2 − p)(p2 − 1) =p4s(1 − p−1)(1 − p−2). Or SL(2,Z/psZ) est le noyau du morphisme surjectifdet : GL(2,Z/psZ) → (Z/psZ)∗. Le cardinal de SL(2,Z/psZ) est donc egal ap3s(1 − p−2). Et,

[Γ(1) : Γ(N)] = N3∏

p|N(1 − p−2).

Montrons maintenant que si N > 1, le groupe Γ(N) n’a pas d’elementselliptiques. Au vu de la description du domaine fondamental D(1) de Γ(1) =

Page 32: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

32 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

SL(2,Z), il n’est pas difficile de verifier que tout element elliptique dans Γ(1)est conjugue a l’un des elements suivants :

±(

0 −11 0

), ±

(0 −11 −1

), ±

(−1 1−1 0

).

Aucun de ces elements n’est congrue a l’identite I2 modulo N si N > 1. PuisqueΓ(N) est distingue dans Γ(1) on obtient ce qu’annonce.

Maintenant si s est un cusp, s est Γ(1)-equivalent a l’∞. Mais,

Γ(1)∞ =

±(

1 m0 1

): m ∈ Z

,

Γ(N)∞ = Γ(N) ∩ Γ(1)∞ =

±(

1 mN0 1

): m ∈ Z

,

de telle maniere que [Γ(1)∞ : Γ(N)∞] = N . Ainsi Γ(N) a exactement µN/Nclasses d’equivalence de cusps. Ce qui conclut le Theoreme 1.13.

Les surfaces X(N) = Γ(N)\H sont donc de “vraies” surfaces hyperboliquesdes que N > 1. On a :

aire(X(N)) =πN3

6

p|N(1 − p−2), si N > 2 et = 2π, si N = 2. (1.3)

(Cela decoule de ce que

(−1

−1

)/∈ Γ(N) si et seulement si N > 2.)

La surface X(N) (N > 1) a hN = µN/N cusps. Son genre est donc

gN = 1 + µNN − 6

12N, si N > 2 et = 0, si N = 2. (1.4)

Tout sous-groupe du groupe modulaire contenant Γ(N) est appele sous-groupe de congruence de niveau N . L’exemple suivant est particulierement im-portant,

Γ0(N) =

γ ∈ SL(2,Z) : γ ≡

(∗ ∗

)(mod N)

.

Exercice 1.15 Montrer que

1. l’indice

[Γ0(1) : Γ0(N)] = N∏

p|N(1 + p−1);

2. le nombre de classes d’equivalences de points fixes elliptiques d’ordre 2pour Γ0(N) est

ν2 =∏

p|N

(1 +

(−1

p

))si 4 6 |N et 0 sinon;

Page 33: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

1.3. SURFACES HYPERBOLIQUES ARITHMETIQUES 33

3. le nombre de classes d’equivalences de points fixes elliptiques d’ordre 3pour Γ0(N) est

ν2 =∏

p|N

(1 +

(−3

p

))si 9 6 |N et 0 sinon;

4. le nombre de classes d’equivalences de cusps pour Γ0(N) est

h =∑

d|N, d>0

ϕ(d ∧ (N/d)), ou ϕ est la fonction d’Euler.

Remarquons que la surface X(2) est une vraie surface hyperbolique de vo-lume fini egal a 2π de genre 0 et avec 3 cusps.

Exercice 1.16 Montrer que la reunion des triangles ideaux de sommets respec-tifs (0, 1,∞) et (1, 2,∞) forme un domaine fondamental pour l’action de Γ(2)sur H.

Page 34: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

34 CHAPITRE 1. SURFACES HYPERBOLIQUES ARITHMETIQUES

Page 35: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Chapitre 2

Decomposition spectrale

Le but de ce chapitre est la demonstration du Theoreme 0.16. Deux referencesgenerales concernant ce chapitre et le suivant sont les livres d’Iwaniec et de Buser[7, 3], nous leur empruntons beaucoup.

2.1 Le laplacien

Notons Lg l’operateur sur les fonctions du demi-plan de Poincare H :

(Lgf)(z) = f(g−1z),

ou g ∈ G. Un operateur lineaire L sur les fonctions f : H → C est dit invariants’il commute a tous les Lg , i.e.

L(f(g−1z)) = (Lf)(g−1z), pour tout g ∈ G.

Les operateurs differentiels invariants sont particulierement importants, parmiceux-ci le laplacien est encore special. En general sur une variete riemanniennele laplacien ∆ est caracterise par la propriete qu’un diffeomorphisme est uneisometrie si et seulement s’il preserve le laplacien. Sur le plan hyperbolique H lelaplacien deduit de la metrique riemannienne ds2 = y−2(dx2 + dy2) est donnepar

∆ = −y2

(∂2

∂x2+

∂2

∂y2

)= (z − z)2

∂z

∂z, (2.1)

ou ∂/∂z = (∂/∂x − i∂/∂y)/2 et ∂/∂z = (∂/∂x + i∂/∂y)/2. D’apres l’Exercice0.15 le laplacien ∆ est invariant.

De plus, dans les coordonnees polaires (r, θ) du plan hyperbolique, le lapla-cien

∆ = − ∂2

∂r2− 1

tanh r

∂r− 1

(2 sinh r)2∂2

∂θ2. (2.2)

Tout operateur differentiel invariant sur H est un polynome a coefficientsconstants en ∆, autrement dit l’algebre des operateurs differentiels invariantssur H est engendree par ∆. Une grande partie de l’analyse harmonique sur

35

Page 36: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

36 CHAPITRE 2. DECOMPOSITION SPECTRALE

H consiste en la decomposition spectrale du laplacien agissant sur un certainespace de fonctions.

L’espace de fonctions en question est l’espace de Hilbert L2(H) des fonctionsf : H → C de carre integrable muni du produit hilbertien

〈f, g〉 7→∫

H

f(z)g(z)dµ(z).

Puisque les fonctions L2 ne sont clairement pas toutes differentiables, lesoperateurs differentiables ne sont definis que sur un sous-espace dense d’unespace de Hilbert. Nous avons donc en fait besoin d’une generalisation de lanotion d’operateur. Ainsi si H est un espace de Hilbert, un operateur sur Hsera une transformation lineaire definie sur un sous-espace dense, c’est a direun couple (T,DT ) constitue d’un sous-espace lineaire dense DT ⊂ H, appele ledomaine de T et d’une transformation lineaire T : DT → H. L’operateur est ditferme si son graphe (f, Tf) : f ∈ DT est un sous-espace ferme du produitH × H. Il est dit non borne s’il n’est pas continu (pour la topologie sur DT

induite de celle de H).Les operateurs non bornes (comme le laplacien) sont frequents en physique

mathematique et ont donc ete largement etudies, on peut se reporter aux livresde Rudin [10], de Dunford et Schwartz [5] ou de Taylor [13].

Un operateur (T,DT ) est dit symetrique si

〈Tf, g〉 = 〈f, Tg〉 (2.3)

pour tout f, g ∈ DT , ou 〈., .〉 est le produit hilbertien sur H. Une classe impor-tante d’operateurs symetriques est celle des operateurs auto-adjoints, que nousdefinissons maintenant.

Soit (T,DT ) un operateur sur H. Nous definissons l’adjoint T ∗ de T . SoitDT∗ l’espace des tous les g ∈ H tels que f 7→ 〈Tf, g〉 est une forme lineairebornee sur DT . Pour un tel g, la forme lineaire peut etre etendue a H tout entierpar continuite, on obtient ainsi une forme lineaire bornee sur H. Un theoremeclassique de Riesz affirme que toute forme lineaire bornee sur un espace deHilbert H est de la forme f 7→ 〈f, h〉 pour un certain element h ∈ H. Ainsi,si g ∈ DT∗ , il existe un unique element T ∗g ∈ H tel que l’equation (2.3) soitverifiee. L’operateur (T ∗, DT∗) est appele l’adjoint de T .

L’operateur T est dit auto-adjoint si DT = DT∗ et T = T ∗. Il est alorsclairement symetrique, il est aussi ferme. La notion d’operateur auto-adjoint estimportante car il existe un theoreme spectral pour les operateurs auto-adjoints etque celui-ci necessite que l’operateur soit auto-adjoint. Neanmoins, le fait d’etreun operateur symetrique implique deja un certain nombre de choses. Ainsi sif est une fonction propre L2 d’un operateur symetrique, de telle maniere queTf = λf , alors λ est reelle et les fonctions propres correspondant a des valeurspropres distinctes sont orthogonales.

Nous considerons donc maintenant l’espace de Hilbert L2(H). Le laplacien∆ est alors definit sur le sous-espace dense C∞

c (H) des fonctions C∞ a supportcompact dans H. Le laplacien ∆ n’est pas continue pour la topologie L2 : c’estun operateur non borne.

Soit

∆e =∂2

∂x2+

∂2

∂y2

Page 37: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.1. LE LAPLACIEN 37

le laplacien euclidien usuel. Nous notons d la differentielle exterieure qui envoieles 1-formes differentielles sur les 2-formes. Soient f et g deux fonctions lissesdefinies dans une region bornee Ω ⊂ C dont le bord est une courbe lisse (ou lissepar morceaux) ∂Ω. On verifie facilement l’identite suivante

d

(g

(∂f

∂xdy − ∂f

∂ydx

)− f

(∂g

∂xdy − ∂g

∂ydx

))= (g∆ef − f∆eg)dx ∧ dy.

Le theoreme de Stokes implique alors∫

ω

(g∆ef − f∆eg)dx ∧ dy =

∂Ω

(g

(∂f

∂xdy − ∂f

∂ydx

)− f

(∂g

∂xdy − ∂g

∂ydx

)).(2.4)

Ici on integre le long de ∂Ω dans le sens des aiguilles d’une montre. L’identite(2.4) est la formule de Green.

Proposition 2.1 Le laplacien ∆ est un operateur symetrique sur L2(H) dedomaine C∞

c (H).

Demonstration. Soient f et g deux fonctions lisses a support compact dans H.D’apres la formule de Green (2.4),

H

(g∆ef − f∆eg)dx ∧ dy =

C

(g

(∂f

∂xdy − ∂f

∂ydx

)− f

(∂g

∂xdy − ∂g

∂ydx

)),

ou C est un contour quelconque qui entoure completement la reunion des sup-ports de f et g. L’integrale de droite est clairement nulle, on obtient donc

H

g∆efdx ∧ dy =

H

f∆egdx ∧ dy. (2.5)

Or on a

〈∆f, g〉 =

H

(∆f)gdx ∧ dyy2

= −∫

H

g∆efdx ∧ dy,

et il decoule donc de (2.5) que ∆ est symetrique.

Parce que H est de volume infini, le laplacien a trop de fonctions proprespour nous. Nous allons plutot chercher a decomposer le laplacien agissant surl’espace de Hilbert L2(Γ\H), ou Γ est un sous-groupe discret de covolume finidans G. Concluons neanmoins cette section en construisant quelques fonctionspropres du laplacien ∆ sur H.

Les fonctions propres de valeur propre λ = 0 sont les fonctions harmoniques ;parmi celles-ci se trouvent les fonctions holomorphes, i.e. celles annulees parl’operateur ∂/∂z.

Cherchons plus generalement des solutions a l’equation

∆f = λf (2.6)

avec f ∈ C∞(H).Commencons par chercher une solution f de (2.6) qui soit uniquement fonc-

tion de y, i.e. constante en x. On tombe immediatement sur les deux solutionslineairement independantes suivantes :

1

2(ys + y1−s) et

1

2s− 1(ys − y1−s), (2.7)

Page 38: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

38 CHAPITRE 2. DECOMPOSITION SPECTRALE

ou s(1 − s) = λ. Sauf lorsque s = 1/2 et λ = 1/4, ou les fonctions propresci-dessus deviennent

y1/2 et y1/2 log y, (2.8)

respectivement. Si s 6= 1/2, on peut evidemment prendre le couple plus simple(ys, y1−s).

Si l’on veut juste que f soit 1-periodique en x, le changement de variablef(z) = e(x)F (2πy) transforme l’equation (2.6) en l’equation differentielle ordi-naire en F

F ′′(y) + (λy−2 − 1)F (y) = 0. (2.9)

Il y a deux solutions lineairement independantes a cette equation, a savoir

(2π−1y)1/2Ks−1/2(y) ∼ e−y

et(2πy)1/2Is−1/2(y) ∼ ey,

lorsque y → +∞, ou Kν(y) et Iν(y) sont les fonctions de Bessel standard surlesquelles nous reviendront plus loin. Si l’on suppose que f(z) ne croıt pas tropvite ; plus precisemment

f(z) = o(e2πy),

lorsque y → ∞, alors la seconde solution est exclue et f doit etre un multiplede la fonction

Ws(z) = 2y1/2Ks−1/2(2πy)e(x), (2.10)

appelee fonction de Whittaker.Les fonctions de Whittaker jouent le role des fonctions exponentielles dans

l’analogue hyperbolique de l’inversion de Fourier dont ne dirons rien de plus icipuisque nous avons en vue l’analyse harmonique sur les surfaces hyperboliquescompactes.

Etudions maintenant le probleme spectral (2.6) dans les coordonnees polaires(r, θ) autour du point i ∈ H. Nous cherchons une fonction propre du laplacien∆ de valeur propre λ = s(1 − s) qui ne depende pas de θ. Pour produire unetelle fonction, on moyennise la fonction ys le long des cercles (hyperboliques)centres en i. En posant y = e−r, on obtient ainsi

Fs(r) =1

π

∫ π

0

(cosh r + sinh r cos 2θ)−sdθ. (2.11)

Par construction, la fonction z 7→ Fs(ρ(z, i)) est solution de (2.6) pour λ =s(1− s). Puisque dans les coordonnees polaires la fonction Fs ne depend pas deθ, elle est solution de l’equation differentielle ordinaire du second ordre

F ′′(r) + coth rF ′(r) + λF (r) = 0, (2.12)

qui traduit l’equation (2.6) dans les coordonnees polaires (avec toujours λ =s(1− s)). Remarquons que le lemme ci-dessous implique que les fonctions Fs et

Page 39: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.1. LE LAPLACIEN 39

F1−s sont liees ; lorsque s ∈ [0, 1] nous supposerons en general s ≤ 1/2 de tellemaniere que l’integrale

∫ π

0(1 + cos 2θ)−sdθ soit bien definie.

On l’a dit, il est souvent plus commode de tranformer la coordonnee r enu = (cosh r − 1)/2. Dans ces nouvelles coordonnees, l’equation (2.12) (et doncl’equation (2.6) pour une fonction independante de θ) se traduit en

u(u+ 1)G′′(u) + (2u+ 1)G′(u) + s(1 − s)G(u) = 0. (2.13)

Dans les coordonnees (u, θ), l”identite

(−∆ + s(1 − s))ξs−1(1 − ξ)s−1(ξ + u)−s = sd

dξξs(1 − ξ)s(ξ + u)−s−1 (2.14)

est facile a verifier. Elle permet de montrer qu’il existe une autre solutionaux equations (2.12) ou (2.13), lineairement independante de Fs, donnee parl’integrale

Gs(u) =1

∫ 1

0

(ξ(1 − ξ))s−1(ξ + u)−sdξ. (2.15)

Lemme 2.2 L’integrale (2.15) converge absolument pour s dans le demi-planRe(s) = σ > 0. Elle definit ainsi une fonction Gs(u) sur R∗

+ qui verifie l’equation(2.13). De plus, Gs(u) verifie les estimes suivants :

1. Gs(u) = 14π log 1

u +O(1), lorsque u→ 0,

2. G′s(u) = −(4πu)−1 +O(1), lorsque u→ 0,

3. Gs(u) << u−σ, lorsque u→ +∞ .

Demonstration. Le fait queGs(u) verifie l’equation (2.13) decoule immediatementde (2.14). Pour demontrer le premier point du Lemme 2.2 on pose ν = (|s|+1)u,η = (|s| + 1)−1 et on decompose l’integrale

4πGs(u) =

∫ 1

0

(ξ(1 − ξ)

ξ + u

)s−1dξ

ξ + u=

∫ ν

0

+

∫ η

ν

+

∫ 1

η

ou ∫ ν

0

<< u−σ

∫ ν

0

ξσ−1dξ << 1

et ∫ 1

η

<<

∫ 1

η

(1 − ξ)σ−1dξ << 1.

Pour l’integrale restante on utilise le developpement limite(ξ(1 − ξ)

ξ + u

)s−1

=

(1 − u+ ξ2

u+ ξ

)s−1

= 1 +O

(u+ ξ2

u+ ξ

)

pour obtenir∫ η

ν

=

∫ η

ν

ξ + u+O

(∫ η

ν

u+ ξ2

(u+ ξ)2dξ

)

= logu+ η

u+ ν+O(1) = log

1

u+O(1).

Ce qui conclut la demonstration du premier point du Lemme 2.2. Le deuxiemese prouve de maniere similaire et le troisieme point est immediat.

Page 40: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

40 CHAPITRE 2. DECOMPOSITION SPECTRALE

2.2 Operateurs integraux invariants sur H

Soit k :]−∞,+∞[→ C une fonction paire C∞. En posant k(z, w) = k(ρ(z, w)) 1,avec z, w ∈ H, on obtient une fonction lisse de z et w qui ne depend que de ladistance entre z et w. On appelle une telle fonction un noyau invariant.

Lemme 2.3 Soit k(z, w) un noyau invariant. Alors,

∆zk(z, w) = ∆wk(z, w). (2.16)

Ici l’indice indique la variable a laquelle on applique le laplacien.

Demonstration. En utilisant les coordonnees polaires centrees au point w, onobtient, puisque k(z, w) = k(r),

∆zk(z, w) = −k′′(r) − coth rk′(r).

En utilisant les coordonnees polaires centrees au point z, on obtient la memeexpression pour ∆wk(z, w) ce qui demontre le Lemme 2.3.

Un noyau invariant k definit un operateur integral invariant par l’integrale

H

k(z, w)f(w)dµ(w) (2.17)

ou dµ est la mesure riemannienne. Dans ce qui suit nous supposerons toujours lesfonctions k et f lisses et choisies de maniere a ce que l’integrale (2.17) convergeabsolument (on ne perd pas grand chose a supposer que la fonction k est asupport compact).

Theoreme 2.4 Les operateurs integraux invariants commutent a l’action dulaplacien.

Demonstration. Soit f ∈ C∞c (H) (le domaine de ∆). D’apres la Proposition 2.1,

H

k(z, w)(∆wf(w))dµ(w) =

H

(∆wk(z, w))f(w)dµ(w).

Puis, d’apres le Lemme 2.3, l’integrale de droite est egale a

H

(∆zk(z, w))f(w)dµ(w).

D’ou l’on deduit le Theoreme 2.4.

Examinons maintenant les fonctions propres radiales du laplacien. Soit doncϕ une fonction radiale, i.e. une fonction ne dependant que la distance a un pointfixe z ∈ H. Et supposons que ϕ verifie l’equation ∆ϕ = λϕ pour un certain reelλ. En coordonnees polaires autour du point z cette derniere equation n’est autreque (2.12) qui est une equation differentielle ordinaire du second ordre pour ϕ.Cette equation pour λ reel ou complexe est completement resolue par la theorieclassique. Nous en extrayons le lemme suivant.

1Rappelons que ρ(z,w) est la distance hyperbolique entre deux points z et w dans H.

Page 41: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.2. OPERATEURS INTEGRAUX INVARIANTS SUR H 41

Lemme 2.5 Pour λ ∈ C et z ∈ H, il existe une unique fonction ωλ(z, w) en w,radiale autour du point z et telle que

1. ωλ(z, z) = 1, et

2. ∆wωλ(z, w) = λωλ(z, w).

Celle-ci est donnee parωλ(z, w) = Fs(ρ(z, w)),

ou λ = s(1 − s).

Demonstration. Soit F (r) = ωλ(z, w) avec r = ρ(z, w). La fonction F verifiel’equation (2.12), c’est donc une combinaison des fonctions Fs(r) et Gs((cosh r−1)/2) ou λ = s(1 − s). Mais la normalisation F (0) = ωλ(z, z) = 1 et le Lemme2.2 imposent alors F = Fs.

Remarquons que si λ ∈ [0, 1/4], s ∈ [0, 1]. Rappelons que l’on peut alorssupposer s ≤ 1/2. Lorsque s < 1/2, on deduit donc de l’expression explicite deFs que la fonction ωλ(z, w) croıt comme

(const)e−sρ(z,w) = (const)e−1/2(1−√

1−4λ)ρ(z,w). (2.18)

Supposons maintenant que f est une fonction sur H. Nous definissons laradialisation de f autour d’un point z ∈ H, notee f r

z , en posant

f radz (w) =

Sz

f(Tw)dT,

ou Sz est le sous-groupe d’isotropie de z dans le groupe des isometries de Het dT est la mesure de Haar normalisee sur Sz. Remarquons que les groupesSz sont deux a deux conjugues et peuvent etre identifies au groupe orthogonalO(2).

Il est clair que la fonction f radz est radiale et verifie f rad

z (z) = f(z). Il decouledonc immediatement du Lemme 2.5 que si f est une fonction propre du laplaciende valeur propre λ alors

f radz (w) = ωλ(z, w)f(w).

Soit toujours k(z, w) un noyau invariant. Nous affirmons que∫

H

k(z, w)f(w)dµ(w) =

H

k(z, w)f radz (w)dµ(w). (2.19)

En effet,∫

H

k(z, w)f radz (w)dµ(w) =

H

k(z, w)dµ(w)

Sz

f(Tw)dT

=

Sz

dT

H

k(z, w)f(Tw)dµ(w)

=

Sz

dT

H

k(z, T−1w)f(w)dµ(w)

=

Sz

dT

H

k(z, w)f(w)dµ(w)

=

H

k(z, w)f(w)dµ(w).

Page 42: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

42 CHAPITRE 2. DECOMPOSITION SPECTRALE

Theoreme 2.6 Toute fonction propre de ∆ est aussi une fonction propre desoperateurs integraux invariants. Plus precisemment, si ∆f = λf et L est unoperateur integral invariant de noyau k lisse et a support compact, il existeh(λ) ∈ C, ne dependant pas de f (mais de k), tel que Lf = h(λ)f , i.e.

H

k(z, w)f(w)dµ(w) = h(λ)f(z). (2.20)

Demonstration. Commencons par remarquer que

H

k(z, w)f(w)dµ(w) =

H

k(z, w)f radz (w)dµ(w) = f(z)

H

k(z, w)ωλ(z, w)dµ(w).

Puisque k est a support compact, l’integrale

h(λ) :=

H

k(z, w)ωλ(z, w)dµ(w)

est bien definie. Il est facile de verifier que pour un λ donne, celle-ci ne dependpas de z. Plus precisemment cela decoule de ce que G agit transitivement surH et de ce que si g ∈ G,

H

k(gz, w)ωλ(gz, w)dµ(w) =

H

k(z, g−1w)ωλ(z, g−1w)dµ(w)

=

H

k(z, w)ωλ(z, w)dµ(w).

Le Theoreme 2.6 est donc demontre.

La reciproque du Theoreme 2.6 est egalement vraie, dans le sens suivant.

Theoreme 2.7 Si f est une fonction propre de tous les operateurs integrauxinvariants dont le noyau k ∈ C∞

0 (R), alors f est une fonction propre de ∆.

Demonstration. Soit f une fonction propre de tous les operateurs integrauxinvariants dont le noyau k ∈ C∞

0 (R). Soit k ∈ C∞0 (R) un noyau que l’on choisit

de maniere a ce que l’equation (2.20) soit verifiee avec h(λ) 6= 0 (si h(λ) = 0 pourtout k, alors f ≡ 0 et le Theoreme est trivial). En appliquant ∆ a l’equation(2.20), on obtient

H

∆zk(z, w)f(w)dµ(w) = h(λ)(∆f)(z).

Mais ∆zk(z, w) est encore le noyau lisse a support compact d’un operateurintegral invariant, par hypothese sur f l’integrale ci-dessus est donc egale (commefonction de z) a un multiple scalaire de la fonction f . Puisque h(λ) 6= 0 leTheoreme 2.7 est demontre.

La condition dans le Theoreme 2.6 que k soit a support compact n’est pasessentielle. Nous supposons dorenavant que la fonction k verifie la condition dedecroissance a l’infini suivante :

|k(ρ)| ≤ const e−ρ(1+δ), (2.21)

Page 43: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.2. OPERATEURS INTEGRAUX INVARIANTS SUR H 43

pour un certain nombre reel δ > 0.Nous cherchons maintenant a calculer la fonction h. A cette fin, il est plus

commode d’introduire la fonction L definie par

L(cosh ρ) = k(ρ), (2.22)

de telle maniere que

L

(1 +

|z − w|22ImzImw

)= k(z, w). (2.23)

La fonction L : [1,+∞[→ C est alors une fonction paire qui croıt comme unO(t−(1+δ)) lorsque t→ ∞.

Puisque λ = s(1 − s) prend toutes les valeurs complexes lorsque s parcourtC, on peut voir la fonction h comme une fonction du parametre complexe rrelie a s par l’equation s = 1/2+ ir. Notons y = Imz. Rappelons que la fonctiony1/2+ir (r ∈ C) est une fonction (r2 + 1/4)-propre du laplacien ∆ sur H.

Nous allons maintenant determiner h(r) comme fonction de L.D’apres le Theoreme 2.6,

h(r) =

H

k(z, i)y1/2+irdµ(z). (2.24)

Remarquons que sur le cercle hyperbolique z ∈ H : ρ(z, i) = ρ on a y =Imz ≤ eρ 2. Sous la condition de decroissance rapide (2.21) de k, l’integrale(2.24) est donc absolument integrable tant que

|Imr| < 1

2+ δ′, (2.25)

ou δ′ est une constante verifiant 0 < δ′ < δ. Sous cette hypothese et en effectuanttour a tour les changements de variable (1 + x2 + y2)/2y = t(x) = t (avecdx = ydt/x), y = eu, et t = cosh ρ, on obtient le lemme suivant.

Lemme 2.8 La fonction

h(r) =

∫ +∞

−∞

∫ +∞

0

y1/2+irL

(1 + x2 + y2

2y

)dy

y2dx

=√

2

∫ +∞

−∞eiru

∫ +∞

|u|

k(ρ) sinh ρ√cosh ρ− coshu

dρdu.

Notons

g(u) =√

2

∫ +∞

|u|

k(ρ) sinh ρ√cosh ρ− coshu

dρ. (2.26)

La fonction h est donc egale a g la tranformee de Fourier de g. Remarquons queles changements de variables x = coshu et t = cosh ρ tranforment l’expression(2.26) en

g(argchx) =√

2

∫ +∞

x

k(argcht)√t− x

dt.

On dit que la fonction G(x) = g(argchx) est transformee d’Abel de la fonctionΦ(t) = k(argcht).

2Cela se voit facilement si l’on se rappelle que le cercle hyperbolique considere est un cercleeuclidien dont le point d’ordonnee maximale est sur l’axe imaginaire.

Page 44: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

44 CHAPITRE 2. DECOMPOSITION SPECTRALE

Lemme 2.9 Soit Φ : [1,+∞[→ C une fonction lisse a support compact. Alorsla transformee d’Abel de Φ,

Q(x) =

∫ +∞

x

Φ(t)√t− x

dt, x ≥ 1

definit une fonction lisse a support compact et cette transformation est reversiblevia la formule :

Φ(x) = − 1

π

∫ +∞

x

dQ(t)√t− x

.

Demonstration. Remarquons d’abord que

Q(x) =

∫ +∞

0

Φ(x+ ξ2)

ξ2ξdξ = 2

∫ +∞

0

Φ(x+ ξ2)dξ.

La fonction Q est donc clairement lisse a support compact et de derivee

Q′(x) = 2

∫ +∞

0

Φ′(x+ ξ2)dξ. (2.27)

Mais,

Φ(x) = −∫ +∞

0

d[Φ(x + r2)]

= −∫ +∞

0

2Φ′(x+ r2)rdr

= − 4

π

∫ π/2

0

∫ +∞

0

Φ′(x+ r2)rdrdθ

= − 4

π

∫ +∞

0

∫ +∞

0

Φ′(x+ η2 + ξ2)dηdξ

= − 2

π

∫ +∞

0

Q′(x + η2)dη (d’apres (2.27))

= − 1

π

∫ +∞

0

d(Q(x + η2))

η

= − 1

π

∫ +∞

x

dQ(t)√t− x

.

En particulier,

k(argchx) = − 1√2π

∫ +∞

x

dg(argcht)√t− x

.

Et la formule (2.26) s’inverse en

k(u) = − 1√2π

∫ +∞

cosh u

dg(argcht)√t− coshu

= − 1√2π

∫ +∞

u

dg(t)√cosh t− coshu

.

Page 45: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.2. OPERATEURS INTEGRAUX INVARIANTS SUR H 45

Une famille d’exemples : le noyau de la chaleur

On appelle solution fondamentale de l’equation de la chaleur sur H toutefonction continue p : H × H×]0,+∞[→ R C2 en les deux premieres variables(z, w), C1 en la derniere t et telle que

1. ∂p∂t = −∆zp,

2. p(z, w, t) = p(w, z, t), et

3. limt↓0∫

Hp(z, w, t)f(w)dµ(w) = f(x), localement uniformement en x et

pour toute fonction continue a support compact f .

Notre principal but maintenant est de construire une solution fondamentalde l’equation de la chaleur sur H. Nous montrons plus precisemment le theoremesuivant.

Theoreme 2.10 La fonction pH : H × H×]0,+∞[→ R donnee par

pH(z, w, t) =

√2

(4πt)3/2e−t/4

∫ +∞

ρ(z,w)

re−r2/4t

√cosh r − cosh ρ(z, w)

dr

est une solution fondamentale de l’equation de la chaleur.

Exercice 2.11 Verifier directement a la main que la fonction pH est une solu-tion fondamentale de l’equation de la chaleur.

Dans la demonstration que l’on donne ici du Theoreme 2.10 nous allonsplutot chercher a comprendre d’ou vient cette solution.

Notions p une solution fondamentale eventuelle de l’equation de la chaleursur H. Commencons par remarquer que si t est un reelle strictement positiffixe, la fonction pt(z, w) = p(z, w, t) est un noyau invariant nous l’ecrivonspt(z, w) = pt(ρ(z, w)). Compte tenu de l’expression du laplacien dans les co-ordonnees polaires, les noyaux pt doivent verifier l’equation

d2pt

dρ2+ coth ρ

dpt

dρ− ∂pt

∂t= 0. (2.28)

On a vu qu’il etait particulierement simple de trouver des fonctions propresdu laplacien constantes le long des horocycles centres en l’infini (i.e. ne dependantque de y). Il est donc tentant de chercher une solution fondamental de l’equation

∆qt +∂qt∂t

= 0 (2.29)

telle que qt soit constante le long des horocycles centres en l’infini. Pour ce faireil est plus commode de noter pour tout nombre complexe z = x+ iy ∈ H,

r = log y.

Dans les coordonnees (r, x) et pour une fonction q = q(r, x) constante le longdes horocycles r = const, le laplacien applique a q est donne par

∆q = −∂2q

∂r2+∂q

∂r. (2.30)

Page 46: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

46 CHAPITRE 2. DECOMPOSITION SPECTRALE

Nous cherchons donc une solution qt de l’equation

∂2qt∂r2

− ∂qt∂r

− ∂qt∂t

= 0 (2.31)

deduite des equations (2.29) et (2.30). Posons q∗t (r, x) = e−r/2qt(r, x). La fonc-tion q∗t (r, x) doit alors etre une solution de l’equation

∂2q∗t∂r2

− 1

4q∗t − ∂q∗t

∂t= 0. (2.32)

L’equation (2.32) est tres proche le l’equation de la chaleur sur R :

∂2ft

∂r2− ∂ft

∂t= 0

dont une solution est classiquement donnee par ft(r) = (4πt)−1/2e−r2/4t. Nouscherchons donc une solution de (2.29) sous la forme

q∗t (r) = α(t)e−βr2/t

et trouvons

α(t) = constt−1/2e−t/4, β =1

4.

Anticipons un peu sur les constantes et posons

q∗t (r, x) =1

4√πt−1/2e−t/4e−r2/4t. (2.33)

On a alors

qt(r, x) =1

4√πt−1/2e−t/4er/2e−r2/4t. (2.34)

Compte tenu du point 3. de la definition d’une solution fondamentale del’equation de la chaleur, il n’est pas commode de chercher pt comme la radia-lisation d’une fonction constante le long des horocycles centres en l’infini. Onsait par contre que la moyenne

∫ +∞

−∞pt(ρ(r, x + a))da = 2

∫ +∞

0

pt(ρ(r, a))da

de pt le long des horocycles centres en l’infini doit etre egale a une fonction dela forme qt.

D’apres (2.34), on s’attend donc a ce que

∫ +∞

0

pt(ρ(r, a))da =1

4√πt−1/2e−t/4er/2e−r2/4t. (2.35)

L’integrale

1√2πe−r/2

∫ +∞

−∞pt(ρ(r, x + a))da =

√2√πe−r/2

∫ +∞

0

pt(ρ(r, a))da

=1√π

∫ +∞

r

pt(ρ) sinh ρ√cosh ρ− cosh r

Page 47: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.2. OPERATEURS INTEGRAUX INVARIANTS SUR H 47

(ou l’on a effectue le changement de variable ρ = ρ(r, a)) est la transformeed’Abel de pt. Celui-ci n’est pas a support compact mais l’inversion de la trans-formee d’Abel reste valable (et classique) et implique que la formule (2.35)s’inverse en

pt(ρ) =

√2

(4πt)3/2e−t/4

∫ +∞

ρ

re−r2/4t

√cosh r − cosh ρ

dr. (2.36)

On obtient ainsi l’expression attendue d’une solution fondamentale du noyau dela chaleur sur H.

Lemme 2.12pt(ρ) ≤ (const)t−1e−ρ2/8t.

Demonstration. Fixons ρ > 0. Alors,

∫ 2ρ

ρ

re−r2/4t

√cosh r − cosh ρ

dr ≤ 2ρe−ρ2/4t

∫ 2ρ

ρ

dr√(r − ρ) sinh ρ

≤ 4ρe−ρ2/4t.

L’inegalite xe−x2 ≤ e−x2/2 implique

4ρe−ρ2/4t ≤ (const)√te−ρ2/8t.

Puis en utilisant que cosh r−cosh ρ ≥ 12 (r−ρ)2 on obtient, en posant s = r−2ρ,

∫ +∞

re−r2/4t

√cosh r − cosh ρ

dr ≤ 2√

2

∫ +∞

e−r2/4tdr

≤ 2√

2e−ρ2/t

∫ +∞

0

e−s2/4tds

≤ (const)√te−ρ2/t.

Ce qui conclut la demonstration du Lemme 2.12.

Ceci permet de valider toutes les tranformations integrales non justifiees plushaut. En particulier on verifie immediatement que pt est effectivement solutionde l’equation (2.28). Montrons maintenant que pt verifie la condition initiale

limt↓0

H

pt(r, x)ϕ(r, x)dµ(r, x) = ϕ(0, 0) (2.37)

pour toute fonction continue ϕ a support compact.Dans les coordonnees horocycliques (r, x) l’element d’aire

dµ(r, x) = e−rdrdx.

Alors et d’apres (2.35),

H

pt(r, x)dµ(r, x) =

∫ +∞

−∞

[∫ +∞

−∞pt(r, x+ a)da

]e−rdr

=

∫ +∞

−∞

1

2√πt−1/2e−t/4e−r/2e−r2/4tdr.

Page 48: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

48 CHAPITRE 2. DECOMPOSITION SPECTRALE

En effectuant le changement de varaible s = r/(2√t) et en utilisant que

∫ +∞

−∞e−s2

ds =√π,

on obtient

limt↓0

H

pt(r, x)dµ(r, x) = 1. (2.38)

Puisque pt decroit rapidement a l’infini un argument standard implique (2.37).

La fonction du Theoreme 2.10 est

pH(z, w, t) = pt(ρ(z, w)).

La fonction pH appartient bien a C∞(H × H×]0,+∞[) et d’apres (2.28) verifiel’equation (

∆z +∂

∂t

)pH(z, w, t) = 0.

De plus, et compte tenu de la decroissance rapide de pt, la formule de Green(2.4) implique que ∫

H

∆ptdµ = 0.

Puisque ∆pt = −∂pt/∂t, il decoule de (2.38) que

H

ptdµ = 1

pour tout t > 0. Ce qui demontre le lemme suivant.

Lemme 2.13 Pour tout z ∈ H,

H

pH(z, w, t)dµ(w) = 1.

D’un autre cote, le Lemme 2.12, traduit l’inegalite

pH(z, w, t) ≤ constt−1e−ρ(z,w)2/8t. (2.39)

Ce qui permet de conclure a l’aide du Lemme 2.13 que pour toute fonctionbornee f : H → C, avec eventuellement un support non compact,

limt↓0

H

pH(z, w, t)f(w)dµ(w) = f(z)

uniformement sur les compacts de H. Et le Theoreme 2.10 est demontre.

Remarquons que pour chaque t > 0, le noyau pt(z, w) = pH(z, w, t) estun noyau invariant qui verifie la condition (2.21) les resultats precedents s’ap-pliquent donc.

Page 49: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.3. LE LAPLACIEN SUR Γ\H 49

2.3 Le laplacien sur Γ\H

Nous l’avons dit, parce que H est de volume infini, le laplacien a trop defonctions propres pour la theorie spectrale qui nous interesse ici. Une situationplus interessante est de considerer la decomposition de L2(Γ\H), ou Γ est unsous-groupe de G discret cocompact ou au moins de covolume fini. Soit donc Γun tel sous-groupe de G.

Soit C∞(Γ\H, k) (k ∈ Z) l’espace des fonctions lisses sur H telles que

f(z) =

(cz + d

|cz + d|

)2k

f

(az + b

cz + d

),

(a bc d

)∈ Γ. (2.40)

Si f, g ∈ C∞(Γ\H, k), alors la fonction fg est Γ-invariante, et on peut definir leproduit hilbertien

〈f, g〉 =

Γ\H

f(z)g(z)dxdy

y2.

Soit L2(Γ\H, k) l’espace de Hilbert obtenu en prenant la completion de l’en-semble des fonctions dans C∞(Γ\H, k) de norme L2 finie, par rapport a ceproduit hilbertien.

Lemme 2.14 Soit ω une 1-forme differentielle lisse et bornee telle que γ(ω) =ω pour tout γ ∈ Γ. Alors, ∫

Γ\H

dω = 0.

Demonstration. Si M est une variete compacte orientee de dimension n, alors leTheoreme de Stokes implique que si ω est une (n−1)-forme differentielle sur M ,on a

∫Mdω =

∫∂M

ω = 0, puisque ∂M est vide. En particulier si M = Γ\H estcompacte, la propriete de periodicite de ω (vis a vis de Γ) implique que celle-ci peut-etre vue comme une forme differentielle sur M , et le Lemme decouledu Theoreme de Stokes. Le Lemme reste vrai lorsque Γ\H est de volume finilorsque ω est borne puisque la longeur des horocycles centres en l’infini tendvers 0 lorsque ceux-ci se rapprochent de l’infini.

Definissons les operateurs differentiels de Maass sur C∞(H) :

Rk = iy∂

∂x+ y

∂y+ k = (z − z)

∂z+ k, (2.41)

Lk = −iy ∂∂x

+ y∂

∂y− k = −(z − z)

∂z− k. (2.42)

Proposition 2.15 Les operateurs Rk et Lk envoient l’espace C∞(Γ\H, k) dansC∞(Γ\H, k + 1) et C∞(Γ\H, k − 1), respectivement.

Demonstration. Soit g =

(a bc d

)∈ Γ, et soit w = g(z) = az+b

cz+d . Alors,

∂z=∂w

∂z

∂w+∂w

∂z

∂w= (cz + d)−2 ∂

∂w.

Page 50: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

50 CHAPITRE 2. DECOMPOSITION SPECTRALE

On en deduit que

(w − w)∂

∂w=

(cz + d

cz + d

)(z − z)

∂z. (2.43)

Montrons alors que si φ est une fonction lisse sur H, on a

(z − z) ∂∂z

(cz+d|cz+d|

)2k

φ

= (z − z)(

cz+d|cz+d|

)2k∂φ∂z + k

[(cz+d|cz+d|

)2k+2

−(

cz+d|cz+d|

)2k]φ.

(2.44)

Ceci decoule en effet de ce que

∂z|cz + d| =

c

2

|cz + d|cz + d

,

et de ce que le membre de gauche de (2.44) est egal a

(z − z)

(cz + d

|cz + d|

)2k∂φ

∂z− kc(z − z)

(cz + d)k

|cz + d|k(cz + d)φ(z).

L’equation (2.44) s’en deduit en remarquant que c(z − z) = (cz + d)− (cz + d).Les equations (2.43) et (2.44) impliquent

(cz + d

|cz + d|

)2k+2

(Rkf)

(az + b

cz + d

)=

(cz + d

|cz + d|

)2k+2 [(w − w)

∂w+ k

]f(w)

=

[(z − z)

(cz + d

|cz + d|

)2k∂

∂z+ k

(cz + d

|cz + d|

)2k+2]f(w)

= Rk

((cz + d

|cz + d|

)2k

f

(az + b

cz + d

)).

On en deduit immediatement la Proposition pour l’operateur Rk. Le cas del’operateur Lk se traite de meme.

Proposition 2.16 Si f ∈ C∞(Γ\H, k) et g ∈ C∞(Γ\H, k + 1) sont bornees,alors

〈Rkf, g〉 = 〈f,−Lk+1g〉.

Demonstration. Soit ω = y−1f(z)g(z)dz, ou dz = dx − idy. Commencons par

remarquer que γ(ω) = ω pour tout γ =

(a bc d

)∈ Γ. En effet, soit w =

u+ iv = γ(z) ; on a

f(z)g(z) =

(cz + d

cz + d

)f(w)g(w),

v = |cz + d|−2y, dw = (cz + d)−2dz, dw(cz + d)−2dz.

Doncv−1f(w)g(w)dw = y−1f(z)g(z)dz,

Page 51: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.4. OPERATEURS INTEGRAUX SUR Γ\H 51

comme annonce.Le Lemme 2.14 implique alors que

0 =

Γ\H

d(y−1f(z)g(z)dz)

=

Γ\H

[− ∂

∂y(y−1fg) − i

∂x(y−1fg)

]dx ∧ dy

= −∫

Γ\H

[(iy∂f

∂x+ y

∂f

∂y

)g −

(iy∂g

∂x− y

∂g

∂y

)− fg

]dx ∧ dyy2

= −∫

Γ\H

[(Rkf)g + f(Lk+1g)]dx ∧ dyy2

.

Ce qui conclut la demonstration de la Proposition 2.16.

Proposition 2.17 Le laplacien ∆ est un operateur (non borne) symetrique etpositif sur L2(Γ\H) de domaine

D(Γ\H) = f ∈ C∞(Γ\H) : f bornee et ∆f bornee.

Demonstration. Il est clair que D(Γ\H) est dense dans L2(Γ\H). Remarquonsque

∆ = −L1R0 = −R−1L0. (2.45)

Il nous suffit donc de montrer que l’operateur L1R0 (qui d’apres la Proposition2.15 laisse l’espace D(Γ\H) invariant) est symetrique et positif ; ce qui decoulede la Proposition 2.16, puisque

〈∆f, f〉 = 〈−R−1L0f, f〉 = 〈L0f, L0f〉 ≥ 0.

La Proposition 2.17 implique que la valeur propre λ = s(1−s) d’une fonctionpropre f ∈ D(Γ\H) est reelle et positive. Ainsi, soit s = 1/2+ it avec t ∈ R, soit0 ≤ s ≤ 1.

2.4 Operateurs integraux sur Γ\H

Commencons par considerer le cas ou Γ est un sous-groupe discret de G sanstorsion et cocompact. Il opere donc proprement discontinuement et sans pointfixe sur le plan hyperbolique H avec un domaine fondamental compact F quenous fixons une bonne fois pour toute. Nous allons realiser la decompositionspectrale du laplacien ∆ dans L2(Γ\H) a l’aide d’operateurs integraux inva-riants. Rappelons qu’un tel operateur est donne par un noyau invariant

k(z, w) = k(ρ(z, w)), z, w ∈ H, (2.46)

qui induit

(Lf)(z) =

H

k(z, w)f(w)dµ(w)

Page 52: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

52 CHAPITRE 2. DECOMPOSITION SPECTRALE

pour f : H → C. Si l’on restreint f aux fonctions Γ-invariantes (autrement ditsi f : Γ\H → C), on peut ecrire

(Lf)(z) =

F

K(z, w)f(w)dµ(w),

ou le nouveau noyau est donne par la serie

K(z, w) = KΓ(z, w) =∑

γ∈Γ

k(z, γw). (2.47)

On appelle ce noyau : noyau automorphe. Commencons par nous occuper desproblemes de convergence.

Nous supposons toujours que la fonction k verifie le condition de decroissance

|k(ρ)| ≤ (const)e−ρ(1+δ) (2.48)

pour un certain nombre reel δ > 0.

Lemme 2.18 Soit p ∈ F . Pour m = 0, 1, . . ., posons

Γ(m) = γ ∈ Γ : m ≤ ρ(p, γp) < m+ 1.

Alors Γ(m) a un cardinal |Γ(m)| ≤ (const)em.

Demonstration. Soit a le diametre de F . Les sous-ensembles γ(F ), γ ∈ Γ(m)sont contenus dans le disque de centre p et de rayon r = m+ 1 + a. L’aire de cedisque est egale a 2π(cosh r − 1). Puisque les sous-ensembles ne s’intersectentpas le Lemme s’en deduit immediatement.

Le lemme suivant est une consequence immediate du Lemme 2.18.

Lemme 2.19 Soit k comme dans (2.46) et verifiant (2.48). Pour tout sous-ensemble compacte A ⊂ H et pour tout ε > 0 il existe un sous-ensemble finiΛ ⊂ Γ tel que ∑

γ∈Γ−Λ

|k(z, γw)| < ε pour tout z, w ∈ A.

Au vu des Lemmes 2.18 et 2.19 nous pouvons donc legitimement considererla fonction K donnee par la serie (2.47).

Lemme 2.20 Le noyau automorphe K est bi-Γ-invariant,

K(γz, δw) = K(z, w) pour tout γ, δ ∈ Γ.

Il induit un noyau symetrique K : Γ\H × Γ\H → C.

Demonstration. Puisque k(z, w) ne depend que de la distance, on a k(γz, gδw) =k(z, γ−1gδw). Lorsque g decrit Γ, γ−1gδ decrit egalement Γ, et la bi-Γ-invariancede K en decoule. La symetrie provient de

γ∈Γ

k(z, γw) =∑

γ∈Γ

k(γw, z) =∑

γ∈Γ

k(y, γ−1x).

Page 53: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.4. OPERATEURS INTEGRAUX SUR Γ\H 53

Nous nous occupons maintenant de la differentiabilite des noyaux auto-morphes. Puisque dans la pratique les noyaux invariants dependent frequemmentd’un parametre reel additionnel, nous etudions egalement la differentiabilite parrapport a ce parametre.

Soit donc T un espace de parametre que l’on considere ici etre un intervalleouvert de la droite reelle.

Lemme 2.21 Supposons que la fonction k = k(ρ, t) :] − ∞,+∞[×T → C estpaire en la premiere variable, lisse (comme fonction de deux variables) et quetoutes ses derivees partielles k(n,ν) verifient l’inegalite

|k(n,ν)(ρ, t)| ≤ ce−ρ(1+δ) sur [0,∞[×T,

ou c et δ sont des constantes strictement positives. Alors, K appartient a C∞(Γ\H×Γ\H × T,C).

Demonstration. Soit U ⊂ H un disque ouvert et soit p ∈ H un point a distancenon nulle de U . Alors

Γ = ∪+∞m=0Γ(m)

avec Γ(m) = γ ∈ Γ : m ≤ ρ(p, γp) < m+ 1. D’apres le Lemme 2.18 on a

|Γ(m)| ≤ (const)em.

Il nous suffit donc de montrer que pour chaque derivation partielle D, il existedes constantes ne dependant que de U telles que

|D[k(z, γw)]| ≤ (const)e−m(1+δ) pour tout z, w ∈ U, γ ∈ Γ(m). (2.49)

Nous avons note D[.] de maniere a signifier que la derivation s’applique a lafonction (z, w) 7→ k(z, γw). Cette derivee a la forme

D[k(z, γw)] =

ν∑

j=1

(DT k(j))(ρ(z, γw))Dj [ρ(z, γw)],

ou DT est une derivee partielle par rapport a T , k(j) = ∂jk/∂ρj , et Dj est laderivation partielle par rapport a la variable dans H × H.

Finalement la trigonometrie hyperbolique implique facilement que |D[ρ(z, γw)]|est uniformement majoree lorsque z, w ∈ U et γ ∈ Γ. Ce qui conclut la demonstrationdu Lemme 2.21.

Le noyau de la chaleur Les resultats ci-dessus s’appliquent notamment a lafamille d’exemples que nous avons deja consideree : le noyau de la chaleur. Onobtient en particulier le theoreme suivant.

Theoreme 2.22 Soit p(z, w, t) le noyau de la chaleur du plan hyperbolique etsoit

P (z, w, t) = PΓ(z, w, t) =∑

γ∈Γ

p(z, γw, t).

La fonction P definit un element de C∞(Γ\H × Γ\H×]0,+∞[) qui est une so-lution fondamentale de l’equation de la chaleur sur Γ\H.

Page 54: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

54 CHAPITRE 2. DECOMPOSITION SPECTRALE

Demonstration. Le Lemme 2.12 (et sa demonstration) impliquent que la fonctionpt verifient les hypotheses du Lemme 2.21 d’ou il decoule que P ∈ C∞(Γ\H ×Γ\H×]0,+∞[). Il est immediat que l’equation ∆zp = −∂p/∂t implique que∆zP = −∂P/∂t. La symetrie de P decoule du Lemme 2.20.

Verifions maintenant la condition initiale. Soit f : Γ\H → R une fonctioncontinue a laquelle nous penserons comme une fonction sur H Γ-invariante.Supposons que le bord de F (le domaine fondamental de Γ) a un bord de mesurenulle (c’est par exemple le cas si F est un domaine de Dirichlet), alors

F

P (z, w, t)f(w)dµ(w) =∑

γ∈Γ

F

p(z, γw, t)f(w)dµ(w)

=∑

γ∈Γ

γ(F )

p(z, γw, t)f(w)dµ(w)

=

H

p(z, w, t)f(w)dµ(w),

et la condition initiale decoule de la propriete correspondante pour p.

Le cas non compact Nous supposons dans ce paragraphe que Γ est de co-volume fini mais non cocompact. Le domaine fondamental contient alors descusps ce qui complique la situation. Nous introduisons alors l’espace C(Γ\H)des fonctions cuspidales, c’est a dire l’ensemble des fonctions f : Γ\H → Clisses, bornees de termes constant nul dans chaque cusp.

Precisons cette derniere condition. Soit a un cusp du groupe Γ. Il existe alorsun element σa ∈ G tel que le groupe σ−1

aΓσa ait un cusp en l’infini et que

(σ−1a

Γσa)∞ =

(1 m0 1

): m ∈ Z

=: B.

En particulier, toute fonction f : H → C Γ-invariante, verifie

f

(σa

(1 m0 1

)z

)= f(σaz),

pour tout m ∈ Z ; on peut donc ecrire la decomposition en serie de Fourier

f(σaz) =∑

n

fan(y)e(nx), (2.50)

ou les coefficients sont donnes par

fan(y) =

∫ 1

0

f(σaz)e(−nx)dx.

Nous notons plus simplement fa la fonction fa0. Si f est lisse, alors la serie(2.50) converge absolument et uniformement sur les compacts. On dit qu’unetelle fonction a un terme constant nul dans chaque cusp si pour tout cusp a deΓ, fa ≡ 0.

Dans ce paragraphe nous supposons que le noyau invariant k est lisse et asupport compact.

Page 55: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.4. OPERATEURS INTEGRAUX SUR Γ\H 55

Proposition 2.23 L’operateur integral invariant L associe a k envoie C(Γ\H)dans lui-meme.

Demonstration. Il est clair que L envoie une fonction bornee sur une fonctionbornee (par une constante fois l’aire d’un disque de rayon fixe). Soit f ∈ C(Γ\H).Calculons le terme constant de Lf en un cusp a de Γ :

(Lf)a(y) =

∫ 1

0

Lf(σa

(1 t0 1

)z)dt =

∫ 1

0

(∫

H

k(σa

(1 t0 1

)z, w)f(w)dµ(w)

)dt

=

H

k(z, w)

(∫ 1

0

f(σa

(1 t0 1

)w)dt

)dµ(w) =

H

k(z, w)fa(Imw)dµ(w).

Donc si fa est identiquement nulle il en est de meme pour (Lf)a.

Examinons maintenant le noyau automorphe K(z, w). Soit F un domainefondamental de Γ que l’on fixe une bonne fois pour toute dans ce paragraphe.La complication par rapport au cas compact vient de ce que le noyau K n’estpas borne sur F × F , et ce quelle que soit la taille du support de k. La raisonen est que lorsque z et w tendent vers le meme cusp, la somme (2.47) tendvers l’infini. Pour remedier a ce probleme nous allons soustraire de K(z, w) lesparties principales

Ha(z, w) =∑

γ∈Γa\Γ

∫ ∞

−∞k(z, σa

(1 t0 1

)σ−1

aγw). (2.51)

La fonction Ha(z, w) est clairement Γ-invariante en la seconde variable. Un faitimportant que nous allons maintenant demontrer est que les parties principalesne changent en rien l’action de L sur C(Γ\H).

Lemme 2.24 Pour z, w ∈ H, on a uniformement

Ha(σaz, w) << 1 + Imz. (2.52)

Demonstration. En changeant w en σaw, il nous faut majorer l’expression

Ha(σaz, σaw) =∑

τ∈B\σ−1a

Γσa

∫ ∞

−∞k(z, t+ τw)dt.

Puisque la fonction k est a support compact, les domaines d’integration et desommation sont restreints au domaine |z − t − τw|2 << Im(z)Im(τw), cf. (8).Ce qui montre que Im(z) Im(τw), et l’integrale est un O(Imz).

Fait. Soit z ∈ H et Y > 0. On a

|τ ∈ B\σ−1a

Γσa : Im(τz) > Y | << 1 +1

Y, (2.53)

uniformement en z et Y .

En effet, le domaine fondamental de B est la bande

P = z = x+ iy : 0 < x < 1, y > 0.

Page 56: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

56 CHAPITRE 2. DECOMPOSITION SPECTRALE

Soit

D = z ∈ P : Im(z) > Im(γz) pour tout γ ∈ σ−1a

Γσa, γ /∈ B.

Nous laissons en exercice le soin de verifier que D est un domaine fondamentalde σ−1

aΓσa. Nous pouvons donc dorenavant supposer z ∈ D. Alors, pour tout

τ =

(∗ ∗c d

)∈ σ−1

aΓσa avec c > 0, on a |cz+d| ≥ 1. Puisque Im(τz) = y|cz+

d|−2 > Y , cela implique y > Y , c < y−1/2Y −1/2, |cx + d| < y1/2Y −1/2. Cettederniere inegalite implique alors que le nombre de paires c, d avec C ≤ c < 2Cest majoree par (const)Cy1/2Y −1/2 ou la constante ne depend que de σ−1

aΓσa

3.En ajoutant ces majorations pour C = 2−ny−1/2Y −1/2, n ≥ 1, on obtient quele nombre de τ recherches n’appartenant pas a B est majore par (const)Y −1.On conclut en ajoutant 1, la contribution de B.

On en deduit finalement de (2.53) que

Ha(σaz, σaw) <<

(1 +

1

Imz

)Imz = 1 + Imz.

Le Lemme 2.24 implique que la fonction Ha(z, w) est bornee en la secondevariable :

Proposition 2.25 Etant donne z ∈ H, la partie principale Ha(z, w) est, commefonction de w, orthogonal au sous-espace C(Γ\H), i.e.

〈Ha(z, .), f〉 = 0 si f ∈ C(Γ\H). (2.54)

Demonstration. En remplacant z par σaz, on obtient que

〈Ha(σaz, .), f〉 =

∫ +∞

0

∫ 1

0

(∫ +∞

−∞k(z, u+ iv + t)dt

)f(σa(u+ iv))

dvdu

v2

=

∫ +∞

0

(∫ +∞

−∞k(z, t+ iv)dt

)(∫ 1

0

f(σa(u+ iv))du

)v−2dv

= 0,

puisque 0 = fa(v) =∫ 1

0f(σa(u+ iv))du.

On definit la partie principale totale du noyauK(z, w) en additionnant toutesles parties principales Ha(z, w) correspondant a des cusps non equivalents :

H(z, w) =∑

a

Ha(z, w). (2.55)

Notons

K(z, w) = K(z, w) −H(z, w) (2.56)

la difference. appelee partie compacte du noyau K(z, w). Ceci definit un noyausur F ×F et donc un operateur integral L agissant sur les fonctions f : F → C.Il decoule de la Proposition 2.25 le

3Nous avons juste utilise que si c est fixe les d possibles sont uniformement eloignes envaleur absolue par une constante fois c−1.

Page 57: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.4. OPERATEURS INTEGRAUX SUR Γ\H 57

Corollaire 2.26 Si f ∈ C(Γ\H) on a Lf = Lf .

On montre de plus

Proposition 2.27 Supposons F polygonal et que les sommets a l’infini sontdeux a deux distincts modulo Γ. Le noyau K(z, w) est alors borne sur F × F .

Demonstration. Lorsque γ parcourt l’ensemble des elements non paraboliquesdans Γ, les points z et γw sont separes par une distance arbitrairement grandepour presque tout γ et uniformement en z, w ∈ F . Pour evaluer cette separation,il suffit de considerer le pavage de H par des copies F . Alors, et puisque k est asupport compact, on a

K(z, w) =∑

γ parabolique

k(z, γw) +O(1).

De la meme maniere et a l’aide du Lemme 2.24, on montre que tous les termesde (2.51) contribuent d’une quantite uniformement bornee sauf pour γ = 1. Onobtient ainsi que

Ha(z, w) =

∫ +∞

−∞k(z, σa

(1 t0 1

)σ−1

aw)dt +O(1).

En combinant ces deux expressions, on obtient que

K(z, w) =∑

a

Ja(z, w) +O(1),

ou Ja(z, w) est definie par

Ja(z, w) =∑

γ∈Γa

k(z, γw) −∫ +∞

−∞k(z, σa

(1 t0 1

)σ−1

aw)dt.

Il reste a montrer que Ja(z, w) est bornee sur F ×F . Nous allons en fait montrerqu’elle est bornee sur H × H. Nous appliquons pour cela la formule d’Euler-MacLaurin

b∈Z

F (b) =

∫F (t)dt+

∫ψ(t)dF (t),

ou ψ(t) = t− [t] − 1/2, pour obtenir

Ja(σaz, σaw) =∑

b∈Z

k(z, w + b) −∫ +∞

−∞k(z, w + t)dt

=

∫ +∞

−∞ψ(t)dk(z, w + t) <<

∫ +∞

0

|k′(u)|du << 1.

Page 58: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

58 CHAPITRE 2. DECOMPOSITION SPECTRALE

2.5 Rappels d’analyse fonctionnel

Rappelons que le but de ce Chapitre est la demonstration que le spectre dulaplacien ∆ est discret lorsque la surface Γ\H est compacte. La strategie estde deduire le Theoreme spectral pour ∆ du Theoreme spectral pour certainsoperateurs integraux qui eux sont des operateurs compacts. Nous commenconsdonc par quelques faits classiques sur les operateurs compacts.

Nous considerons H un espace de Hilbert separable, i.e. qui admet unebase orthonormee denombrable. Par exemple, l’espace des fonctions L2 sur unevariete riemannienne est un espace de Hilbert separable, des que l’on supposequ’il existe une famille denombrable d’ouverts disjoints Ui ⊂M telle que chaqueUi soit diffeomorphe a Rn et M −∪iUi soit de mesure nulle. C’est en particulierle cas si M = Γ\H.

Un operateur lineaire T : H → H est dit borne si son domaine est H toutentier et s’il existe une constante C telle que |Tx| ≤ C|x| pour tout x ∈ H. Dansce cas la pus petite constante C possible est appelee norme d’operateur de T , etnous la notons |T |. Un operateur T est borne si et seulement s’il est continue.Contrairement au cas des operateurs non bornes, pour un operateur borne il estequivalent d’etre symetrique ou auto-adjoint. Comme d’habitude, un vecteurpropre f ∈ H de T pour la valeur propre λ si f est un vecteur non nul ∈ H telque Tf = λf . Le scalaire λ etant fixe, l’ensemble des vecteurs propres de valeurpropre λ est appele λ-espace propre. Il est immediat que si T est un operateurborne auto-adjoint, alors ses valeurs propres sont toutes reelles et les espacespropres correspondant a des valeurs propres distinctes sont orthogonaux. Deplus, si V ⊂ H est un sous-espace tel que T (V ) ⊂ V , il est facile de voir queT (V ⊥) ⊂ V ⊥.

Un operateur T : H → H est compact si T envoie les ensembles bornes sur desensembles bornes. Si H est separable, un sous-ensemble de H est compact si etseulement s’il est sequentiellement compact, l’operateur T est donc compact si etseulement si pour toute suite de vecteurs normes xn ∈ H, il existe une sous-suiteyn telle que la suite T (yn) converge. Un operateur compact est automatiquementborne et donc continue.

Theoreme 2.28 (Theoreme spectral pour les operateurs compacts) SoitT un operateur compact auto-adjoint sur un espace de Hilbert separable H. Alorsl’espace H admet une base orthonormee φi (i = 1, 2, 3, . . .) de vecteurs propresde T , tels que Tφi = λiφi. La suite de valeurs propres λi tend vers 0 quandi→ +∞.

Puisque la suite de valeurs propres tend vers 0, si λ est une valeur proprenon nulle, il decoule du Theoreme 2.28 que le λ-espace propre est de dimensionfini.Demonstration. Elle repose sur l’egalite

|T | = sup06=x∈H

|〈Tx, x〉|〈x, x〉 . (2.57)

Pour demontrer ceci, designons par B le membre de droite. Si x est un vecteurnon nul ∈ H,

|〈Tx, x〉| ≤ |Tx| · |x| ≤ |T | · |x|2 = |T | · 〈x, x〉,

Page 59: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.5. RAPPELS D’ANALYSE FONCTIONNEL 59

donc B ≤ |T |. Montrons l’autre inegalite. Soit λ > 0 une constante que nouschoisirons convenablement plus tard. En utilisant l’egalite 〈T 2x, x〉 = 〈Tx, Tx〉,on a

〈Tx, Tx〉 =1

4|〈T (λx+ λ−1Tx), λx+ λ−1Tx〉

−〈T (λx− λ−1Tx), λx− λ−1Tx〉|

≤ 1

4[|〈T (λx+ λ−1Tx), λx+ λ−1Tx〉|

+|〈T (λx− λ−1Tx), λx− λ−1Tx〉|]

≤ 1

4[B〈λx + λ−1Tx, λx+ λ−1Tx〉

+B〈λx− λ−1Tx, λx− λ−1Tx〉]

=B

2[λ2〈x, x〉 + λ−2〈Tx, Tx〉].

En posant λ =√|Tx|/|x|, on obtient

|Tx|2 = 〈Tx, Tx〉 ≤ B|x||Tx|,

d’ou |Tx| ≤ B|x|, ce qui implique que |T | ≤ B. L’equation (2.57) est doncdemontree.

Nous montrons maintenant le Theoreme. Soit Σ l’ensemble de tous les sous-ensembles de vecteurs propres orthonormes de T dans H. Ordonnons Σ parl’inclusion. Le Lemme de Zorn implique alors l’existence d’un element maximalS. Montrons que S est une base de H. Soit V l’adherence du sous-espace en-gendre par les vecteurs de S. Nous devons montrer que V = H. Soit H0 = V ⊥ ;nous voulons montrer que H0 = 0. Remarquons que H0 est stable sous T etque T induit un operateur compact auto-adjoint sur H0. Supposons par l’ab-surde H0 6= 0 ; si nous montrons que T admet un vecteur propre dans H0, celacontredira la maximalite de S. Il est donc suffisant de montrer qu’un operateurcompact auto-adjoint sur un espace de Hilbert non nul admet un vecteur propre.

Nous sommes donc reduits a la tache plus simple de montrer que T admetun vecteur propre. D’apres l’equation (2.57), il existe une suite x1, x2, x3, . . . devecteurs unites tels que |〈Txi, xi〉| → |T |. Remarquons que si x ∈ H, on a

〈Tx, x〉 = 〈x, Tx〉 = 〈Tx, x〉.

Les nombres 〈Txi, xi〉 sont donc reels ; quitte a extraire nous pouvons doncsupposer que 〈Txi, xi〉 → λ, ou λ = ±|T |. Si λ = 0 alors T est l’operateurnul, qui a evidemment des vecteurs propres, nous pouvons donc supposer λ 6= 0.Puisque T est compact, quitte a extraire encore une fois, nous pouvons supposerque la suite Txi converge vers un vecteur v. Nous allons montrer que xi → λ−1v.

Remarquons d’abord que

|〈Txi, xi〉| ≤ |Txi||xi| = |Txi| ≤ |T ||xi| = λ,

et puisque 〈Txi, xi〉 → λ, on a |Txi| → |λ|. Mais

|λxi − Txi|2 = 〈λxi − Txi, λxi − Txi〉 = λ2|xi|2 + |Txi|2 − 2λ〈Txi, xi〉,

et puisque |xi| = 1, |Txi| → |λ|, 〈Txi, xi〉 → λ, ca tend vers 0. Puisque Txi → v,la suite λxi converge elle aussi vers v, et xi → λ−1v. Par continuite, Txi →

Page 60: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

60 CHAPITRE 2. DECOMPOSITION SPECTRALE

λ−1Tv et donc v = λ−1Tv. Ce qui prouve que v est un vecteur propre devaleur propre λ et donc que l’espace H admet une base orthonormee de vecteurspropres.

Soit maintenant φ1, φ2, . . . cette base orthonormee, qui est denombrable carnous supposons H separable, et soit λi la suite des valeurs propres correspon-dantes. Nous voulons montrer que λi → 0. Sinon, il existe une constante ε > 0et une sous-suite φ′i de la suite φi telle que |Tφ′i| > ε. Puisque les Tφ′i sontorthogonaux, ceci implique que la suite Tφ′

i n’a aucune sous-suite convergente,alors que les φ′i sont bornes. Ceci est en contradiction avec le fait que T est unoperateur compact.

Lemme 2.29 Soit T un operateur borne sur l’espace de Hilbert H. Supposonsque pour tout ε > 0 il existe un operateur compact Tε tel que |T −Tε| < ε. AlorsT est compact.

Demonstration. Soit xn une suite de vecteurs unites dans H. Nous allons construirepar recurrence des suites xr,1, xr,2, xr,3, . . . pour r = 0, 1, 2, 3, . . . telles que

1. x0,i = xi ;

2. xr+1,1, xr+1,2, xr+1,3, . . . est une sous-suite de xr,1, xr,2, xr,3, . . . ; et

3. |Txr,i − Txr,j | < 1r pour 1 ≤ i, j ∈ Z.

Montrons que ceci implique le Lemme. Posons yi = xi,i ; c’est une sous-suitede xi qui est de Cauchy par construction, elle est donc convergente et l’operateurT est un operateur compact.

Supposons donc la suite xr−1,1, xr−1,2, xr−1,3, . . . construite. Soit T1/3r un

operateur compact tel que |T −T1/3r| < 13r . Puisque T1/3r est compact, la suite

T1/3r(xr−1,i) a une sous-suite convergente ; puisque celle-ci est de Cauchy, on

peut trouver une sous-suite xr,i telle que |T1/3r(xr,i)−T1/3r(xr,j)| < 13r . Alors,

|T (xr,i) − T (xr,j)| ≤ |T (xr,i) − T1/3r(xr,i)| + |T1/3r(xr,i) − T1/3r(xr,j)|+|T1/3r(xr,j) − T (xr,j)| ≤ 1

3r + 13r + 1

3r = 1r .

Ce qui conclut la demonstration du Lemme 2.29.

Theoreme 2.30 (Hilbert-Schmidt) Soit X un espace localement compactequipe d’une mesure borelienne positive, et supposons que H = L2(X) est unespace de Hilbert separable. Soit K ∈ L2(X ×X). Alors l’operateur

(Tf)(x) =

X

K(x, y)f(y)dy (2.58)

est un operateur compact sur H.

Demonstration. Soit φ1, φ2, φ3, . . . une base orthonormee de H. Exprimons lenoyau K dans la base φi :

K(x, y) =∑

fi(x)φi(y), fi(x) =

X×X

K(x, y)φi(y)dy,

Page 61: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.6. DEMONSTRATION DU THEOREME SPECTRAL 61

ou la convergence est au sens de la norme dans L2(X × X). On en deduitimmediatement

i

|fi|2 =

X

K(x, y)K(x, y)dxdy < +∞ (2.59)

puisque K ∈ L2(X ×X).Nous allons appliquer le Lemme 2.29. Si N est un entier strictement positif,

soit

KN(x, y) =N∑

i=1

fi(x)φi(y),

et soit TN l’operateur integral correspondant

(TNf)(x) =

X

KN (x, y)f(y)dy.

L’operateur TN est compact. En fait il est de rang fini : son image est l’espacede dimension finie engendre par f1, . . . , fN , l’image de la boule unite est doncclairement compacte.

D’apres le Lemme 2.29 il nous suffit donc de montrer que |T − TN | → 0quand N → +∞. Soit φ ∈ H de norme 1. On peut alors ecrire

φ =∑

anφn,∑

|an|2 = 1.

Maintenant (T −TN)φ =∑

n>N anfn, et d’apres l’inegalite de Cauchy-Schwarz,

|(T − TN)φ| ≤∑

n>N

|an||fn| ≤(∑

n>N

|an|2)1/2(∑

n>N

|fn|2)1/2

≤(∑

n>N

|fn|2)1/2

,

et donc |T − TN | ≤ (∑

n>N |fn|2)1/2 → 0 quand N → +∞ d’apres (2.59).

2.6 Demonstration du Theoreme spectral

Commencons par supposer la surface Γ\H compacte. Le Theoreme d’Hilbert-Schmidt s’applique alors a tout noyau automorphe K : Γ\H × Γ\H → C pourmontrer que toute fonction f dans l’adherence de l’image de l’operateur L definiau §2.4 par

(Lf)(z) =

Γ\H

K(z, w)f(w)dµ(w),

se developpe en

f =∑

j≥0

〈f, uj〉uj(z). (2.60)

Ici ujj≥0 est un systeme orthonorme maximal de fonctions propres de L dansL2(Γ\H). De plus, le sous-espace propre associe a une valeur propre non nulle

Page 62: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

62 CHAPITRE 2. DECOMPOSITION SPECTRALE

de L est de dimension finie, puisque L et ∆ commutent et que le laplacien estun operateur symetrique, on en deduit que sur l’intersection de C∞(Γ\H) avecl’image de L, on a un developpement (2.60) ou les fonctions uj ∈ D(Γ\H) sontdes fonctions propres du laplacien.

Pour demontrer le Theoreme spectral il suffirait donc de choisirK (ou plutotk) convenablement de maniere a ce que l’image L(C∞(Γ\H)) soit dense dansC∞(Γ\H).

Plus simplement, nous utiliserons le lemme suivant.

Lemme 2.31 Soit f ∈ L2(Γ\H) non nulle. Soit ε un reel strictement positiffixe. Il existe alors un noyau automorphe K (associe a une fonction a supportcompacte k) tel que |Tf −f | < ε, ou T est l’operateur integral associe au noyauK. En particulier, si ε < |f |, cela implique que Tf 6= 0.

Demonstration. Commencons par penser a la fonction f comme a une fonction∈ L2(Γ\G) 4 (K-invariante a droite). Notons Rg l’operateur sur les fonctions deG :

(Rgf)(z) = f(zg).

L’application g 7→ Rgf est continue de G dans L2(Γ\G) (il suffit de tester lacontinuite sur le sous-espace dense des fonctions continues sur Γ\G, qui sontuniformement continues puisque Γ est cocompact). Il existe donc un voisinageU de l’identite dans G tel que |Rgf − f | < ε pour tout g ∈ U .

Rappelons que notre but est de construire un noyau a support compact ktel que |Tf − f | < ε. L’idee est qu’un noyau invariant k peut-etre pense commeune fonction G × G → C invariante sous l’action diagonale a gauche de G surG×G et sous l’action a droite de K×K sur G×G. On peut donc naturellementassocier a un noyau invariant une fonction φ : G→ C definie par φ(g) = k(e, g).Celle-ci est a support compact dansG si et seulement si k est a support compact.De plus

φ(kgl) = φ(g) pour tout k, l ∈ K. (2.61)

Et reciproquement toute fonction φ : G→ C a support compact verifiant (2.61)induit un noyau invariant a support compact : k(g.i, g′.i) = φ(g−1g′) et alors

H

k(·, w)f(w)dµ(w) =

G

φ(g)Rgfdg . (2.62)

Soit d’abord φ une fontion a support compact contenu dans UK, a valeursreelles positives et telle que

∫Gφ(g) = 1 (normalisee). On a alors

∣∣∫Gφ(g)Rgfdg − f

∣∣ =∣∣∫

Gφ(g)(Rgf − f)dg

∣∣≤

∫G φ(g)|Rgf − f |dg < ε.

(2.63)

Remarquons enfin que quitte a remplacer φ par∫

Kφ(.k)dk, on peut de plus

supposer φ K-invariante a droite.Il s’agit maintenant de choisir φ plus soigneusement de maniere a ce que

(2.61) soit verifiee. Montrons d’abord qu’il existe un voisinage V de l’identitedans G tel que kV k−1 ⊂ U pour tout k ∈ K ; en effet, l’application σ : G ×

4La mesure (de Haar) dg sur G est la mesure au-dessus de µ sur H qui est egale a mesureusuelle dθ sur le cercle SO(2) = K.

Page 63: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.6. DEMONSTRATION DU THEOREME SPECTRAL 63

K → G definie par (g, k) 7→ kgk−1 est continue, donc σ−1(U) est ouvert dansG×K. Il est clair que (1, k) ∈ σ−1(U) pour tout k ; il existe donc un voisinageouvert de ce point de la forme Vk ×Wk contenu dans σ−1(U), ou Vk ⊂ G etWk ⊂ K sont ouverts. Les ouverts Wk forment un recouvrement ouvert ducompact K dont on peut donc extraire un sous-recouvrement fini Wk1

, . . . ,Wkr .Soit V = Vk1

∩ . . . ∩ Vkr . Alors kV k−1 ⊂ U pour tout k ∈ K. Soit maintenantφ1 une fonction reelle positive, normalisee, a support compact inclus dans V ettelle que φ1(g) = φ1(g

−1), et soit

φ(g) =

K

φ1(kgk−1)dk.

Alors φ est une fonction reelle positive, normalisee, a support compact contenudans UK, qui verifie φ(g) = φ(g−1) et (2.61). Le Lemme decoule alors immediatementde (2.62) et (2.63).

Proposition 2.32 Soit H un sous-espace de Hilbert non nul de L2(Γ\H), in-variant par tous les operateurs integraux invariants. Il existe alors une fonctionnon nulle f ∈ H ∩ C∞(Γ\H) qui est fonction propre du laplacien.

Demonstration. La propriete cruciale est que les operateurs invariants com-mutent au laplacien. Soit f0 un vecteur non nul dans H. D’apres le Lemme2.31, il existe un operateur integral invariant T tel que Tf 6= 0. D’apres leTheoreme 2.30, l’operateur T induit un operateur compact auto-adjoint non nulsur le sous-espace ferme H, qui est regularisant des que k est lisse (on peut eneffet alors choisir φ lisse). D’apres le Theoreme spectral pour les operateurs com-pacts, l’operateur T admet un vecteur propre non nul de valeur propre associeeλ 6= 0, de plus le sous-espace λ-propre est de dimension finie. Puisque ∆ com-mute avec T , ce sous-espace propre est invariant sous l’action de ∆, et puisquetoute transformation lineaire d’un espace vectoriel de dimension fini admet unvecteur propre non nul, un vecteur du λ-espace propre de T est egalement unvecteur propre de ∆.

Nous en deduisons maintenant la premiere partie du Theoreme spectral, asavoir que l’espace L2(Γ\H) se decompose en une somme directe (hilbertienne)de sous-espaces propres pour ∆.

En effet, soit Σ l’ensemble des tous les ensembles S de sous-espaces proprespour ∆ tels que deux elements de S soient mutuellement orthogonaux. D’apres leLemme de Zorn, Σ a un element maximal S. Soit H le suppementaire orthogonalde l’adherence de la somme directe de tous les elements de S. Si H 6= 0, laProposition 2.32 montrer qu’il existe un sous-espace de H propre pour ∆, ce quicontredit la maximalite de S.

Exercice 2.33 En s’inspirant des demonstrations du Lemme 2.31 et de lapremiere partie du Theoreme spectral, montrer plus generalement que siG est ungroupe topologique localement compact et Γ un sous-groupe discret cocompactdans G, l’espace L2(Γ\G) se decompose en une somme directe (hilbertienne) desous-espaces invariants et irreductibles sous la representation reguliere droite deG.

Page 64: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

64 CHAPITRE 2. DECOMPOSITION SPECTRALE

Nous nous preoccupons maintenant de montrer que la suite des valeurspropres λi de ∆ tend vers l’infini. Pour cela notons Pt l’operateur integral inva-riant associe au noyau de la chaleur pt ; c’est un operateur compact auto-adjointregularisant. On verifie de plus facilement que

Ps Pt = Ps+t. (2.64)

En particulier Ps Pt = Pt Ps et Pt = Pt/2 Pt/2. Puisque Pt est auto-adjointcette derniere identite implique immediatement que chaque operateur Pt estpositif.

Lemme 2.34 Pour tout f ∈ L2(Γ\H) on a, au sens L2,

limt↓0

Ptf = f.

Demonstration. Supposons d’abord f continue. La fonction Ptf est solution del’equation de la chaleur et donc

d

dt

Γ\H

(Ptf)2dµ = −2

Γ\H

(Ptf)∆(Ptf)dµ ≤ 0,

autrement dit ddt ||Ptf || ≤ 0, ou ||.|| est la norme L2 sur Γ\H. Puisque f est

continue et par definition de Pt, limt↓0 Ptf = f uniformement sur Γ\H. Donc||Ptf || ≤ ||f ||. Puisque C0(Γ\H) est dense dans L2(Γ\H) et que le noyau de lachaleur Pt est continu, on a

||Ptf || ≤ ||f || pour tout f ∈ L2(Γ\H).

Le Lemme s’en deduit en utilisant encore une fois la densite de C0(Γ\H) dansL2(Γ\H).

Appliquons maintenant le Theoreme d’Hilbert-Schmidt a chacun des operateursPt. Commencons avec t = 1 et soit

ϕ0, ϕ1, ϕ2, . . .

un systeme orthonorme complet dans L2(M) constitue de fonctions propres deP1 de valeurs propres correspondantes

η0, η1, η2, . . . ≥ 0; ηj → 0 quand j → ∞.

Les ϕj sont fonctions propres de tous les operateurs Pt. En effet, consideronstout d’abord t = 1/k avec k ∈ N∗. Si ϕ est une fonction propre de P1/k de valeur

propre µ, alors, puisque P1 = (P1/k)k, la fonction ϕ est une fonction propre de

P1 de valeur propre µk. Puisque le systeme de sous-espaces propres pour P1

est complet, l’operateur P1/k admet le meme systeme orthonorme complet de

fonctions propres. Les valeurs propres correspondantes sont η1/k0 , η

1/k1 , η

1/k2 , . . ..

D’apres (2.64) les fonctions ϕj sont alors des fonctions propres de Pt de valeurspropres correspondantes ηt

j pour tous les rationnels t > 0. Par continuite dunoyau de la chaleur on a alors

Ptϕj = ηtjϕj , j = 0, 1, 2, . . . ,

Page 65: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.6. DEMONSTRATION DU THEOREME SPECTRAL 65

pour tout t > 0. D’apres le Lemme 2.34, limt↓0 Ptϕj = ϕj , de telle maniere queηt

j → 1 lorsque t ↓ 0. On en deduit que

ηj > 0 pour tout j.

Puisque le noyau Pt est regularisant, les fonctions ϕj ∈ C∞(Γ\H). Par compa-cite de l’operateur P1 tous les sous-espaces propres sont de dimension finie. Nouspouvons donc supposer que les valeurs propres sont ranges en ordre decroissant.Montrons que

1 = η0 > η1 ≥ η2 ≥ . . . > 0.

Il est clair que la fonction constante egale a 1 est une solution de l’equation de lachaleur, c’est donc une fonction propre des operateurs Pt pour la valeur propre1. Considerons maintenant ϕj une fonction propre de P1 non constante. On a

d

dt||Ptϕj ||2 = −2

Γ\H

(Ptϕj)∆(Ptϕj)dµ

= −2η2tj

Γ\H

ϕj∆ϕjdµ < 0.

Ici nous avons utilise que ηj > 0 et que si f non constante 〈f,∆f〉 = 〈L0f, L0f〉 >0. On en deduit que ||Ptϕj || < ||ϕj || et donc que ηj < 1.

Nous pouvons maintenant demontrer le Theoreme spectral. Nous demontronsplus precisemment le theoreme suivant.

Theoreme 2.35 (Theoreme spectral) Soit S = Γ\H une surface hyperbo-lique compacte. Le probleme spectral

∆ϕ = λϕ

admet un systeme orthonorme complet de fonctions propres C∞ ϕ0, ϕ1, . . . dansL2(S) de valeurs propres correspondantes λ0, λ1, . . .. Celles-ci ont de plus lesproprietes suivantes.

1. 0 = λ0 < λ1 ≤ λ2 ≤ . . ., λn → +∞ quand n→ +∞.

2. PΓ(z, w, t) =∑∞

n=0 e−λntϕn(z)ϕn(w), ou la serie converge uniformement

sur S × S pour chaque t > 0.

Demonstration. Nous conservons les notations ci-dessus et posons

λj = − log ηj , j = 0, 1, 2, . . . .

De l’equation

0 = ∆Ptϕj +∂

∂tPtϕj

= e−tλj (∆ϕj − λjϕj)

il decoule que les ϕj sont fonctions propres de laplacien, ainsi que le point 1.du Theoreme. Le point 2. du Theoreme au sens L2 decoule du Theoreme deHilbert-Schmidt, la convergence uniforme pour tout t > 0 se deduit alors d’untheoreme general (sur les noyaux) de Mercer. Nous l’admettons ici car nous n’enaurons pas besoin.

Dans le cas general ou la surface Γ\H est de volume fini mais n’est pasnecessairement compacte, nous nous contenterons du theoreme suivant.

Page 66: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

66 CHAPITRE 2. DECOMPOSITION SPECTRALE

Theoreme 2.36 Soit S = Γ\H une surface hyperbolique de volume fini. Leprobleme spectral

∆ϕ = λϕ (ϕ ∈ C(Γ\H))

admet un systeme orthonorme complet de fonctions propres.

Demonstration. C’est la premiere partie du Theoreme spectral, la demonstrationque nous en avons donne plus dans le cas compacte (cf. apres la Proposition2.32), se generalise mot a mot en remplacant l’espace L2(Γ\H) par C(Γ\H) eten utilisant le Corollaire 2.26 et la Proposition 2.27.

Remarquons que dans le cas non compact, il n’y a a priori aucune raisonpour que l’espace C(Γ\H) soit different de 0. A l’aide de la formule des traces(que nous ne demontrerons dans le prochain chapitre que dans le cas compact),Selberg a demontre que cet espace est non trivial lorsque Γ est commensurablea SL(2,Z) (cf. [7] pour plus de details). Dans le cas non arithmetique uneconjecture de Philips et Sarnak predit C(Γ\H) = 0 pour un Γ “generique”.

2.7 Le principe du minimax

Une meilleure comprehension geometrique du spectre du laplacien passe parle principe du minimax que nous decrivons maintenant. Soit S = Γ\H unesurface hyperbolique compacte. Pour k = 0, 1, . . . nous notons λk(S) la k-iemevaleur propre du laplacien sur S.

Theoreme 2.37 (Principe du minimax) 1. Soient f0, . . . , fk ∈ C∞(S)k fonctions de norme (L2) egale a 1 et telles que les supports des fi serencontrent deux a deux suivant des ensembles de mesure nulle dans S.Alors

λk(S) ≤ max0≤j≤k

||L0fj ||2L2(S).

2. Soit M = N1 ∪ . . . ∪ Nk une partition en sous-ensembles compacts demesure > 0 et deux a deux disjoints (au sens de la mesure). Posons

ν(Nj) = inf

Nj

||L0f ||2dµ,

ou f parcourt l’ensemble des fonctions lisses telles que∫

Nj

f2dµ = 1 et

Nj

fdµ = 0.

Alorsλk(S) ≥ min

1≤j≤kν(Nj).

Demonstration. Soit ϕ0, ϕ1, . . . un systeme orthonorme complet de fonctionspropres C∞ de valeurs propres correspondantes λ0(S), λ1(S), . . .. Puisque lesfj dans 1. sont lineairement independantes, on peut former une combinaisonlineaire f = β0f0 + . . . + βkfk de norme (L2) egale a 1 et orthogonale auxfonctions ϕ0, . . . , ϕk−1. Soit αj le “coefficient de Fourier”

αj =

S

fϕjdµ.

Page 67: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.7. LE PRINCIPE DU MINIMAX 67

Pour tout m > k, on a :

||L0f ||2L2(S) −m∑

j=k

α2jλj =

S

f∆fdµ−∫

S

(

m∑

j=k

αjϕj)(

m∑

j=k

αjλjϕj)dµ

=

S

(f −m∑

j=k

αjϕj)∆(f −m∑

j=k

αjϕj)dµ

= ||L0(f −m∑

j=k

αjϕj)||2L2(S) ≥ 0.

Ici λj(S) ≥ λk(S), et d’apres le Theoreme de Parseval

+∞∑

j=k

α2j = 1.

Puisque les supports des fj se rencontrent deux a deux suivant des ensemblesde mesure nulle et que le norme L2 de f est egale a 1,

k∑

i=0

β2i = 1,

d’ou l’on deduit que

λk(S) ≤ ||L0f ||2L2(S) =k∑

i=0

β2i ||L0fi||2L2(S)

≤ max0≤j≤k

||L0fj ||2L2(S).

Ce qui demontre le premier point.Pour demontrer le point 2. nous travaillons dans L2(S). Soit χj la fonction

caracteristique du sous-ensemble Nj ⊂ S. Considerons la combinaison lineaireϕ = α0ϕ0 + . . . + αkϕk de norme L2 egale a 1 et orthogonale aux fonctionsχ1, . . . , χk. Alors, pour j = 1, . . . , k,

Nj

ϕdµ = 0.

Par definition de ν(Nj), on a alors :

Nj

||L0ϕ||2dµ ≥ ν(Nj)

Nj

ϕ2dµ

et donc ∫

S

||L0ϕ||2dµ ≥ min1≤j≤k

ν(Nj).

D’un autre cote, puisque

S

ϕ2dµ = α20 + . . .+ α2

k = 1,

Page 68: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

68 CHAPITRE 2. DECOMPOSITION SPECTRALE

on a : ∫

S

||L0ϕ||2dµ =

S

ϕ∆ϕdµ =k∑

j=0

λj(S)α2j ≤ λk(S).

Nous pouvons maintenant deduire du premier point du principe du minimaxle critere suivant d’existence de petites valeurs propres.

Proposition 2.38 Soit S un surface hyperbolique compacte reunion de deuxsous-ensembles compacts connexes A et B ne s’intersectant que le long d’unereunion finie ∪k

i=1γi de geodesiques simples fermees. Notons

h =

∑ki=1 `(γi)

min(aire(A), aire(B)).

Soit ε un reel strictement positif tel que le ε-voisinage de chaque geodesique γi

soit plongee dans S. Il existe alors une constante C = C(ε) ne dependant quede ε telle que

λ1(S) ≤ C(h+ h2).

Demonstration. D’apres le Principe de minimax, il nous suffit pour majorerλ1(S), de majorer le quotient ||L0f ||2L2(S)/||f ||2L2(S) pour une fonction test fbien choisie a support dans A ou dans B. Supposons par exemple

h =

∑ki=1 `(γi)

aire(A).

Notons X = ∪ki=1γi le bord de A. Soit

A(t) = p ∈ A : dist(p,X) ≤ tet posons pour t suffisamment petit :

f(p) =

1t dist(p,X) si p ∈ A(t),1 si p ∈ A−A(t).

Nous laissons en exercice de verifier que la fonction f verifie |L0f |2 ≤ t−2 surA(t) et |L0f | = 0 sur A − A(t). Il nous faut donc estimer le volume de A(t).Mais, dans les coordonnees de Fermi et pour t suffisamment petit (≤ ε), onobtient immediatement

aire(A(t)) ≤k∑

i=1

`(γi)

∫ t

0

cosh τdτ =

k∑

i=1

`(γi) sinh t.

Alors pour t = min(ε, argsh(1/2h)), le quotient

||L0f ||2L2(S)/||f ||2L2(S) ≤∑k

i=1 `(γi) sinh t

t2(aire(A) −∑ki=1 `(γi) sinh t)

≤ h sinh t

t1(1 − h sinh t)

≤ C(h+ h2).

Remarque. Il se trouve que la constante C peut etre choisie uniforme, cf. [2]pour un resultat bien plus general.

Page 69: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

2.7. LE PRINCIPE DU MINIMAX 69

Corollaire 2.39 Soit S une surface hyperbolique compacte. Pour tout reel ε >0, la surface S admet un revetement fini S ′ dont la premiere valeur non nulle

λ1(S′) ≤ ε.

Demonstration. La surface S est de genre ≥ 1, son groupe fondamental se sur-jecte donc sur le groupe Z, formons SN le revetement cyclique de degre 2Nau-dessus de S. Il existe alors une geodesique fermees γ ⊂ S et deux releves γ1

et γ2 de γ dans SN telles que la reunion γ1 ∪ γ2 decoupe la surface SN en deuxmorceaux A et B chacun constitue de N domaines fondamentaux pour l’actiondes transformations de revetement de SN sur S. La Proposition 2.38 impliquealors qu’il existe une constante C uniforme en N telle que

λ1(SN ) ≤ C

(2`(γ)

Naire(S)+

4`(γ)2

N2aire(S)2

).

Et le Corollaire s’en deduit immediatement.

La Conjecture de Ramanujan-Selberg que nous enoncons maintenant estd’autant plus surprenante.

Conjecture 2.40 Soient a, b et N des entiers strictement positif. Alors, lapremiere valeur propre non nulle du laplacien dans C(Γa,b(N)\H),

λ1(Γa,b(N)\H) ≥ 1/4.

Les revetements de congruence des varietes arithmetiques sont donc tresspeciaux du point de vu du spectre et en tout cas a l’oppose des revetementscycliques. (Tout ceci est lie a la minoration uniforme, le 1/4 a quant a lui unsens arithmetique plus profond sur lequel nous reviendrons plus loin.)

Dans le cas de la surface modulaire, la conjecture est demontre pour lesgroupes de petit niveau.

Theoreme 2.41 Soit Γ = SL(2,Z). Alors,

λ1(Γ\H) ≥ 1/4.

Demonstration. Notons D = D(1) le domaine fondamental standard du groupemodulaire. Soit u ∈ C(Γ\H) de norme L2 egale a 1 telle que

λ1(Γ\H) = λ :=

D

|L0u|2dµ.

Notons

F = z : |x| < 1/2, y >√

3/2.Le sous-ensemble F est contenu dans la reunion de D et de son translate par(

−11

)∈ Γ. On a donc

2λ ≥∫ +∞

√3/2

∫ 1

0

|L0u|2dµ.

Page 70: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

70 CHAPITRE 2. DECOMPOSITION SPECTRALE

La fonction u(z) est 1-periodique en y, on peut donc la decomposer en serie deFourier

u(z) =∑

n6=0

cn(y)e(nx).

On a alors,

(L0u)(z) = −iy∑

n6=0

2πncn(y)e(nx) + y∑

n6=0

c′n(y)e(nx).

Et,

∫ +∞

√3/2

∫ 1

0

|L0u|2dµ ≥∫ +∞

√3/2

n6=0

|2πncn(y)|2dy

≥ 3π2

∫ +∞

√3/2

n6=0

|cn(y)|2y−2dy

≥ 3π2

∫ +∞

√3/2

∫ 1

0

|u(z)|2dµ(z)

≥ 3π2

D

|u(z)|2dµ(z).

D’ou l’on deduit 2λ ≥ 3π2 et donc λ ≥ 1/4.

Page 71: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Chapitre 3

Formules des traces de

Selberg

3.1 La formule des traces dans un cadre general

Soit G un groupe topologique localement compact et Γ un sous-groupe dis-cret cocompact dans G. Nous supposons G unimodulaire, i.e. toute mesure surG invariante a gauche est egalement invariante a droite. Par unicite de la me-sure de Haar il n’est pas difficile de verifier que les groupes classiques SL(n,R),U(n,R), SO(p, q,R) sont unimodulaires, un theoreme de Borel permet de plusde montrer que ces groupes contiennent tous un sous-groupe discret cocom-pact. Nous avons evidemment rencontre de tels exemples dans le cas du groupeSL(2,R).

Supposons dorenavant que G est un sous-groupe ferme unimodulaire deGL(r,R). Soit H0 l’espace de Hilbert

H0 = L2(Γ\G).

Rappelons que l’on peut definir une structure de G-module sur H0 en faisantagir G par la representation reguliere droite R sur H0 definie par

(R(g)ϕ)(x) = ϕ(xg), (x, g ∈ G, ϕ ∈ H0).

Soit f ∈ C∞c (G), notons

R(f) =

G

f(g)R(g)dg.

Alors R(f) definit un operateur sur H0 de la maniere suivante :

(R(f)ϕ)(x) =

G

f(g)(R(g)ϕ)(x)dg, (ϕ ∈ H0)

=

G

f(g)ϕ(xg)dg

=

G

f(x−1g)ϕ(g)dg,

71

Page 72: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

72 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

ou la derniere egalite decoule de l’invariance a gauche de dg. Le Theoreme deFubini implique alors que

(R(f)ϕ)(x) =

Γ\G

γ∈Γ

f(x−1γg)ϕ(γg)

dg

=

Γ\G

γ∈Γ

f(x−1γg)

ϕ(g)dg

=

Γ\G

K(x, g)ϕ(g)dg,

ouK(x, y) =

γ∈Γ

f(x−1γy) (x, y ∈ G).

Cette somme finie est appelee noyau de Selberg.Nous collectons quelques proprietes triviales du noyau de Selberg dans le

lemme suivant.

Lemme 3.1 Le noyau de Selberg verifie les proprietes suivantes :

1. K(γ1x, γ2y) = K(x, y), (γ1, γ2 ∈ Γ).

2. La fonction K est lisse sur la variete compacte Γ\G× Γ\G.

3. L’operateur R(f) est un operateur integral de noyau K(x, y).

D’apres le Theoreme d’Hilbert-Schmidt, l’operateur R(f) est un operateurcompact. Le Theoreme spectral pour les operateurs compacts implique donc quel’espace H0 admet une base orthonormee φi (i = 1, 2, 3, . . .) de vecteurs propresde R(f), tels que R(f)φi = λiφi. La suite de valeurs propres λi tend vers 0quand i→ +∞. Le noyau K s’exprime alors dans la base φi par :

K(x, y) =∑

λiφi(x)φi(y)

au sens L2. On en deduit immediatement que

Γ\G

K(x, x)dx =

+∞∑

i=1

λi

et en particulier que cette derniere somme converge. Cette expression est natu-rellement appelee trace de l’operateur R(f).

On peut deduire de tout ceci une premiere formulation de la formule destraces de Selberg :

tr R(f) =

Γ\G

K(x, x)dx =

Γ\G

γ∈Γ

f(x−1γx)dx, (3.1)

ou f ∈ C∞c (G). Cette formule peut prendre d’autres formes plus commode a

utiliser, que l’on derive dans la suite. Notons γ la classe de conjugaison d’unelement γ dans Γ, et Γγ = γ1 ∈ Γ : γ1γγ

−11 = γ le centralisateur de γ dans

Γ. Alors,

tr R(f) =

Γ\G

γ

δ∈Γγ\Γf(x−1δ−1γδx)dx.

Page 73: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.1. LA FORMULE DES TRACES DANS UN CADRE GENERAL 73

En utilisant la finitude de la somme interieure on obtient

tr R(f) =∑

γ

Γ\G

δ∈Γγ\Γf(x−1δ−1γδx)dx.

En remplacant alors la somme interieure par une integrale contre une mesurede comptage dδ, on obtient

tr R(f) =∑

γ

Γ\G

Γγ\Γf(x−1δ−1γδx)dδdx.

Le changement de variable t = δx implique donc

tr R(f) =∑

γ

Γγ\G

f(t−1γt)dt.

Posons maintenant Gγ = u ∈ G : γu = uγ le centralisateur de γ dans G.Alors l’egalite ci-dessus s’ecrit

tr R(f) =∑

γ

Gγ\G

Γγ\Gγ

f(t−1u−1γut)dudt,

ou u ∈ Gγ . Nous obtenons finalement un nouvelle forme de la formule des traces

de Selberg , en posant x = ut. A savoir,

tr R(f) =∑

γvol(Γγ\Gγ)

Gγ\G

f(x−1γx)dx, (3.2)

Il n’est pas clair que les inversions de sommes et integrales que nous avonseffectues sont toujours licites. Il faudrait en fait essentiellement verifie quel’integrale

fG(γ) =

Gγ\G

f(x−1γx)dx

est toujours convergente lorsque f ∈ C∞c (G). C’est effectivement le cas, nous

ne le demontrons pas mais nous le verifierons (voir prochaine section) dansle cas G = SL(2,R) qui nous interesse. L’integrale fG(γ) est une integraleorbitale. Ce nom est justifie par le fait que le quotient Gγ\G est homeomorphea l’orbite G · γ = x−1γx : x ∈ G sous l’action de G sur lui meme parconjugaison. Remarquons que l’on sait alors que le groupe d’isotropie Gγ est ungroupe unimodulaire, et donc que la mesure dx sur l’espace quotient est bienG-invariante. Le membre de droite de (3.2) est le cote geometrique de la formuledes traces 1, pour le comprendre il s’agit de comprendre les integrales orbitales.

Puisque le sous-groupe Γ est cocompact, l’Exercice 2.33 implique que larepresentationR se decompose en une somme directe de representations irreductiblesunitaires. On a donc

R ∼= π1 ⊕ π1 ⊕ . . .⊕ π2 ⊕ π2 ⊕ . . .∼= m1π1 ⊕m2π2 ⊕ . . .

∼=⊕

π∈ bG

mππ,

1Le pourquoi de cette appellation sera plus clair dans la prochaine section.

Page 74: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

74 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

ou mπ ∈ 0, 1, 2, . . ., et G est de dual unitaire de G, i.e. l’ensembles des classesd’equivalence de representations irreductibles unitaires de G. On peur ecrire cetisomorphisme comme

R(g) ∼=⊕

π∈ bG

mππ(g), (g ∈ G).

Alors, en multipliant les deux cotes par f(y) ∈ C∞c (G), on obtient

R(f) ∼=⊕

π∈ bG

mππ(f)

ettr R(f) =

π∈ bG

mπtr(π(f)).

On peut donc finalement ecrire une troisieme version de la formule des tracesde Selberg, dont le membre de gauche est appele cote spectral de la formule destraces,

π∈ bG

mπtr(π(f)) =∑

γvol(Γγ\Gγ)

Gγ\G

f(x−1γx)dx, (3.3)

ou comme avant, f ∈ C∞c (G).

Remarque. Nous n’avons pas utilise que G est un groupe de Lie reel autrementque pour pouvoir supposer f ∈ C∞

c (G). Si l’on remplace G par un groupeadeliqueG(A) et Γ parG(Q), alors en choisissant convenablement une fonction fsur G(A), la formule des traces de Selberg a un sens pour la paire (G(A), G(Q)).

Exercice 3.2 1. Supposons G = R et Γ = Z. Soit f ∈ C∞c (R). En se rappe-

lant que R = πλ = e(λy) : λ ∈ R et en utilisant que

tr πλ(f) =

R

f(y)e(λy)dy = f(−λ),

montrer que la formule des traces de Selberg n’est autre que la formule dePoisson (pour f).

2. Soit G un groupe fini et Γ un sous-groupe quelconque de G. Soit π ∈ Gquelconque et notons f(x) = trπ(x). Le groupe G muni de la topologiediscrete est un groupe localement compact tel que le quotient Γ\G estcompact, et nous pouvons prendre pour mesure invariante sur G la mesurede comptage.

(a) En immitant le calcul de la trace de l’operateur R(f), montrer que

tr π(f) = tr

(1

|G|∑

x∈G

f(x)π(x)

).

(b) En utilisant l’othogonalite des caracteres deduire alors de la formuledes traces que

mπ =1

|Γ|∑

γ∈Γ

tr π(γ).

Page 75: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.2. LA FORMULE DES TRACES POUR LES SURFACES COMPACTES75

(c) En deduire le cas particulier suivant de la reciprocite de Frobenius :

[π|Γ : 1Γ] = [π : IndGΓ (1Γ)].

3. Soit A l’anneau des adeles de Q et A∗ le groupe des unites de A. On definitles ideles de norme 1 comme etant l’ensemble

I0 =

x ∈ A∗ : |x| =

p

|xp|p = 1

.

Alors I0 agit sur A par multiplication a gauche, et l’on peut definir leproduit semi-direct A o I0, dont la multiplication est donnee par

(x, x′)(y, y′) = (xy, x′y + y′).

(a) Montrer que l’espace quotient Q∗ × Q\A o I0 est compact.

(b) Notons (x, x′) les points de AoI0. Soit f une fonction sur AoI0, lisseet de support compact en la variable x∞ (i.e. la composante reellede x). Montrer alors que la formule des traces de Selberg appliqueea la paire (A o I0,Q∗ × Q) et par rapport a f implique la formuleexplicite de Weil :

ρ : ζ(1/2+ρ)=0,∞mρ[x

ρ + x−ρ]f(ρ) = H(x) +H

(1

x

),

ou ζ est la fonction zeta de Riemann, mρ la multiplicite de ρ commezero ou pole de ζ, f : R → C une fonction ∈ S(R) paire et telle quef(1/x) = f(x), f sa transformee de Mellin

f(λ) =

∫ ∞

0

f(x)x−λ dx

x

et

H(x) = c0f(x) +∑

p premier

∑∞n=1(log p)p−n/2f(pnx) +

∫ 1

0 f(

xt

)dt√

t

+∑∞

n=11

2n+1/2

[f(x) −

(2n+ 1

2

) ∫ 1

0f(

xt

)t2n+1/2 dt

t

],

ou

c0 = (log√π) +

1

2

(γ +

∞∑

n=1

1

n(4n+ 1)

).

(Cet exercice est difficile, pour plus de details se reporter a l’articlede Goldfeld [6] sur lequel cet exercice se base.)

3.2 La formule des traces pour les surfaces com-

pactes

Soit S = Γ\H une surface hyperbolique compacte. Soit k :] − ∞,+∞[→C une fonction paire C∞ et a support compact (ou verifiant la condition dedecroissance a l’infini (2.21)). Soit enfin f une fonction L2 sur S. On peut

Page 76: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

76 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

considerer f comme une fonction sur H, L2 sur les compacts et automorphe parrapport a Γ, i.e. f(γz) = f(z). Reciproquement une telle fonction induit bienevidemment une fonction L2 sur S.

Nous considerons l’operateur

f 7→∫

H

k(z, w)f(w)dµ(w) (3.4)

sur l’espace de Hilbert des fonctions sur H, L2 sur les compacts et automorphespar rapport a Γ, ou le produit hilbertien est

〈f, g〉 =

S

fg

(rappelons qu’une fonction Γ-automorphe L2 sur les compacts induit une fonc-tion L2 sur S).

Soit F un domaine fondamental pour Γ. Les images des translates de F parΓ pavent alors le plan H, et l’on peut ecrire

H

k(z, w)f(w)dµ(w) =

F

K(z, w)f(w)dµ(w),

ou toujours K(z, w) =∑

γ∈Γ k(z, γw). Nous avons deja verifie que la fonctionK est bien definie, lisse, bi-automorphe, i.e. K(γ1z, γ2w) = K(z, w) pour tousγ1, γ2 ∈ Γ. Le Theoreme d’Hilbert-Schmidt implique donc que l’operateur

f 7→∫

S

K(z, w)f(w)dµ(w), (3.5)

est un operateur compact sur L2(S).D’un autre cote, l’action de K sur une fonction f ∈ L2(S) peut etre calculee

a l’aide de (3.4), si l’on releve f au plan hyperbolique H.Soit ϕ0, ϕ1, ϕ2, . . . un systeme orthonorme complet de fonctions propres

(reelles) du laplacien sur S, correspondant a la suite de valeurs propres 0 =λ0 < λ1 ≤ λ2 ≤ . . ..

En regardant les fonctions ϕj comme des fonctions automorphes fonctionspropres du laplacien sur H, le Theoreme 2.6 implique :

S

k(z, w)ϕj(w)dµ(w) = h(rj)ϕj(z),

ou rj est toujours l’une des deux racines de 1/4 + r2j = λj .

Ceci se reecrit∫

S

K(z, w)ϕj(w)dµ(w) = h(rj)ϕj(z).

Autrement dit, les fonctions ϕj sont egalement fonctions propres de l’operateur(3.5), et puisque le systeme ϕj est complet,

K(z, w) =∑

j

h(rj)ϕj(z)ϕj(w),

Page 77: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.2. LA FORMULE DES TRACES POUR LES SURFACES COMPACTES77

ou la convergence est dans L2(S × S). En d’autres termes,

γ∈Γ

k(z, γw) =∑

i≥0

h(rj)ϕj(z)ϕj(w). (3.6)

La encore le Theoreme de Mercer pourrait nous permettre de montrer quel’equation (3.6) est egalement valide au sens de la convergence ponctuelle.

Comme au §2.2 il sera plus commode de remplacer la fonction k par la fonc-tion L donnee par (2.42), (2.23). On appelle alors formule de pretrace l’egalite

γ∈Γ

L(coshρ(z, γw)) =∑

i≥0

h(rj)ϕj(z)ϕj(w), (3.7)

ou h est donnee par le Lemme 2.8.

Posons maintenant z = w dans n’importe laquelle des deux formes de laformule de pretrace et integrons sur S, de facon a eliminer les fonctions propres.On prefere travailler avec la formule (3.7) et sur le revetement universel H. Nousintegrons donc sur un domaine fondamental F de Γ. On obtient :

j

h(rj) = AL(1) +∑

γ

′∫

F

L(cosh ρ(z, γz))dµ(z), (3.8)

ou A est l’aire (hyperbolique) de F et le signe∑′

signifie que la somme portesur les elements γ ∈ Γ differents de l’identite.

Groupons maintenant les termes du membre de droite de (3.8) par classesde conjugaison dans Γ. Soit donc γ la classe de conjugaison de γ dans Γ. Noussommes donc ramenes a considerer des sommes de la forme

γ∈γ0

F

L(cosh ρ(z, γz))dµ(z).

Un terme typique de cette derniere somme est∫

F

L(cosh ρ(z, γ−11 γ0γ1z))dµ(z) =

F

L(cosh ρ(γ1z, γ0γ1z))dµ(z)

=

γ1F

L(coshρ(z, γ0z))dµ(z).

D’un autre cote, si γ−11 γ0γ1 = γ−1

2 γ0γ2, alors γ1γ−12 ∈ Γγ0

le centralisateurde γ0 dans Γ ; autrement dit, γ2 = γ′γ1 avec γ′ ∈ Γγ0

.On peut donc remplacer la somme du membre de droite de (3.8) par

∑∗∫

L(cosh ρ(z, γz))dµ(z), (3.9)

ou la somme porte maintenant sur un ensemble de representants des differentesclasses de conjugaison non triviales dans Γ et Dγ = ∪γ1

γ1F , ou γ1 decrit unensemble de representants des differentes orbites de l’action a gauche de Γγ surΓ. Il est immedit que Dγ est un domaine fondamental pour la surface (noncompacte) Γγ\H, et que l’integrale dans (3.9) ne depend pas du choix d’un teldomaine fondamental (a condition qu’il ne soit pas trop pathologique). Il s’agit

Page 78: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

78 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

maintenant de choisir convenablement un domaine fondamental pour Γγ . Il nousfaut pour cela d’abord bien comprendre le groupe Γγ .

Chaque γ ∈ Γ − id est hyperbolique puisque Γ est sans torsion (doncne contient pas d’elements elliptiques) et cocompact (donc ne contient pasd’elements paraboliques) ; il admet donc une unique geodesique invariante aγ

dans H, l’axe de γ. Notons l(γ) la longueur de translation de γ, i.e. le nombrereel l verifiant

ρ(z, γz) = l pour tout z ∈ aγ , ρ(z, γz) > l pour tout z ∈ H − aγ .

Si aγ est parametree par la longueur d’arc et si l’orientation de aγ va de z aγz (z ∈ aγ), on a

γ(aγ(t)) = aγ(t+ l(γ))), t ∈ R.

La longueur de translation est donnee par

l(γ) = 2arccosh

(tr(γ)

2

). (3.10)

Deux elements conjugues ont la meme longueur de translation, celle-ci est doncun invariant de la classe de conjugaison dans Γ. Elle correspond a la longueurde la geodesique fermee associee a γ dans S.

Nous dirons d’un element γ ∈ Γ − id qu’il est primitif si l’on ne peutpas l’ecrire comme puissance d’un element de Γ. La geodesique correspondanteest dite premiere elle n’est pas obtenue en parcourant m fois, avec m ≥ 2, unegeodesique plus courte.

Lemme 3.3 Pour tout γ ∈ Γ− id il existe un unique element primitif δ ∈ Γtel que γ = δm pour un certain m ≥ 1. Les elements δn, n ∈ Z, sont deux adeux non conjugues dans Γ et le centralisateur de γ dans Γ est

Γγ = δn : n ∈ Z.

Demonstration. Soit aγ l’axe de Γ. Notons Z le sous-groupe de Γ qui fixe l’axeaγ . Celui-ci agit proprement discontinuement et sans points fixes sur aγ . Larestriction Z|aγ

est donc un sous-groupe discret de R et il existe δ ∈ Z tel quel(δ) > 0 et l(δ) ≤ l(α) pour tout α ∈ Z − id. Il decoule de tout ceci quepour tout α ∈ Z, il existe un entier n ∈ Z tel que α|aγ

= (δ|aγ)n. Puisque

(δ|aγ)n = (δn)|aγ

et que Γ agit sans points fixes, ceci implique que α = δn. Enparticulier, il existe un unique m ∈ Z tel que γ = δm et quitte a remplacer δ parδ−1 on peut supposer m > 0. L’unicite de δ provient de ce qu’un tel elementpreserve naturellement l’axe aγ et appartient donc au groupe Z.

Il nous reste a demontrer que le groupe Z est exactement le centralisateurde γ dans Γ. Mais si α ∈ Γγ par unicite de l’axe de γ, il est clair que α preserveaγ et appartient donc a Z.

Fixons donc δ le generateur de Γγ tel que γ = δm for un certain entierm > 0. Quitte a conjuguer δ dans SL(2,R), on peut supposer que δ agit surH par homothetie z 7→ pz pour un certain facteur strictement positif p 6= 1.Quitte a remplacer δ par son inverse, on peut supposer p > 1. Alors log p estla distance hyperbolique de i a pi, et donc la longueur de translation l(δ) de δ.Le groupe Nγ est le groupe cyclique engendre par δ, un domaine fondamental

Page 79: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.2. LA FORMULE DES TRACES POUR LES SURFACES COMPACTES79

pour son action sur H est donc donne par la bande horizontale 1 < y < p. Onobtient donc∫

L(cosh ρ(z, γz))dµ(z) =

∫ p

1

∫ +∞

−∞L(cosh ρ(z, pmz))dµ(z)

=

∫ p

1

∫ +∞

−∞L

(1 + 2

(d|z|y

)2)y−2dxdy

(ou 2d = |pm/2 − p−m/2|)

=

(∫ p

1

y−1dy

)∫ +∞

−∞L(1 + 2d2(x2 + 1))dx

=log p

d

∫ +∞

d2

L(1 + 2u)√u− d2

du

=log p

2dg(m log p)

= |pm/2 − p−m/2|−1g(m log p) log p,

ou toujours (2.26)

g(r) =√

2

∫ +∞

|u|

k(ρ) sinh ρ√cosh ρ− coshu

dρ.

Remarquons que la fonction g est la transformee de Fourier de la fonction hdonnee par le Lemme 2.8. A l’aide de l’inverse de la transformee d’Abel, on peutde plus recuperer la fonction L (ou k) a partir de la fonction g via les formules :

L(1 + 2u) = − 1

π

∫ +∞

u

(v − u)−1/2dq(v),

ou

q(v) =1

2g(2 log(

√v + 1 +

√v)).

Si L (ou k) est a support compact, la fonction g :]−∞,+∞[→ C est une fonctionpaire, lisse et a support compact. Et reciproquement.

Nous pouvons finalement demontrer la formule des traces de Selberg. Danscette formule, si γ est une geodesique fermee sur S, on note Nγ = el(γ) la normede γ et Λ(γ) est la longueur Λ(γ) = l(γ0), ou γ0 est l’unique geodesique premiereorientee verifiant γ = γm

0 pour un certain m ≥ 1.

Theoreme 3.4 Soit S une surface hyperbolique compacte et G(S) l’ensembledes geodesiques fermees orientees de S. Soit g :] − ∞,+∞[→ C une fonctionpaire, lisse et a support compact et h = g sa transformee de Fourier. Alors,

+∞∑

i=0

h(ri) =aire(S)

∫ +∞

−∞rh(r) tanh(πr)dr +

γ∈G(S)

Λ(γ)

N1/2γ −N

−1/2γ

g(logNγ).

Des deux cotes la serie est absolument convergente.

Demonstration. Puisque g est a support compact, il existe un noyau k a supportcompact tel que g provienne de k via (2.26) et h via le Lemme 2.8. Nous pouvons

Page 80: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

80 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

donc appliquer la formule (3.8). L’aire A est bien sur egale a l’aire de la surfaceS. Puis,

L(1) = − 1

π

∫ +∞

0

q′(v)√v − u

dv

= − 1

∫ +∞

0

g′(u)

sinhu/2du.

Or,

g(u) =1

∫ +∞

−∞e−iruh(r)dr =

1

π

∫ +∞

0

(cos ru)h(r)dr, u ∈ R.

La fonction h est la transformee de Fourier d’une fonction a support compactelle appartient donc a l’espace de Schwartz et nous pouvons deriver g sous lesigne d’integration. On obtient donc :

g′(u) = − 1

π

∫ +∞

0

rh(r)(sin ru)dr.

La fonction (r, u) 7→ (sinh(r/2))−1rh(r) sin ru est absolument integrable sur[0,+∞[×[0,+∞[ et l’on obtient

L(1) =1

2π2

∫ +∞

0

rh(r)

∫ +∞

0

sin ru

sinhu/2dudr.

Or,1

sinh(u/2)=

2

eu/2 − e−u/2= 2e−u/2

n≥0

e−nu

donc ∫ +∞

0

sin ru

sinhu/2du = 2

n≥0

∫ +∞

0

e−(2n+1)u/2 sin(ur)du.

Or,

∫ +∞

0

e−(2n+1)u/2 sin(ur)du =

[(− 4r

4r2 + (2n+ 1)2cos(ur)

− 2(2n+ 1)

4r2 + (2n+ 1)2sin(ur)

)e−(2n+1)u/2

]u=+∞

u=0

=4r

4r2 + (2n+ 1)2.

Donc :∫ +∞

0

sin ru

sinhu/2du = 2

n≥0

4r

4r2 + (2n+ 1)2=∑

n∈Z

4r

4r2 + (2n+ 1)2.

Rappelons que la transformee de Fourier de la fonction fy(x) = e−y|x|, ou y

est un parametre > 0, est la fonction fy(ξ) = 2yξ2+y2 . Un calcul simple utilisant

l’inversion de Fourier montre alors que si l’on pose

gr(ξ) =2r

r2 + (ξ + 1/2)2

Page 81: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.2. LA FORMULE DES TRACES POUR LES SURFACES COMPACTES81

alorsgr(x) = 2πe−r|x|eix/2.

La formule de Poisson implique alors :

n∈Z

2r

r2 + (n+ 1/2)2=

n∈Z

2πe−r2π|n|eiπn

= 2π∑

n∈Z

(−1)ne−2πr|n|

= 2π

2∑

n≥0

(−1)ne−2πrn − 1

= 2π

2

n≥0

e−4πrn −∑

n≥0

e−2πr(2n+1)

− 1

= 2π

2(1− e−2πr)

n≥0

e−4πrn − 1

= 2π

(21− e−2πr

1− e−4πr− 1

)= 2π

(2

1 + e−2πr− 1

)

= 2π1 − e−2πr

1 + e−2πr= 2π tanh(πr).

Donc, ∫ +∞

0

sin ru

sinhu/2du =

1

2

n∈Z

2r

r2 + (n+ 1/2)2= π tanh(πr).

Et,

L(1) =1

∫ +∞

0

rh(r) tanh(πr)dr.

Ce qui conclut la demonstration de la formule de traces de Selberg.

Exercice 3.5 Soit ε > 0. Posons

Sε = r ∈ C : |Imr| < 1

2+ ε

et supposons que h : Sε → C est une fonction paire holomorphe avec la proprietede decroissance

h(r) = O((1 + |r|2)−1−ε) uniformement sur Sε.

Alors h et sa transformee de Fourier (a une constante pres)

g(u) =1

∫ +∞

−∞e−iruh(r)dr, u ∈ R

forment une paire dite admissible. Montrer que la formule des traces de Selbergest valable pour toute paire admissible (h, g).

Page 82: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

82 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

3.3 Applications

Nous developpons ici tour a tour trois applications de la formule des tracesde Selberg.

La loi de Weyl Soit S = Γ\H une surface hyperbolique compacte. D’apresle Theoreme spectral pour S, la trace du noyau de la chaleur Pt est donnee par

trPt =

+∞∑

n=0

e−λnt,

ou λ0, λ1, . . . sont les valeurs propres du laplacien sur S. Le noyau de la chaleurpt n’est pas a support compact mais la demonstration de la formule des tracesde Selberg et l’expression de pt impliquent la formule suivante, due a McKean,

∑+∞n=0 e

−λnt = aire(S)(4πt)−3/2e−t/4∫ +∞0

re−r2/4t

sinh r/2 dr

+ 12 (4πt)−1/2e−t/4

∑γ∈G(S)

2Λ(γ)

N1/2γ −N

−1/2γ

e−l(γ)2/4t.(3.11)

Lemme 3.6 Le nombre de geodesiques fermees sur S de longueur ≤ L est unO(eL) lorsque L→ +∞.

Demonstration. Ce nombre est majore par le nombre de domaines fondamentauxde Dirichlet par rapport aux differents points d’une orbite donnee de Γ dans Hqui intersectent le disque hyperbolique de rayon L + 2diam(S) centre en l’unde ces points. Puisque l’aire d’un tel disque est un O(eL), le Lemme 3.6 estdemontre.

D’apres le Lemme 3.6, le second terme du membre de droite de (3.11) est ma-jore par (const)t−1/2e−1/8t, et converge donc vers 0 lorsque t→ 0. En utilisantl’equation ∫ +∞

0

e−x2/4tdx = (4πt)1/2

on obtient

+∞∑

n=0

e−λnt =aire(S)

4t(1 + o(1)) (3.12)

pour t ↓ 0.Nous deduisons finalement de (3.12) et du theoreme Tauberien de Karamata

[15, Theorem 4.3 p. 192], la loi de Weyl.

Theoreme 3.7 Lorsque n→ +∞,

λn(S) ∼ 4πn

aire(S).

Exercice 3.8 Deduire de (3.11) que deux surfaces hyperboliques compactes ontle meme spectre du laplacien si et seulement si elles ont le meme spectre deslongueurs (i.e. la suite de toutes les longueurs l(γ), γ ∈ G(S), rangees par ordrecroissant). (Theoreme de Huber)

Page 83: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.3. APPLICATIONS 83

Theoreme des geodesiques premieres Notons maintenant π(x) le nombrede geod esiques premieres γ sur S telles que Nγ ≤ x. Notons

sj =1

2+

√1

4− λj =

1

2− irj , pour λj ≤ 1

4,

ou comme toujours les λj sont les valeurs propres du laplacien sur S. On peutdeduire de la formule des traces de Selberg que le comportement des geodesiquespremieres est proche de celui des nombres premiers.

Theoreme 3.9 Lorsque x → +∞,

π(x) = li(x) +∑

1>sj>3/4

li(xsk ) +O(x3/4/ logx).

Dans le Theoreme 3.9 li designe comme d’habitude le logarithme integral :

li(x) =

∫ x

2

log τ∼ x/ logx, x → ∞.

Demonstration du Theoreme 3.9. Nous allons determiner les developpementsasymptotiques de differentes fonctions auxiliaires de plus en plus proches de lafonction π(x). Commencons par considerer la fonction

H(T ) =∑

l(γ)≤T

Λ(γ)(1 +N−1γ )(1 −N−1

γ )−1.

Posons ET (α) = α−1eTα.

Lemme 3.10 Lorsque T tend vers l’infini,

H(T ) = ET (1) +∑

1>sj>3/4

ET (sj) +O(e3T/4).

Admettons pour l’instant ce Lemme et montrons comment en deduire leTheoreme.

Il est clair que

H(T ) =∑

l(γ)≤T

Λ(γ)(1 +N−1γ )(1 +O(N−1

γ ))

=∑

l(γ)≤T

Λ(γ) +O

l(γ)≤T

Λ(γ)N−1γ

∼ ET (1), d’apres le Lemme 3.10.

Si l’on pose

ψ(T ) =∑

l(γ)≤T

Λ(γ),

il decoule de ce dernier equivalent et du fait que seul un nombre fini de Nγ sontinferieurs a une constante fixee que ψ(T ) ∼ ET (1).

Page 84: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

84 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

On en deduit donc que

l(γ)≤T

Λ(γ)N−1γ =

∫ T

0

e−xdψ(x) = O(T ).

Le Lemme 3.10 implique alors

ψ(T ) = ET (1) +∑

1>sj>3/4

ET (sj) +O(e3T/4). (3.13)

Considerons maintenant la fonction

ϑ(T ) =∑

l(γ)≤T

∗Λ(γ),

ou l’on somme sur les l(γ) qui correspondent a des geodesiques premieres.Il est immediat que

ψ(T ) = ϑ(T ) + ϑ(T/2) + . . .+ ϑ(T/k), (3.14)

ou k est de l’ordre de T puisque (3.14) est verifiee des que k ≥ T/l1, ou l1designe la longueur de la plus courte geodesique fermee dans S.

Il decoule immediatement de (3.13) et (3.14) que

ϑ(T ) = ET (1) +∑

1>sj>3/4

ET (sj) +O(e3T/4). (3.15)

Remarquons maintenant que π(x) =∫ log x

δ T−1dϑ(T ) si δ < l1 ; il decouledonc de (3.15) que

π(x) = li(x) +∑

1>sj>3/4

li(xsk ) +O(x3/4/ logx), (3.16)

ou li(x) =∫ x

2 dt/ log t. Ce qui conclut la demonstration du Theoreme.

Il nous reste a demontrer le Lemme 3.10. Nous allons evidemment appliquerla formule des traces de Selberg a des fonctions tests bien choisies. Commenconspour cela par definir une famille de fonctions gε

T .

1. Soient χ[−T,T ] la fonction caracteristique de l’intervalle [−T, T ] dans R etgT la fonction definie par gT (x) = 2 cosh(x/2)χ[−T,T ](x).

2. Soit ϕ une fonction paire lisse ≥ 0 a support ⊂ [−1, 1] et telle que∫ 1

−1ϕ(x)dx = 1. Etant donne un reel ε > 0, notons ϕε la fonction ϕε(x) =

ε−1ϕ(x/ε). La fonction ϕε est a support ⊂ [−ε, ε] et∫ ε

−ε ϕε(x)dx = 1 ; lesfonctions ϕε s’approchent donc de la masse de Dirac en 0.

3. Finalement, posons

gεT (x) = (gT ∗ ϕε)(x) = 2

∫ +∞

−∞cosh((x − y)/2)χ[−T,T ](x− y)ϕε(y)dy.

Pour tous reels ε, T > 0, la fonction gεT est paire, lisse et a support com-

pact, on peut donc lui appliquer la formule des traces de Selberg. Lafonction h correspondante dans la formule des traces (la transformee deFourier de gε

T ), que nous notons hεT .

Page 85: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.3. APPLICATIONS 85

Nos conventions pour la transformee de Fourier et la convolution sont telles que

f1 ∗ f2 = f1f2 et 2πˆf = f si f est paire. Un calcul direct montre que

gT (r) =

∫ +∞

−∞e−irxgT (x)dx

= 2

∫ T

−T

e−irx cosh(x/2)dx

=

∫ T

−T

e(1/2−ir)x + e−(1/2+ir)xdx

= S(1/2 + ir) + S(1/2− ir),

ou S(w) = 2w−1 sinh(Tw) avec la convention S(0) = 2T . La fonction hεT est

alors donnee par

hεT (r) = (S(1/2 + ir) + S(1/2− ir))ϕε(r).

Definissons maintenant les fonctions Hε, qui seront des approximations deH(T ), en posant

Hε(T ) =∑

γ∈G(S)

Λ(γ)

N1/2γ −N

−1/2γ

gεT (logNγ).

Remarquons que pour tout ε > 0, Hε(T − ε) ≤ H(T ) ≤ Hε(T + ε).D’un autre cote, la formule des traces implique

Hε(T ) =∑+∞

i=0 hεT (ri) − aire(S)

∫ +∞−∞ rhε

T (r) tanh(πr)dr

=∑

i∗hε

T (ri) +∫ +∞0

hεT (r)dm(r),

(3.17)

ou∑∗

designe la somme finie sur les rj imaginaire purs, et dm(r) est la mesure

sur [0,+∞[ donnee par dN(r) − aire(S)2π r tanh(πr)dr, avec N(r) =

∑0<ri≤r 1.

Posons maintenant ε = e−T/4. Remarquons que ϕε(x) = ϕ(εx) = 1 +O(εx)lorsque ε→ 0 avec x fixe. Chaque terme de la somme

∑∗i h

εT (ri) correspondant

a l’un des sj ∈]3/4, 1] est donc de la forme

(2s−1j sinh(sjT ))ϕε(rj) = ET (sj) +O(εesjT ).

On en conclut que∑

i∗hε

T (ri) = ET (1) +∑

1>sj>3/4ET (sj) +O(εeT )

= ET (1) +∑

1>sj>3/4ET (sj) +O(εe3T/4).(3.18)

Il nous reste a controler le terme∫ +∞0

hεT (r)dm(r) dans (3.17). Commencons

par remarquer que d’apres la loi de Weyl, µ(r) est un O(r2). Mais ϕ(ρ) =O((1 + |ρ|)−2) et |gT (r)| ≤ (const)(1 + r)−1eT/2, il decoule donc de l’expressionde hε

T que pour tout reel r,

|hεT (r)| ≤ (const)eT/2(1 + r)−1(1 + εr)−2.

Et,∣∣∣∣∫ +∞

0

hεT dm(r)

∣∣∣∣ ≤ (const)eT/2

∫ +∞

0

(1 + r)−1(1 + εr)−2|dm(r)|.

Page 86: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

86 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

Pour majorer cette derniere integrale on la decoupe en deux∫ +∞0 =

∫ 1/ε

0

∫ +∞1/ε

et on effectue une integration par partie (pour remplacer dm(r) par m(r)), onobtient ainsi facilement un majorant en O(ε−1eT/2) = O(e3T/4) ; autrement dit

∫ +∞

0

hεT (r)dm(r) = O(e3T/4). (3.19)

En combinant (3.18) et (3.19), on obtient que

Hε(T ) = ET (1) +∑

1>sj>3/4

ET (sj) +O(e3T/4). (3.20)

MaisHε(T − ε) ≤ H(T ) ≤ Hε(T + ε)

et, pour α > 0 fixe,

ET±ε(α) = α−1e(T±ε)α = α−1eTα(1 +O(ε))

= ET (α) +O(e3T/4),

et il decoule de (3.20) que

H(T ) = ET (1) +∑

1>sj>3/4

ET (sj) +O(e3T/4),

ce qui conclut la demonstration du Lemme 3.10.

Il est bien sur naturel de conjecturer que le 3/4 dans le Theoreme 3.9 peutetre remplacer par 1/2. On peut penser a cette conjecture comme a un analoguede l’hypothese de Riemann. La Conjecture de Selberg impliquerait alors quepour les surfaces arithmetiques et lorsque x → +∞,

π(x) = li(x) +O(x1/2/ logx).

Remarquons enfin que le Theoreme 3.9 implique que

l(γ)≤T

1 = li(eT ) +∑

1>sj>3/4

li(esjT ) +O(T−1e3T/4).

Petites valeurs propres Nous avons vu au paragraphe precedent que les pe-tites valeurs propres jouent un role special. Nous avons deja demontre l’existencede surfaces avec de petites valeurs propres. Montrons maintenant comment ob-tenir de telles surfaces a l’aide de la formule de traces. Nous avons en fait besoind’une legere generalisation de la formule des traces. Supposons fixe un caractereχ de groupe fondamental Γ de S.

Considerons le probleme spectral ∆f + λf sur H, ou cette fois la fonction fest astreinte a verifier la regle de transformation f(γz) = χ(γ)f(z) sous l’actionde Γ. On peut, de maniere analogue au Chapitre 2, associer a ce problemespectral une suite 0 ≤ λ0(χ) ≤ λ1(χ) ≤ . . . de valeurs propres tendant versl’infini telle que l’ensembles des fonctions propres associees forme une systemecomplet dans l’espace de Hilbert des fonctions mesurable sur H verifiant la regle

Page 87: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

3.3. APPLICATIONS 87

de transformation ci-dessus et qui sont L2 sur un domaine fondamental F de Γ,par rapport au produit hermitien 〈f, g〉 =

∫Ffgdµ.

Il est encore possible de developper les formules de pretrace et de tracedans ce contexte plus general. La formule de trace prend en particulier la formesuivante

∑+∞i=0 h(ri(χ)) = aire(S)

∫ +∞−∞ rh(r) tanh(πr)dr

+∑

γ∈G(S)χ(γ)Λ(γ)

N1/2γ −N

−1/2γ

g(logNγ),(3.21)

ou les ri(χ) correspondent aux λi(χ) de la meme maniere que dans le cas clas-sique.

En utilisant (3.21) avec des paires (g, h) appropriees, Randol montre dans[4] que les λi(χ) varient continuement avec χ. En particulier, si Γ admet unesuite de caracteres non triviaux qui convergent vers le caractere trivial χ0, alorsλ0(χ) → 0 lorsque χ→ χ0.

Remarquons maintenant que puisque Γ est un groupe de surface, son abelianniseG = Γ/[Γ,Γ] a des elements d’ordre infini. Soit donc g un element d’une baseB de G et qui soit d’ordre infini. Celui-ci definit un caractere χ de G en posantχ(g) = exp(2iπ/2N), pour un certain entier positif N >> 1, et χ(g′) = 1 pourg′ ∈ B, g′ 6= g. Par continuite de λ0(χ) et pour tout ε > 0, on peut trouver unentier N tel que 0 < λ0(χ) ≤ ε. La fonction propre correspondante F descenden une fonction propre du laplacien sur S ′ = Γ′\H, ou Γ′ est le noyau dans Γde l’homomorphisme χ.

Toute surface hyperbolique compacte admet donc un revetement fini avecde petites valeurs propres.

Exercice 3.11 Montrer que toute surface hyperbolique admet un revetementfini avec un nombre arbitrairement grand de petites valeurs propres.

Page 88: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

88 CHAPITRE 3. FORMULES DES TRACES DE SELBERG

Page 89: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Chapitre 4

Autour de la Conjecture de

Selberg

Le but de ce Chapitre est la demonstration d’une approximation a la Conjec-ture de Selberg dans le cas des surfaces hyperboliques compactes. L’idee due aKazhdan consiste a etudier la multiplicite des petites valeurs propres de manierea exploiter le fait que les groupes de Galois des revetements de congruence sont∼= PSL(2,Z/pZ), groupe dont on sait classifier les representations irreductibles(dont les dimensions minorent les multiplicites de valeurs propres possibles). Ona d’un autre cote besoin de majorer la multiplicite de la premiere valeur propre.Nous commencons par la en utilisant la formule des traces. Les resultats de ceChapitre sont adaptes d’un article de Sarnak et Xue [11].

4.1 Sur la multiplicite de la premiere valeur propre

Soit S0 = Γ0\H une surface hyperbolique compacte fixee et S = Γ\H unrevetement galoisien fini de S0. Notons λ1 = λ1(S) la premiere valeur proprenon nulle du laplacien sur S.

Lemme 4.1 Soit u(z, w) une application dans L2(H × H) ne dependant quede la distance ρ(z, w) et a support compact comme fonction de cette distance.Alors, la fonction

k(z, w) =

H

u(x,w)u(x, z)dx

ne depend que de la distance ρ(z, w) et est a support compact comme fonctionde cette distance. Si de plus, nous notons Tu et Tk les operateurs integrauxinvariants definis par les noyaux respectifs u et k, ces deux operateurs sont atraces et

tr(Tk) = tr(T ∗uTu).

Demonstration. Il est clair que la fonction k ne depend que de la distance ρ(z, w)et est a support compact comme fonction de cette distance. Notons toujours

K(z, w) =∑

γ∈Γ

k(z, γw),

89

Page 90: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

90 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

(λj) la suite des valeurs propres du laplacien sur S de fonctions propres normeesassociees ϕj et (h(λj)) la suite des valeurs propres de l’operateur Tk. D’apres laformule de pretrace,

h(λj) =

S

S

K(z, w)ϕj(w)ϕj(z)dwdz

=

F

F

γ∈Γ

k(z, γw)ϕj(w)ϕj(z)dwdz

=∑

γ∈Γ

F

F

H

u(x, γw)u(x, z)ϕj(w)ϕj(z)dxdwdz

=∑

γ1,γ2∈Γ

F

F

F

u(γ2x, γ1w)ϕj (γ1w)u(γ2x, z)ϕj(z)dxdwdz

=∑

γ1,γ2∈Γ

F

F

F

u(x, γ−12 γ1w)ϕj(γ

−12 γ1w)u(x, γ−1

2 z)ϕj(γ−2z)dxdwdz

=∑

γ∈Γ

H

F

F

u(x, γw)ϕj(γw)u(x, z)ϕj(z)dxdwdz

=

S

H

u(x,w)ϕj(w)dw

H

u(x, z)ϕj(z)dzdx,

ou nous avons comme d’habitude note F un domaine fondamental de Γ dansH et considere les fonctions sur S comme des fonctions sur H Γ-invariante agauche. Le Lemme decoule immediatement de cette derniere expression.

Remarquons que la demonstration du Lemme 4.1 implique que la fonction hdeduite de k via (2.24) est positive sur le spectre du laplacien sur S. La formulede pretrace implique alors que

tr(Tk) ≥ h(λ1)m(λ1),

ou m(λ1) designe la multiplicite de la valeur propre λ1 dans le spectre (dulaplacien) de S. Le but de cette section est d’exploiter cette remarque pouren deduire une majoration explicite de la multiplicite de λ1 sous l’hypotheseλ1 < 1/4. Nous montrons plus precisemment le theoreme suivant.

Theoreme 4.2 Supposons λ1 < 1/4. Il existe alors une constante C0 (independantede Γ et de λ1) telle que pour tout R > 0,

m(λ1) ≤ C0[Γ0 : Γ]e−√

1−4λ1R∑

γ∈Γ, l(γ)≤2R

e−l(γ)/2. (4.1)

Demonstration. Il s’agit de choisir un bon noyau k et de lui appliquer la formulede pretrace. Nous prenons pour cela

u(z, w) = χR(ρ(z, w))

dans le Lemme 4.1, ou R est un reel strictement positif fixe et χR la fonctioncaracteristique de l’intervalle [0, R]. On introduit donc le noyau

FR(z, w) =

H

u(x,w)u(x, z)dx. (4.2)

Page 91: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.1. SUR LA MULTIPLICITE DE LA PREMIERE VALEUR PROPRE 91

La formule de pretrace implique l’identite

tr(T ∗uTu) =

γ∈Γ

S

FR(z, γz)dz. (4.3)

Lemme 4.3

m(λ1) ≤(∫

B(i,R)

ωλ1(i, z)dz

)−2∑

γ∈Γ

S

FR(z, γz)dz.

Demonstration. Remarquons que si ϕ1 ∈ L2(S) designe toujours une fonctionλ1-propre du laplacien et de norme 1, la radialisation ϕr

1, z de ϕ1, vue commefonction sur H, autour d’un point z ∈ H :

ϕr1, z(w) =

Sz

ϕ1(Tw)dT,

coıncide avecωλ1

(z, w)ϕ1(w).

Or d’apres le Lemme 4.1 et l’inegalite de Cauchy-Schwarz,

tr(T ∗uTu) ≥ h(λ1)m(λ1) ≥ |〈Tuϕ1, ϕ1〉|2m(λ1)

et

|〈Tuϕ1, ϕ1〉|2 = |∫

S

Tuϕ1(z)ϕ1(z)dz|2

≥ |∫

F

H

u(z, w)ϕ1(w)ϕ1(z)dwdz|2

≥ |∫

F

w∈σz

Sz

ϕ1(Tw)ϕ1(z)dTdwdz|2

≥ |∫

F

w∈σz

ωλ1(z, w)|ϕ1(z)|2dwdz|2

≥ |∫

B(i,R)

ωλ1(i, w)dw|2,

ou l’on a note σz un segment geodesique quelconque allant du point z a un pointa distance R. Le Lemme 4.3 est finalement demontre.

Il s’agit maintenant d’etudier la croissance de la fonction FR. Nous supposonsdorenavant λ1 < 1/4.

Lemme 4.4 Fixons R > 0. Alors pour z, w ∈ H,

|FR(z, w)| ≤ 4πeR−ρ(z,w)/2,

lorsque ρ(z, w) ≤ 2R et = 0 sinon.

Demonstration. Il decoule immediatement de la definition de FR que

FR(z, w) = aire(B(z,R) ∩B(w,R)),

Page 92: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

92 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

ou l’aire est l’aire hyperbolique et B(z,R) designe la boule hyperbolique decentre z et de rayon hyperboliqueR. Il est en particulier immediat que FR(z, w) =0 si ρ(z, w) > 2R. Supposons maintenant ρ(z, w) ≤ 2R et notons E = B(z,R)∩B(w,R). On peut clairement supposer z = i et w sur la demi-geodesique ver-ticale allant de i a l’infini et etudier la fonction FR(ρ) = FR(ρ(i, w)). Dans lescoordonnees polaires autour de i relativement au vecteur directeur vertical poin-tant de i vers l’infini, notons c(r, θ) la distance du point de coordonnees (r, θ)au point de coordonnees (ρ, 0). La trigonometrie hyperbolique affirme que

cosh c(r, θ) = cosh ρ cosh r − cos θ sinh ρ sinh r.

Soit alors α l’angle ∈ [0, π/2] defini par la relation

cosα =cosh ρ coshR− coshR

sinh ρ sinhR

=coshR(cosh ρ− 1)

sinh ρ sinhR=

tanh(ρ/2)

tanhR.

Notons v le point de coordonnees polaires (ρ/2, 0). Soit (r, θ) comme au-dessus ettel que c(r, θ) ≤ R. Quitte a echanger z et w, on peut supposer que θ ∈ [−α, α].En considerant le triangle de sommets i, v et (r, θ), on obtient alors :

cosh c(r, θ) = cosh(ρ/2) coshR− cos θ sinh(ρ/2) sinhR

≤ cosh(ρ/2) coshR− cosα sinh(ρ/2) sinhR

≤ cosh(ρ/2) coshR−(

tanh(ρ/2)

tanhR

)sinh(ρ/2) sinhR

≤ coshR

cosh(ρ/2).

Par symetrie en z et w, on obtient finalement que l’ensemble E est inclus dansune boule hyperbolique de rayon T (ici B(v, T )) defini par la relation

coshT =coshR

cosh(ρ/2).

L’aire d’une telle boule est

4π sinh2(T/2) = 2π(coshT − 1) = 2π

(coshR

cosh(ρ/2)− 1

)≤ 4πeR−ρ/2.

Ce qui conclut la demonstration du Lemme 4.4.

Page 93: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.2. REPRESENTATIONS DU GROUPE PSL(2,Z/PZ) 93

Soit F0 un domaine fondamental pour le groupe Γ0. Les Lemmes 4.3 et 4.4impliquent alors que

m(λ1) ≤(∫

B(i,R)

ωλ1(i, z)dz

)−2∑

γ∈Γ

S

FR(z, γz)dz

≤(∫

B(i,R)

ωλ1(i, z)dz

)−2∑

γ∈Γ

δ∈Γ\Γ0

F0

FR(δz, γδz)dz

≤ [Γ : Γ0]

(∫

B(i,R)

ωλ1(i, z)dz

)−2∑

γ∈Γ

F0

FR(z, γz)dz

(Γ est distingue dans Γ0)

≤ 4π[Γ : Γ0]

(∫

B(i,R)

ωλ1(i, z)dz

)−2

eR∑

γ∈Γ, l(γ)≤2R

F0

e−ρ(z,γz)/2dz,

ou l(γ) est la longueur de translation de γ.Remarquons maintenant que puisque S0 est compacte, il existe un reel δ > 0

tel que pour tout z ∈ F0,ρ(z, γz) ≥ l(γ) − δ.

D’un autre cote, l’expression (2.18) implique immediatement qu’il existe uneconstante C1 6= 0 telle que

(∫

B(i,R)

ωλ1(i, z)dz

)2

∼ C1e(1+

√1−4λ1)R.

Tout ceci implique finalement le Theoreme 4.2.

4.2 Representations du groupe PSL(2, Z/pZ)

Le but de cette section est la demonstration du theoreme suivant.

Theoreme 4.5 Soit p ≥ 5 premier. La dimension d’une representation lineairenon triviale de PSL(2,Z/pZ) est ≥ p−1

2 .

Representations des groupes finis Commencons par rappeler qu’une representationd’un groupe fini G est un couple (π, V ) ou V est un espace vectoriel com-plexe V et π est un homomorphisme de G dans GL(V ). La dimension de larepresentation (π, V ) est la dimension de V . On se contentera souvent de noterπ une representation de G. Un sous-espace W ⊂ V est dit invariant si pour toutg ∈ G : π(g)(W ) = W . Une representation (π, V ) avec V 6= 0 est irreductible sielle n’admet aucun sous-espace invariant non trivial.

Soient (π, V ) et (ρ,W ) deux representations de G, nous notons HomG(π, ρ)l’ensemble des applications lineaires T de V dans W qui sont G-equivariantes :

Tπ(g) = ρ(g)T.

Les representations (π, V ) et (ρ,W ) sont dites equivalentes s’il existe une appli-cation lineaire inversible dans HomG(π, ρ).

Rappelons le lemme classique suivant du a Schur.

Page 94: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

94 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

Lemme 4.6 Soient (π, V ) et (ρ,W ) deux representations irreductibles et dedimensions finies de G. Alors

dimCHomG(π, ρ) =

0 si π et ρ ne sont pas equivalentes;1 si π et ρ sont equivalentes.

A partir de deux representations π et ρ on peut naturellement former lesrepresentations π∗ (representation duale), π⊕ρ (somme directe) et π⊗ρ (produittensoriel).

Remarquons maintenant que si l’on se fixe un produit hermitien quelconque(., .) sur V , le produit

〈v1, v2〉 =∑

g∈G

(π(g)v1, π(g)v2)

defini un produit hermitien sur V qui est invariant sous l’action de π(G). Toutsous-espace invariant de V admet donc un supplementaire invariant (l’orthogo-nal pour 〈., .〉). On en deduit, par recurrence, que toute representation (π, V )de G avec V 6= 0 est equivalente a une somme directe de representationsirreductibles de G.

Soit (π, V ) une representation de G. Le caractere de π est la fonction χπ :G→ C ; g 7→ tr(π(g)). Les remarques suivantes sont immediates :

1. χπ∗(g) = χπ(g−1) (pour g ∈ G),

2. χπ⊕ρ = χπ + χρ,

3. χπ⊗ρ = χπχρ, et

4. si π est equivalente a ρ, χπ = χρ.

L’expression

〈f1, f2〉G =1

|G|∑

g∈G

f1(g)f2(g)

defini un produit scalaire hermitien sur l’ensemble des fonctions G → C. L’uti-lite des caracteres tient au theoreme suivant qui conjointement au Lemme deSchur montre que les carateres des representations irreductibles de G formentun systeme ortonorme par rapport au produit scalaire 〈., .〉G.

Theoreme 4.7 Soient (π, V ) et (ρ,W ) deux representations du groupe fini G.Alors,

〈χρ, χπ〉G = dimCHomG(π, ρ).

Page 95: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.2. REPRESENTATIONS DU GROUPE PSL(2,Z/PZ) 95

Demonstration. On calcul

〈χρ, χπ〉G =1

|G|∑

g∈G

χρ(g)χπ(g)

=1

|G|∑

g∈G

χρ(g)χπ(g−1) (car π(G) preserve un produit hermitien sur V )

=1

|G|∑

g∈G

χρ(g)χπ∗(g)

=1

|G|∑

g∈G

χρ⊗π∗(g)

=1

|G|∑

g∈G

tr(ρ⊗ π∗(g))

= tr

1

|G|∑

g∈G

ρ⊗ π∗(g)

= dimC(W ⊗ V ∗)G ( car1

|G|∑

g∈G

ρ⊗ π∗(g) est un projecteur sur (W ⊗ V ∗)G)

= dimCHom(V,W )G

= dimCHomG(V,W ).

La representation reguliere gauche λG du groupe dans l’espace vectoriel desfonctions G→ C est donnee par :

(λG(g)f)(x) = f(g−1x).

L’importance de celle-ci provient de ce que son caractere infinitesimal

χλG =

|G| si g = 10 sinon.

Mais d’apres le Theoreme 4.7 et le Lemme de Schur, un representation irreductibleρ de G apparait 〈χλG , χρ〉G dans la decomposition en irreductibles de λG, et

〈χλG , χρ〉G = tr(ρ(1)) = dimρ.

On a donc χλG =∑

ρ(dimρ)χρ ou ρ decrit l’ensemble des classes d’equivalencede representations irreductibles de G. Le Theoreme 4.7 implique alors la formuledu degre

|G| =∑

ρ

(dimρ)2,

ou ρ decrit l’ensemble des classes d’equivalence de representations irreductiblesde G.

Il s’agit maintenant d’utiliser ces rappels generaux pour demontrer le Theoreme4.5.

Page 96: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

96 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

Nous considerons pour cela le groupe affine B sur Fp = Z/pZ, autrement ditle groupe des transformations

z 7→ az + b (a ∈ F∗p, b ∈ Fp)

de Fp. Celui-ci agit par permutations (L(b)f)(z) = f(b−1z) sur l’espace W desfonctions complexes sur Fp. Considerons le sous-espace

W0 =

f : Fp → C :

z∈Fp

f(z) = 0

de W . Le groupe B preserve W0 notons L0 la representation de B dans W0.

Lemme 4.8 La representation lineaire L0 de B dans W0 est irreductible dedimension p− 1.

Demonstration. Remarquons que l’action de B sur Fp est 2-transitive puisquepar deux points de F2

p il passe une droite. La representationL⊗L dansW⊗W estdonc isomorphe a la representation (par permutations) dans l’espace W×W desfonctions sur Fp ×Fp. Le caractere χW×W de la representation W ×W est doncegal au carre χ2

W du caratere (a valeurs reelles) du caratere de la representationW . On a donc :

2 = dimC(W ×W )B

=1

|B|∑

b∈B

χW×W (b) (d’apres la demonstration du Theoreme 4.7)

=1

|B|∑

b∈B

χW (b)2

= 〈χW , χW 〉B .

Remarquons maintenant que la representation W de B se decompose en unesomme directe de la representation triviale (dans le sous-espace des fonctionsconstantes) et de la representation W0. Alors,

χW = 1 + χW0

et

2 = 〈1 + χW0, 1 + χW0

〉B= 1 + 2〈1, χW0

〉B + 〈χW0, χW0

〉B .

Ce qui force〈χW0

, χW0〉B = 1

et implique (Theoreme 4.7 et Lemme de Schur) que la representation W0 (dedimension p− 1) est irreductible.

Soit B0 le stabilisateur dans PSL(2,Fp) du point ∞ ∈ P 1(Fp), c’est aussil’image dans PSL(2,Fp) du sous-groupe

(a b0 a−1

): a ∈ F∗

p, b ∈ Fp

Page 97: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.2. REPRESENTATIONS DU GROUPE PSL(2,Z/PZ) 97

de SL(2,Fp). L’action de B0 sur Fp est alors donnee par

ϕA(z) = a2z + ab, ou A =

(a b0 a−1

).

Le groupe B0 s’identifie donc a un sous-groupe d’indice 2 du groupe B. Notons

α : B → F∗p; (z 7→ az + b) 7→ a.

On a alors B0 = α−1(F∗2p ).

Proposition 4.9 Soit p un entier premier impair. Il existe alors exactementp+32 representations irreductibles de B0 deux a deux non equivalentes, constituees

de– p−1

2 morphismes de groupes B0 → C∗, se factorisant par α|B0, et

– deux representations non equivalentes ρ1 et ρ2 toutes les deux de dimen-sion p−1

2 .

Demonstration. Puisque le groupe F∗2p est abelien d’ordre p−1

2 il admet exac-

tement p−12 representations irreductibles, toutes de dimension 1, donnees par

des morphismes χ1, . . . , χ p−1

2

de F∗2p dans C∗. En les composant avec α|B0

on

obtient p−12 morphismes χ1 α|B0

, . . . , χ p−1

2

α|B0de B0 dans C∗.

D’un autre cote, considerons maintenant la restriction de L0 au groupe B0.Nous allons demontrer que celle-ci se decompose en une somme directe de deuxrepresentations irreductibles et non equivalentes ρ1 et ρ2 du groupe B0, toutesdeux de dimension p−1

2 . Commencons par rappeler que les morphismes

ec : Fp → C∗; z 7→ e

(cz

p

)(c ∈ Fp)

forment une base de W . En particulier les ec ou c ∈ F∗p forment une base du

sous-espace W0 de W . Remarquons maintenant que si g ∈ B est donne parg(z) = az + b,

(L0(g)ec)(z) = ec(g−1z) = ec

(z − b

a

)= e

(− cb

ap

)ec/a(z).

Notons alors, W1 (resp. W2) le sous-espace de W0 engendre par les ec, avecc ∈ F∗2

p (resp. c ∈ F∗p − F∗2

p ). La formule ci-dessus implique que les sous-espacesW1 et W2 sont laisses invariants par la restriction de la representation L0 augroupe B0. Remarquons de plus que

dimCW1 = dimCW2 =p− 1

2.

Nous allons montrer que les representations ρ1 et ρ2 de B0 dansW1 etW2 respec-tivement sont irreductibles. Commencons par remarquer que dans la decompositionW0 = W1 ⊕W2, on a

L0(g) =

(ρ1(g) 0

0 ρ2(g)

)si g ∈ B0;

(0 ∗∗ 0

)si g ∈ B −B0.

Page 98: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

98 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

Ce qui implique l’identite suivante sur les caracteres :

χL0(g) =

χρ1

(g) + χρ2(g) si g ∈ B0;

0 si g ∈ B −B0.

D’apres le Lemme 4.8 la representation est irreductible, on a donc (Theoreme4.7 et Lemme de Schur) :

1 = 〈χL0, χL0

〉B =1

|B|∑

g∈B

|χL0(g)|2

=1

2|B0|∑

g∈B0

|χρ1(g) + χρ2

(g)|2

=1

2〈χρ1

+ χρ2, χρ1

+ χρ2〉B0

,

ce qui (toujours d’apres le Theoreme 4.7 et le Lemme de Schur) implique queρ1 et ρ2 sont irreductibles et non equivalentes.

On verifie finalement que l’on a ainsi obtenu toutes les representations deB0 en appliquant la formule du degre :

|B0| =p(p− 1)

2=p− 1

2· 11 + 2 ·

(p− 1

2

)2

.

Ce qui conclut la demonstration de la Proposition 4.9.

Demonstration du Theoreme 4.5. Soit π un representation non triviale dePSL(2,Fp) sur Cn. Considerons la restriction π|B0

. Celle-ci se decompose ensomme directe de representations irreductibles de B0. Puisque p ≥ 5, il estclassique que le groupe PSL(2,Fp) est simple, la representation π|B0

est doncfidele, i.e. π|B0

(g) est different de l’identite des que g est non trivial. Mais lesp−12 representations de dimension 1 de B0 sont triviales sur z 7→ z + b ⊂ B0,

l’une des representations ρ1, ρ2 doit donc apparaıtre dans π|B0. On en deduit

donc que n ≥ p−12 .

4.3 Comptage de points dans les reseaux arithmetiques

Fixons dans cette section deux entiers strictement positifs a et b et consideronsle groupe Γ = Γa,b construit au §1.2. Nous nous proposons ici d’etudier la fonc-tion ∑

γ∈Γ(p), l(γ)≤t

1

lorsque t et p (entier premier) tendent vers l’infini.Nous montrons le theoreme suivant.

Theoreme 4.10 Soient a et b deux entiers > 0 et Γ = Γa,b. Pour tout reelε > 0, il existe alors une constante Cε telle que pour tout reel t > 0 et toutentier premier p,

γ∈Γ(p), l(γ)≤t

1 ≤ Cε

(e(1+ε)t

p3+e(1+ε)t/2

p2+ 1

).

Page 99: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.3. COMPTAGE DE POINTS DANS LES RESEAUX ARITHMETIQUES99

Demonstration. Commencons par remarquer que siA est un element de PSL(2,R),

2 cosh(l(A)) = tr(tAA).

Notons ||.|| la norme sur SL(2,R) definie par ||A|| = (tr(tAA))1/2. Il s’agit alorsde demontrer que

N(T,Γ(p)) :=∑

γ∈Γ(p), ||γ||≤T

1 ≤ Cε

(T 2+ε

p3+T 1+ε

p2+ 1

).

Nous devons donc majorer le nombres d’entiers x0, x1, x2, x3 verifiant les condi-tions suivantes :

|x0|√a|x1|, b|x2|, b

√a|x3| ≤ T, (4.4)

x20 − ax2

1 − bx22 + abx2

3 = 1, (4.5)

x0 ≡ 1 (mod p), (4.6)

x1 ≡ x2 ≡ x3 ≡ 0 (mod p). (4.7)

Les conditions (4.5) et (4.7) impliquent que

x20 ≡ 1 (mod p2).

La condition (4.6) implique alors que si p 6= 2,

x0 ≡ 1 (mod p). (4.8)

Et il est immediat qu’il existe Oε

(T 1+ε

p2

)choix de x0 6= 1 verifiant (4.4) et (4.8).

Puis il existe Oε

(T 1+ε

p + 1)

choix de x3 verifiant (4.4) et (4.7).

Finalement, pour chaque choix de x0 6= 1 et de x3 comme ci-dessus, posonsξ = x2

0 + abx23 − 1. La condition (4.4) implique que ξ est un O(T 2) et le nombre

d’entiers x1, x2 verifiant ax21 + bx2

2 = ξ est majore par le nombre de manierede factoriser l’ideal (ξ) en un produit d’ideaux dans Q[

√a,√b,√−1], c’est en

particulier un Oε(Tε). Finalement,

N(T,Γ(p)) = Oε

(T 1+ε

p2

(T 1+ε

p+ 1

)+ 1

)

= Oε

(T 2+ε

p3+T 1+ε

p2+ 1

).

Et le Theoreme 4.10 est demontre.

Page 100: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

100 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

4.4 Minoration uniforme de la premiere valeur

propre

Nous pouvons finalement demontrer l’approximation suivante de la Conjec-ture de Selberg.

Theoreme 4.11 Soient a et b deux entiers > 0 tels que Γ = Γa,b soit cocom-pact. Alors, si p est un entier premier suffisamment grand,

λ1(Γ(p)\H) ≥ min

(5

36, λ1(Γ\H)

).

Demonstration. Nous allons montrer que si 0 ≤ λ1 < 5/36 est la premiere valeurpropre du laplacien sur Γ(p)\H (avec p grand) alors λ1 est une valeur propre dulaplacien sur Γ\H.

D’apres le Theoreme 4.2, il existe une constante C0 > 0 telle que pour toutR > 0,

m(λ1) ≤ C0[Γ : Γ(p)]e−√

1−4λ1R∑

γ∈Γ(p), l(γ)≤2R

e−l(γ)/2.

D’un autre cote, d’apres le Theoreme 4.10 et pour tout ε > 0,

γ∈Γ, l(γ)≤2R

e−l(γ)/2 =

∫ 2R

0

e−t/2d

γ∈Γ(p), l(γ)≤t

1

=

∫ 2R

0

e−t/2

γ∈Γ(p), l(γ)≤t

1

dt

= Oε

(∫ 2R

0

(e(1+ε)t

p3+e(1+ε)t/2

p2+ 1

)e−t/2dt

)

= Oε

(∫ 2R

0

e(1/2+ε)t

p3+ 1dt

)

= Oε

(e(1+ε)R

p3+ 2R

),

d’ou il decoule finalement que

m(λ1) = Oε

([Γ : Γ(p)]e−

√1−4λ1R

(e(1+ε)R

p3+ 2R

)). (4.9)

Remarquons maintenant que pour presque tout entier premier p, les entiersa et b sont tous les deux premiers a p. Il est par ailleurs classique (c’est uncorollaire du Theoreme de Chevalley-Warning) que toute forme quadratiqued’au moins 3 variables sur le corps fini Fp a un zero non trivial. L’equation

−ax21 − bx2

2 + abx23 = 0

a donc une solution non triviale modulo p et la demonstration du Lemme 1.8montre que le quotient

Γ/Γ(p) ∼= SL(2,Fp).

Page 101: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.5. LE CAS DE LA SURFACE MODULAIRE 101

En particulier,

[Γ : Γ(p)] =πp3

6(1 − p−2)

et (4.9) se reecrit

m(λ1) = Oε

(e−

√1−4λ1R(e(1+ε)R + 2Rp3)

). (4.10)

En prenant finalement R tel que eR = p3, on obtient

m(λ1) = Oε

(p3(1−

√1−4λ1+ε)

). (4.11)

D’un autre cote, et puisque Γ(p) est distingue dans Γ, on a une actiondu groupe Γ/Γ(p) ∼= SL(2,Fp) sur Γ(p)\H par transformations du revetementΓ(p)\H → Γ\H. Cette action induit une action du groupe SL(2,Fp) sur les fonc-tions sur Γ(p)\H. Cette action preserve de plus le sous-espace propre associe ala valeur propre λ1, notons V (λ1) la representation (de dimension finie) ainsiobtenue. Supposons par l’absurde que λ1 n’est pas dans le spectre de Γ\H, larepresentation V (λ1) ne peut alors contenir la representation triviale et d’apresle Theoreme 4.5 sa dimension est ≥ (p− 1)/2 (pour p ≥ 5).

Finalement et pour p suffisamment grand,

p− 1

2≤ m(λ1) = Oε

(p3(1−

√1−4λ1+ε)

).

Autrement dit,

1 ≤ 3(1−√

1 − 4λ1)

ce qui contredit notre hypothese λ < 5/36.

4.5 Le cas de la surface modulaire

Gamburd a montre comment faire fonctionner la demonstration ci-dessusdans le cas (non compact) de la surface modulaire pour obtenir le theoremesuivant.

Theoreme 4.12 Soit p un nombre premier quelconque et soit Γ(p) = ker (SL(2,Z) → SL(2,Z/pZ)).Alors,

λ1(Γ(p)\H) ≥ 5/36.

Remarquons que λ1 signifie ici premiere valeur propre non nulle du lapla-cien ∆ sur les fonctions ∈ C(Γ(p)\H). Le reste est du spectre est decrit par latheorie des series d’Eisenstein. Il est essentiellement (sauf pour un sous-espacede dimension fini) continue. La Conjecture de Selberg est donc reellement uneconjecture sur le spectre du laplacien dans C(Γ(p)\H). Pour plus de details surle reste du spectre dont nous ne parlerons pas dans ces notes, on renvoie au livred’Iwaniec [7].

Le reste de cette section est consacre a la demonstration du Theoreme 4.12et nous ne considerons que le spectre du laplacien dans C(Γ(p)\H).

La demonstration du Lemme 4.1 montre que l’operateur Tk induit par lenoyau K est un operateur positif sur L2(Γ(p)\H). La projection orthogonale

Page 102: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

102 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

sur le sous-espace de L2(Γ(p)\H) orthogonal au sous-espace engendre par lesfonctions λ1-propres du laplacien dans C(Γ(p)\H) est aussi un operateur positif.L’operateur obtenu en composant ces deux operateurs (qui commutent) est doncencore positif ; c’est de plus un operateur inegral de noyaux

B(z, w) = K(z, w) −∑

λj=λ1

h(λ1)φj(z)φj(w).

En considerant (pour z fixe) la suite de fonctions

fn(w) =

1 si ρ(z, w) ≤ 1/n,0 si ρ(z, w) > 1/n,

on aB(z, z) = lim

n→+∞〈Bfn, fn〉 ≥ 0.

Autrement dit,

K(z, z)−∑

λj=λ1

h(λ1)|φj(z)|2. (4.12)

En integrant sur Γ(p)\H on retrouve la encore

tr(Tk) ≥ h(λ1)m(λ1),

ou m(λ1) designe ici la multiplicite de la valeur propre λ1 dans le spectre du la-placien dans C(Γ(p)\H). Si l’on veut generaliser le Theoreme 4.2, la situation estcompliquee par la presence de cusps. Nous allons devoir decompose un domainefondamental de Γ(p) dans H.

Le domaine fondamental

D(1) = z = x+ iy ∈ H : |x| ≤ 1/2 et |z| > 1

se decompose, pour tout Y > 1, en une reunion

D(1) = KY (1) ∪ P (Y )

ou KY (1), le coeur est relativement compact dans H et P (Y ) est le domainefondamental d’un cusp

P (Y ) = z = x+ iy : |x| ≤ 1/2 et y > Y

base sur l’horocyclehY = z = x+ iy : y = R.

Un cusp se subdivise en un collier de largeur log 2 et l’adherence d’un cuspcontigue. Plus precisemment (et toujours au niveau du domaine fondamental),

P (Y ) = C(Y ) ∪ P (2Y ),

ouC(Y ) = z = x+ iy : |x| ≤ 1/2 et Y < y < 2Y

est le sous-ensemble des points de P (Y ) compris entre les horocycles hY et h2Y .

Page 103: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.5. LE CAS DE LA SURFACE MODULAIRE 103

On obtient une decomposition analogue de Γ(p)\H en considerant la pro-jection de revetement Γ(p)\H → Γ\H. Fixons alors Y > 1 de telle facon queles differents cusps ne se rencontrent pas. Soit Kp le sous-ensemble compact deΓ(p)\H obtenu en prenant la reunion du coeur de Γ(p)\H et des colliers desdifferents cusps. Nous cherchons a comparer la norme L2 d’une fonction propredu laplacien sur Γ(p)\H avec la norme L2 de sa restriction a Kp.

Soient donc f une fonction λ-propre du laplacien dans C(Γ(p)\H) et P (Y )le domaine fondamental d’un cusp que l’on suppose de la forme

P (Y ) = z = x+ iy : 0 < x < q, y > Y

avec son collier

C(Y ) = x+ iy : 0 < x < q, Y < y < 2Y .

Lemme 4.13 Soit s0 un reel > 1/2. Il existe alors une constante Cs0> 0 telle

que pour tout Y > 0, s ∈]s0, 1[ et pour toute fonction f comme au-dessus avecλ = s(1 − s), on a : ∫ 2Y

Y

∫ q

0 |f(z)|2dµ(z)∫ +∞2Y

∫ q

0 |f(z)|2dµ(z)≥ Cs0

.

Demonstration. Quitte a conjuguer le groupe Γ(p) dans G, on peut supposerq = 1. La fonction f verifie alors f(z + 1) = f(z), on peut donc la decomposeren serie de Fourier

f(z) =∑

n

fn(y)e(nx),

ou

fn(y) =

∫ 1

0

f(z)e(−nx).

Puisque f est lisse la serie de Fourier ci-dessus converge absolument et uni-formement sur les compacts et puisque f ∈ C(Γ(p)\H), le terme constant f0 ≡ 0.

La fonction f etant λ-propre, la fonction F (y) = fn(y/(2πn)) est solution del’equation differentielle (2.9). Puisque de plus f ∈ C(Γ(p)\H), celle-ci est borneeet verifie donc f(z) = o(e2πy) lorsque y → ∞ et la fonction z 7→ fn(y)e(nx) estun multiple de la fonction de Whittaker z 7→Ws(nz) (cf. 2.10). On a finalementle developpement suivant :

f(z) =∑

n6=0

f(n)Ws(nz). (4.13)

Et l’identite de Parseval s’ecrit

n6=0

|f(n)Ws(iny)|2 =

∫ 1

0

|f(x+ iy)|2dx.

Et donc,

∫ ∞

Y

∫ 1

0

|f(z)|2dµ(z) =∑

n6=0

|f(n)|2∫ ∞

Y

|Ws(iny)l2y−2dy. (4.14)

Page 104: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

104 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

Posons ν = s− 1/2. D’apres l’expression 2.10, le Lemme 4.13 decoule doncdu calcul suivant sur les fonctions de Bessel. Pour Y > 0 et ν ∈]ν0, 1/2[ on a

∫ 2Y

YK2

ν(x)x dx

∫∞2Y

K2ν(x)x dx

≥ Cν0> 0. (4.15)

Avant de demontrer (4.15) revenons sur les fonctions de Bessel. (Remarquonsen passant que la fonction de Bessel Kν est reelle pour ν reel.)

Les fonctions de Bessel Les fonctions de Bessel sont les solutions de l’equationdifferentielle

z2f ′′ + zf ′ − (z2 + ν2)f = 0, (4.16)

ou ν est un nombre complexe.Puisque l’equation (4.16) est singuliere en z = 0, il y aura un probleme.

Celui-ci se resout en coupant le plan des z complexes le long du segment] − ∞, 0]. L’equation (4.16) admet deux solutions lineairement independantesholomorphes en z ∈ C−] − ∞, 0]. L’une d’entre elle est facilement obtenuecomme somme de la serie

Iν(z) =

+∞∑

k=0

1

k!Γ(k + 1 + ν)

(z2

)ν+2k

(4.17)

qui converge absolument sur tout le plan complexe. Comme fonction du pa-rametre ν, appele l’ordre de Iν c’est une fonction entiere.

Changer ν en −ν ne modifie pas l’equation (4.16), la fonction I−ν(z) est doncune autre solution. Les solutions Iν(z), I−ν(z) sont lineairement independantessi et seulement si le wronskien W (Iν(z), I−ν(z)) = −2(πz)−1 sinπν n’est pasidentiquement nul, autrement dit si ν n’est pas un entier.

Si ν = n est un entier, on a la relation

In(z) = I−n(z). (4.18)

Pour obtenir un couple de solutions lineairement independantes convenablepour ν quelconque, on forme la combinaison lineaire

Kν(z) =π

2(sinπν)−1(I−ν(z) − Iν(z)), (4.19)

ou pour ν = n on prend la limite. Les fonctions Iν(z) et Kν(z) sont toujourslineairement independantes puisque le wronskien est

W (Iν(z),Kν(z)) = −z−1.

Pour ν = n entier, la fonction In(z) est entiere. Si ν n’est pas entier il y aun discontinuite le long de l’axe reel negatif, on a plus precisemment

Iν(−x+ εi) − Iν(−x− εi) ∼ 2i sin(πν)Iν (x)

pour x > 0 quand ε tend vers 0.

Page 105: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.5. LE CAS DE LA SURFACE MODULAIRE 105

Les fonctions de Bessel d’ordres differents sont relies par les relations derecurrences suivantes :

Iν−1(z) − Iν+1(z) = 2νz−1Iν(z),

Iν−1(z) + Iν+1(z) = 2I ′ν(z),

(zνIν(z))′ = zνIν−1(z),

(z−νIν(z))′ = z−νIν+1.

(Pour les fonctions K les formules ci-dessus restent valables si l’on change lesigne du membre de droite.)

Les fonctions de Bessel d’ordre 1/2 sont des fonctions elementaires :

I1/2(z) =

(2

πz

)1/2

sinh z, K1/2(z) =( π

2z

)1/2

e−z.

a l’aide des formules de recurrences ci-dessus on peut donc trouver des expres-sions elementaires pour les fonctions de Bessel d’ordre la moitie d’un entierimpair.

Concernant les fonctions K, on a les comprtements asymptotiques suivants :

Kν(x) ∼ Γ(ν)

2

(x2

)−ν

quand x→ 0. (4.20)

Pour 0 < x < 1,

Kν(x) =2ν−1Γ(ν)

xν+O(x2−ν ), (4.21)

ou la constante dans le O est uniforme pour ν ∈]ν0, 1/2[ et x ∈]0, 1/2[.Pour x > 1 + ν2

Kν(x) =( π

2x

)1/2

e−x

(1 +O

(1 + ν2

x

)), (4.22)

ou la constante dans le O est uniforme pour ν ∈]ν0, 1/2[ et x > 2. Plusprecisemment, avec µ = 4ν2

Kν(x) ∼√

π

2xe−x

1 +

ν − 1

8x+

(ν − 1)(ν − 9)

2!(8x)2+ . . .

.

Il y a differentes representations integrales des fonctions de Bessel, en voiciquelques unes pour les fonctions K.

Kν(z) = π1/2Γ(ν +1

2)−1

(z2

)ν∫ +∞

1

(t2 − 1)ν−1/2e−tzdt

= π−1/2Γ(ν +1

2)(z

2

)−ν∫ +∞

0

(t2 + 1)−ν−1/2 cos(tz)dt

=( π

2z

)1/2

Γ(ν +1

2)−1e−z

∫ ∞

0

e−t

(t

(1 +

t

2z

))ν−1/2

dt

=1

2

∫ +∞

0

exp

(−z

2

(t+

1

t

))t−ν−1dt

=

∫ +∞

0

e−z cosh t cosh(νt)dt,

Page 106: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

106 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

ou Re(z) > 0 et Re(ν) > −1/2. De cette derniere representation integrale ondeduit facilement les deux proprietes suivantes.

1. Pour ν fixe et x > 0 la fonction Kν(x) est positive et decroissante.

2. Pour x > 0 fixe et ν > 0 la fonction Kν(x) est positive et croissante.

Verifions maintenant la minoration (4.15) en distingant trois cas suivant lesvaleurs de Y .

Commencons par les grandes valeurs de Y , Y > A, ou nous fixons laconstante A ci-dessous. L’equation (4.22) (et les commentaires qui la suivent)implique qu’il existe une constante C1 telle que

∣∣∣∣Kν(x) −( π

2x

)1/2

e−x

∣∣∣∣ ≤ C1e−x

x3/2(4.23)

uniformement pour x ≥ 2 et ν ∈]ν0, 1/2[. Soit

A = max(4C1, 2) + 1. (4.24)

Pour Y > A, on a

∣∣∣∣∣

∫ 2Y

Y

K2ν (x)

xdx− π

2

∫ 2Y

Y

e−2x

x2dx

∣∣∣∣∣ ≤ C21

∫ 2Y

Y

e−2x

x4dx,

d’ou l’on deduit

∫ 2Y

Y

K2ν (x)

xdx ≥ π

2

∫ 2Y

Y

e−2x

x2dx− C2

1

∫ 2Y

Y

e−2x

x4dx

≥ π

2

e−2Y

16Y 2− C2

1

e−2Y

2Y 2.

De la meme maniere, on a

∣∣∣∣∫ ∞

2Y

K2ν (x)

xdx− π

2

∫ ∞

2Y

e−2x

x2dx

∣∣∣∣ ≤ C21

∫ ∞

2Y

e−2x

x4dx,

d’ou l’on deduit∫ ∞

2Y

K2ν (x)

xdx ≤ π

2

∫ ∞

2Y

e−2x

x2dx+ C2

1

∫ ∞

2Y

e−2x

x4dx

≤ π

2

e−4Y

4Y 2+ C2

1

e−4Y

16Y 4.

Pour Y > A, on a donc

∫ 2Y

YK2

ν(x)x dx

∫∞2Y

K2ν(x)x dx

≥π2

e−2Y

16Y 2 − C21

e−2Y

2Y 2

π2

e−4Y

4Y 2 + C21

e−4Y

16Y 4

≥ e2Y

4

1 − 16C21

πY 2

1 +2C2

1

πY 2

;

enfin puisque Y > A > 4C1, cette derniere expression est

≥ e4C1

4

1 − 16C21

π16C21

1 + 216π

≥ 1

6e4C1 > 0.

Page 107: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.5. LE CAS DE LA SURFACE MODULAIRE 107

Considerons maintenant le cas ou Y est petit, 0 < Y < a/2, ou nous fixonsla constante a ci-dessous. D’apres (4.21), il existe une constante C2 telle que

|Kν(x) − 2ν−1Γ(ν)

xν| ≤ C2x

2−ν , (4.25)

uniformement pour x ∈]0, 1/2[ et ν ∈]ν0, 1/2[. Soit bν = 2ν−1Γ(ν). La fonction

1√C1

[b2ν10ν

(1 − 1

22ν

)]1/2

est strictement positive et continue sur [ν0, 1/2], notons a son minimum (qui est> 0).

L’equation (4.25) implique∣∣∣∣∣

∫ 2Y

Y

K2ν (x)

xdx− b2ν

∫ 2Y

Y

x−2ν−1dx

∣∣∣∣∣ ≤ C22

∫ 2Y

Y

x3−2νdx,

d’ou l’on deduit que

∫ 2Y

Y

K2ν (x)

xdx ≥ b2ν

2νY −2ν(1 − 1

22ν) − 5C2

2Y4−2ν .

De la meme maniere, on a∣∣∣∣∫ a

2Y

K2ν(x)

xdx− b2ν

∫ a

2Y

x−2ν−1dx

∣∣∣∣ ≤ C22

∫ a

2Y

x3−2νdx,

d’ou l’on deduit que

∫ a

2Y

K2ν (x)

xdx ≤ b2ν

Y −2ν

22ν+C2

2a4−2ν

3.

D’un autre cote, d’apres la consequence 2. de la representation integrale desfonctions K, pour ν ∈]ν0, 1/2[ on a :

∫ ∞

a

K2ν(x)

xdx ≤

∫ ∞

a

K21/2(x)

xdx = Ca.

On obtient donc,

∫ 2Y

YK2

ν(x)x dx

∫∞2Y

K2ν(x)x dx

≥b2νY −2ν

2ν22ν (22ν − 1)5C22Y

4−2ν

b2νY −2ν

2ν22ν +C2

2a4−2ν

3 + Ca

.

Et, puisque 2Y < a, cette derniere expression est

≥ b2ν(22ν − 1) − 10ν22νC22a

4

b2ν + C22a

4 + Caa2ν

qui est strictement positif compte tenu du choix de a.Considerons finalement le cas Y ∈ [a/2, A]. L’expression

∫ 2Y

YK2

ν(x)x dx

∫∞2Y

K2ν(x)x dx

Page 108: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

108 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

est une fonction continue et strictement positive en les variables ν et Y , elleatteint donc son minimum sur le compact ν ∈ [ν0, 1/2] et Y ∈ [a/2, A] et celui-ci est > 0. Ce qui conclut la demonstration de (4.15) et donc du Lemme 4.13.

D’apres la demonstration du Theoreme 4.2

h(λ1) ≥ conste(1+√

1−4λ1)R,

ou la constante est non nulle. En integrant l’inegalite (4.12) sur Kp on obtientdonc :

Kp

K(z, z)dµ(z) ≥ conste(1+√

1−4λ1)R

Kp

λj=λ1

|φj(z)|2dµ(z).

Apres permutation des signes sommes et integrales, le Lemme 4.13 applique auxfonctions φj implique que (quitte a modifier la constante)

conste(1+√

1−4λ1)R

Kp

λj=λ1

|φj(z)|2dµ(z) ≥ e(1+√

1−4λ1)R

Γ(p)\H

λj=λ1

|φj(z)|2dµ(z)

≥ m(λ1)e(1+

√1−4λ1)R.

Nous avons donc demontre l’inegalite :

m(λ1) ≤ conste−(1+√

1−4λ1)R

Kp

K(z, z)dµ(z). (4.26)

D’un autre cote,

Kp

K(z, z)dµ(z) =∑

γ∈Γ(p)

Kp

k(z, γz)dµ(z)

=∑

γ∈Γ(p)

δΓ/Γ(p)

K1

k(δ−1z, δ−1γz)dµ(z)

≤ (const)p3∑

γ∈Γ(p)

K1

k(z, γz)dµ(z).

Ici k = FR et donc∫

Kp

K(z, z)dµ(z) ≤ (const)eRp3

K1

γ∈Γ(p), ρ(z,γz)≤2R

e−ρ(z,γz)/2dµ(z).

Or,

γ∈Γ(p), ρ(z,γz)≤2R

e−ρ(z,γz)/2 =

∫ 2R

0

e−t/2

γ∈Γ(p), ρ(z,γz)≤t

1

dt.

Rappelons maintenant maintenant que

cosh ρ(z, w) = 1 +|z − w|22ImzImw

Page 109: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

4.5. LE CAS DE LA SURFACE MODULAIRE 109

et donc que si γ =

(a bc d

)∈ G,

2 coshρ(i, γi) = a2 + b2 + c2 + d2.

Donc :

γ∈Γ(p), ρ(i,γi)≤t

1 =

∣∣∣∣(

a bc d

)∈ Γ(p) : a2 + b2 + c2 + d2 ≤ 2 cosh t

∣∣∣∣ .

Pour z 6= i, on a

γ∈Γ(p), ρ(z,γz)≤t

1 =

∣∣∣∣(

a bc d

)∈ Γ(p) : fz(a, b, c, d) ≤ 2 cosh t

∣∣∣∣ ,

ou fz une forme quadratique definie positive en les variables a, b, c, d qui dependcontinuement de z. Puisque K1 est compact, il existe une constante σ > 0(independante de p, R et z) telle que

σ−1 ≤ fz(a, b, c, d)

a2 + b2 + c2 + d2≤ σ.

Et donc,

γ∈Γ(p), ρ(z,γz)≤t

1 =

∣∣∣∣(

a bc d

)∈ Γ(p) : a2 + b2 + c2 + d2 ≤ 2σ−1 cosh t

∣∣∣∣ .

La demonstration du Theoreme 4.10 implique maintenant que pour tout reelε > 0, il existe une constante Cε telle que pour tout reel t > 0 et pour toutentier premier p,

∣∣∣∣(

a bc d

)∈ Γ(p) : a2 + b2 + c2 + d2 ≤ 2 cosh t

∣∣∣∣ ≤ Cε

(e(1+ε)t

p3+e(1+ε)t/2

p2+ 1

).

Il decoule finalement de tout ceci et de la demonstration de (4.9) que

m(λ1) ≤ Oε

(e−(1+

√1−4λ1)R(e(1+ε)R + 2Rp3

).

D’ou, en prenant R tel que eR = p3,

m(λ1) = Oε

(p3(1−

√1−4λ1+ε)

). (4.27)

On conclut finalement la demonstration du Theoreme 4.12 comme la demonstrationdu Theoreme 4.11 en utilisant de plus le Theoreme 2.41.

Page 110: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

110 CHAPITRE 4. AUTOUR DE LA CONJECTURE DE SELBERG

Page 111: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Chapitre 5

Probleme de l’isospectralite

Nous avons associe a toute surface hyperbolique compacte la suite λi desvaleurs propres du laplacien sur cette surface. Une question naturelle, dans lagrande tradition de la geometrie riemannienne, est de demander la significationgeometrique des nombres λi.

Durant la premiere moitie du XXieme siecle, le sentiment dominant sembleetre que la suite des valeurs propres λi devrait completement determiner lageometrie de la surface. Ce sentiment fut surement nourrit par la loi de Weylque nous avons demontre plus haut.

Remarquons que si l’on considere que le son verifie une equation similaire acelle de la chaleur, on peut penser aux λi comme aux sons emis par la surfacelorsque l’on frappe dessus. Pour paraphraser Mark Kac, la question que l’on sepose alors est “Peut-on entendre la forme d’une surface ?”.

Depuis une trentaine d’annees l’attention s’est tournee vers des exemplescontredisant les premieres intuitions. Disons donc que deux surfaces compactesS1 et S2 sont isospectrales si les valeurs propres du laplacien sont les memespour S1 et S2. Notre but ici est de montrer comment construire de maniereassez explicite des surfaces isospectrales mais non isometriques.

Le premier exemple de varietes (des tores de dimension 16) isospectralesmais non isometriques a ete construit par Milnor. Vigneras [14] construit dessurfaces arithmetiques isospectrales non isometriques. Depuis ces premiers tra-vaux, la situation a evoluee tres vite suite a la decouverte par Sunada [12] d’unemethode systematique de construction de varietes isospectrales. Nous decrivonsmaintenant cette methode dans le cas des surfaces hyperboliques.

5.1 La formule de traces de Sunada

Soit S = Γ\H une surface hyperbolique et S ′ = Γ′\H un revetement finigaloisien de S. Commencons par remarquer que le noyau de la chaleur PΓ(z, w, t)de S s’exprime en fonction de celui PΓ′(z, w, t) de S′ comme

PΓ(z, w, t) =∑

γ∈Γ′\ΓPΓ′(z, γw, t).

111

Page 112: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

112 CHAPITRE 5. PROBLEME DE L’ISOSPECTRALITE

En posant z = w et en integrant sur M , on a

tr(PΓ,t) =

S

PΓ(z, z, t)dµ(z) =1

[Γ : Γ′]

γ∈Γ′\Γ

S′

PΓ′(z, γz, t)dµ(z).

Remarquons maintenant que les termes de la somme dans le membre dedroite restent inchanges lorsque γ est remplace par un conjugue δγδ−1 de γ,puisque :

1. pour tout δ ∈ Γ,PΓ′(δz, δw, t) = PΓ′(z, w, t)

(δ normalise Γ′), et

2. d’apres le point 1.,∫

S′

PΓ′(z, δγδ−1)dµ(z) =

S′

PΓ′(δ−1z, γδ−1z)dµ(z)

=

S′

PΓ′(z, γz)dµ(z) (changement de variable).

On en deduit que

tr(PΓ,t) =∑

[γ]

|[γ]|[Γ : Γ′]

S′

PΓ′(z, γz)dµ(z),

ou [γ] designe la classe de conjugaison de γ dans Γ′\Γ.Supposons maintenant que l’on ait une tour de sous-groupes d’indices finis

Γ′ ⊂ Γ1 ⊂ Γ0 avec Γ′ distingue dans Γ1 et dans Γ0, mais Γ1 pas necessairementdistingue dans Γ0. Notons H le groupe fini Γ′\Γ1, F le groupe fini Γ′\Γ0, S

′ =Γ′\H et S1 = Γ1\H.

D’apres ce que nous avons vu ci-dessus,

tr(PΓ1,t) =∑

[f ]∈F

|[f ]||F |

S′

PΓ′(z, fz)dµ(z).

Mais si f et f ′ sont conjugues dans H , alors∫

S′

PΓ′(z, fz)dµ(z) =

S′

PΓ′(z, f ′z)dµ(z)

de telle maniere que

tr(PΓ1,t) =∑

[h]∈H

|[h] ∩ F ||F |

S′

PΓ′(z, hz)dµ(z).

L’important pour nous est que les integrales dans le second membre ne dependentque de H mais pas de F , seuls les coefficients dependent de F . Si l’on peut trou-ver deux sous-groupe F1 et F2 de G verifiant

|[h] ∩ F1| = |[h] ∩ F2|, pour tout h ∈ H, (5.1)

alors les deux surfaces corresondantes S1 et S2 verifierons

tr(PΓ1,t) = tr(PΓ2,t)

et seront donc isospectrales.On a donc demontre le theoreme suivant.

Page 113: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

5.2. UN TRIPLET DE SUNADA 113

Theoreme 5.1 Soient H, F1 et F2 trois groupes finis verifiant (5.1), et S0, S1,S2, S

′ un diagramme de surfaces hyperboliques comme suit :

S′F1

F2

S1 H ↓ S2

S0

Alors S1 et S2 sont isospectrales.

Il nous reste

1. a construire des groupes finis H , F1 et F2 verifiant (5.1), et

2. a s’assurer que les surfaces obtenues ne sont pas isometriques.

5.2 Un triplet de Sunada

Notons H le groupe SL(3,Z/2Z). Et soient les sous-groupes de G

F1 =

1 ∗ ∗0 ∗ ∗0 ∗ ∗

et F2 = tF1.

Lemme 5.2 Pour tout element h ∈ H,

|[h] ∩ F1| = |[h] ∩ F2|.Demonstration. Un element σ ∈ H appartient au sous-groupe F1 si et seulement

si le vecteur

100

est un vecteur propre de σ. Le conjugue hσh−1 (pour un

certain h ∈ H) appartient donc au sous-groupe F1 si et seulement si le vecteur

h−1

100

est un vecteur propre de σ. Notons C(σ) le centralisateur de σ

dans H . Puisque H agit transitivement sur l’ensemble des vecteurs non nuls de(Z/2Z)3, on obtient :

σ] ∩ F1| =|h ∈ H : hσh−1 ∈ F1|

|C(σ)|

=1

|C(σ)| | vecteurs propres de σ| × |f ∈ F1 : f

100

=

100

|

=1

|C(tσ)| | vecteurs propres de tσ| × |f ∈ F1 : tf

100

=

100

|

= σ] ∩ F2|.

Exercice 5.3 En remarquant que les groupes F1 et F2 ne sont pas conjuguesdans H , appliquer le Theoreme 5.1 pour montrer que toute surface hyperboliquecompacte admet deux revetements finis isospectraux mais non isometriques.

Page 114: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

114 CHAPITRE 5. PROBLEME DE L’ISOSPECTRALITE

Page 115: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Chapitre 6

La conjecture d’unique

ergodicite quantique

arithmetique

Soit S = Γ\H une surface hyperbolique compacte (ou de volume fini). Rap-pelons la

Conjecture d’unique ergodicite quantique Soit φi une suite de fonctionspropres du laplacien ∆ sur S, de normes L2 egales a 1 et de valeurs propresassociees λi → +∞. Alors, la mesure de probabilite dµi(x) = |φi(x)|2dµ(x)converge (pour la topologie faible ∗) vers la mesure normalisee vol(M)−1dµ.

Rappelons qu’une suite de mesures µi converge vers une mesure µ pour latopologie faible ∗ si pour toute fonction f continue a support compact, la suited’integrales

∫fdµi converge vers l’integrale

∫fdµ.

Dans la suite, nous appelons limite quantique toutes limite (faible ∗) ν d’unesuite de mesures dµi comme dans la Conjecture.

Remarquons qu’avant meme que la Conjecture soit enonce par Sarnak, Schni-relman, Zelditch et Colin de Verdiere ont demontre l’ergodicite quantique, asavoir que la Conjecture est verifiee pour toute suite d’un sous-ensemble dedensite 1 de l’ensemble des mesures dµi considerees dans la Conjecture. Lademonstration du Theoreme de Schnirelman, Zelditch et Colin de Verdiere re-pose sur le relevement micrlocal, nous n’en retiendrons ici que la consequencesuivante :

Relevement microlocal Toute limite quantique ν (mesure de proba sur S)admet un releve ν au fibre unitaire tangent S1(S) qui est invariante sous l’actiondu flot geodesique.

La Conjecture d’unique ergodicite quantique est surement hors de porteea lors actuelle. Neanmoins dans le cas des surfaces arithmetiques des progresspectaculaires ont ete effetue l’an dernier par Elon Lindenstrauss via la theorieergodique. Le but (tres modeste) de ce Chapitre est d’explique comment ramenela Conjecture d’unique ergodicite arithmetique a des theoremes ergodiques pourlesquels nous renvoyons le lecteur aux articles originaux.

115

Page 116: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

116CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

6.1 Premiers liens avec la theorie ergodique

Rappelons que le pan hyperbolique H est un espace homogene ∼= SL(2,R)/SO(2).Le groupe G = SL(2,R) agit sur le fibre unitaire tangent S1H et le stabilisateurde (i, d

dt |0eti) est ±I. Le fibre unitaire tangent a H

S1H ∼= PSL(2,R).

Remarquons que la courbe t 7→ eti =

(et/2 00 e−t/2

).i est une geodesique γ

dans H. Pour tout g ∈ G,

g.γ(t) = g

(et/2 00 e−t/2

).i.

L’action du flot geodesique sur S1H correspond donc a l’action a droite dugroupe diagonal

A =

(et/2 0

0 e−t/2

): t ∈ R

sur PSL(2,R).Considerons maintenant Γ < G un sous-groupe discret de covolume fini.

Nous supposons comme d’habitude que le groupe Γ contient l’element −I . Alorsle fibre unitaire tangent a la surface hyperbolique S = Γ\H

S1(S) ∼= Γ\SL(2,R).

Sous cette identification, l’action du flot geodesique correspond a l’action adroite du groupe diagonal A. A toute limite quantique ν il correspond donc(par relevement microlocal) une mesure de proba ν sur Γ\SL(2,R) qui est A-invariante.

Cette remarque apporte peu d’informations, il y a beaucoup de telles mesuressur Γ\G que l’on associe aux differents types d’orbites de A qui peuvent etrepeu sympathiques, comme l’exercice suivant permet de le montrer.

Exercice 6.1 Soit γ une droite geodesique dans H. Il correspond a γ deuxextremites α, β ∈ P 1(R) = R ∪ ∞. Nous notons alors γ = γ(α, β) (en tenanteventuellement compte de l’ordre si la geodesique est orientee).

1. Verifier que les geodesiques

γ(p/q, p′/q′) pq′ − p′q = ±1 ∞ =1

0,

definissent une triangulation du plan hyperbolique H ; on appelle cettetriangulation, la triangulation de Farey.

2. Soit γ une geod(esique dans H, elle est separee en segments par la tri-angulation de Farey. Chaque segment joint deux cotes d’un triangle, onlui associe alors un sommet p/q ∈ P 1(Q). On appelle excursion une suitemaximal de segments associees a un meme p/q. Montrer que SL(2,Z)transforme une excursion en une excursion.

Page 117: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.1. PREMIERS LIENS AVEC LA THEORIE ERGODIQUE 117

3. La taille d’une excursion est le nombre de segments qui la compose. A toutegeodesique orientee γ il correspond alors la suite des tailles des excursionssuccessives de γ, c’est une suite d’entiers strictement positif, bien definiuniquement modulo le decalage et possiblement fini a gauche ou a droite(si l’extremite ∈ P 1(Q)). Soient α ∈ [−1, 0[ et β > 1, montrer que lan-ieme excursion (en commencant par celle a l’infini) de γ = γ(α, β) estassocie a pn−1/qn−1 = [b0, b1, . . . , bn−1, 0, . . .] le nombre rationelle obtenuen tronquant le developement en fraction continue de β a l’ordre n− 1. 1

4. En deduire qu’une geodesique de S = SL(2,Z)\H est compacte si et seule-ment si la suite associee est periodique, puis qu’une geodesique de S estrelativement compacte si et seulement si la suite des tailles est majoree.

Neanmoins les specialistes de theorie ergodique (comme Lindenstrauss) s’at-tendent a ce que la situation soit beaucoup plus simple pour l’action du sous-groupe diagonal de SL(n,R) sur l’espace des reseaux SL(n,Z)\SL(n,R) desque n ≥ 3, autrement dit des que l’on a deux dynamiques transverses qui com-mutent 2. L’espoir dans cette direction a ete explicitement formule par Margulis,dans les cas des espaces de reseaux, la Conjecture de Margulis s’enonce de lamaniere suivante.

Conjecture 6.2 (Margulis) Si n ≥ 3, toute orbite du sous-groupe diagonalA ⊂ SL(n,R) dans Xn = SL(n,Z)\SL(n,R) relativement compacte est com-pacte.

L’exercice suivant montre que la Conjecture de Margulis implique une vieilleconjecture de theorie des nombres, la Conjecture de Littlewood.

Conjecture 6.3 (Littlewood) Pour tout couple (α, β) appartenant a R2,

limq→

inf∞

(qd(qα,Z)d(qβ,Z)) = 0.

Exercice 6.4 Soit Q le polynome homogene de degre n defini sur Rn par

Q(v) = v1 . . . vn si v =

v1...vn

.

1. Montrer que si Q′ est un polynome homogene de degre n sur Rn laisseinvariant par A (le sous-groupe diagonal de SL(n,R)) alors Q′ est propor-tionnel a Q.

2. Soit g ∈ SL(n,R) et xo la classe de l’identite dans Xn. Supposons quele reel infv∈Zn−0 |Q(gv)| est strictement positif. Montrer que l’orbiteA.gx0 est relativement compact. (Indication : c’est l’inegalite arithmetico-geometrique et le Critere de Mahler.)

1Rappelons que le developement en fraction continue de β est

β = b0 +1

b1 + 1

b2+...

= [b0, b1, . . .],

avec (bi) suite d’entier (finie si β ∈ Q) b0 ∈ Z et bi > 0 pour i > 0.2Ce qui rigidifie la situation.

Page 118: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

118CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

3. Supposons maintenant que l’orbite A.gx0 est compacte. Nous voulonsmontrer que Q g est la norme d’un corps de nombre totalement reel.

(a) Montrer que SL(n,Z)∩ g−1Ag contient un sous-groupe isomorphe aZn−1.

(b) Soit σ ∈ AutQ(C) un automorphisme du corps C. Montrer que SL(n,Z)∩g−1Ag est contenu dans le stabilisateur de σQg. En deduire (a l’aidede 1.) que σQ g = λσQ g.

(c) Sur R, Q g admet la decomposition

Q g = f1 . . . fn.

Montrer que AutQ(C) agit transitivement sur les fi.

(d) Soit k = M ∈ M(n,Q) : gMg−1 diagonal, i.e. les matrices M acoefficients dans Q telles que

fiM = λifi pour tout i = 1, . . . , n.

Montrer que k est un corps de nombre totalement reel de degre n surQ et dont la norme est proportionnelle a Q g.

4. Soit g l’element de SL(3,R)

g =

1 0 0α 1 0β 0 1

.

En remarquant que si v =

q−rα−rβ

∈ Z3, Qg(v) = q(qα−rα)(qβ−rβ),

montrer que

infv∈Zn−0

|Q(gv)| = limq→

inf∞

(qd(qα,Z)d(qβ,Z)) = 0.

En deduire que la Conjecture de Margulis implique la Conjecture de Lit-tlewood.

La Conjecture de Margulis est en fait plus general puisque l’on s’attendegalement a ce que toute orbite de A soit homogene et qu’elle classifie les mesuresA-invariantes. Enoncons un autre cas particulier des Conjectures de Margulisqui est peut-etre l’exemple le plus simple de la situation generale concernee parces Conjectures.

Nous considerons temporairement le groupe G = SL(2,R) × SL(2,R) et Γun sous-groupe discret de covolume fini dans G tel que le noyau de la projectionde Γ sur chaque facteur SL(2,R) soit fini. Nous notons enfin B = A1 × A2 leproduit des sous-groupes diagonaux de chacun des facteurs SL(2,R). On estla encore dans une situation a deux dynamiques transverses qui commutent, etdans ce cas les Conjectures de Margulis impliquent.

Conjecture 6.5 (Margulis) Toute mesure de proba B-ergodique sur Γ\G estsoit la mesure de Haar soit la mesure de Haar d’une B-orbite compacte.

Page 119: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.2. MULTIPLICATION PAR 2 ET 3 SUR LE CERCLE 119

Or, des l’origine de la Conjecture d’unique ergodicite quantique arithmetiqueRudnick et Sarnak ont exclus, dans le cas Γ\SL(2,R), qu’une limite quan-tique “arithmetique” (nous reviendrons sur ce point plus tard) puisse contenirune composante ergodique supportee par une A-orbite compacte. La Conjec-ture de Margulis donne donc de l’espoir quand a une approche ergodique de laConjecture d’unique ergodicite quantique arithmetique. Il est maintenant tempsd’enoncer un theoreme allant dans le sens de la Conjecture de Margulis.

Theoreme 6.6 (Einsiedler, Katok, Lindenstrauss) Soit toujours G = SL(2,R)×SL(2,R) et Γ un sous-groupe discret de covolume fini dans G tel que le noyau dela projection de Γ sur chaque facteur SL(2,R) soit fini. Soit µ soit une mesurede proba sur Γ\G B-invariante. Supposons que chaque composante ergodiquede µ par rapport a l’action de A1 soit d’entropie > 0. Alors, la mesure µ est(SL(2,R) × I)-invariante.

Il y a alors deux obstacles majeurs a la demonstration de la Conjectured’unique ergodicite arithmetique par des methodes ergodiques.

– Il faut trouver un substitut pour la deuxieme dynamique, dons nous avonsvu qu’elle etait indispensable.

– Il faut verifier l’hypothese d’entropie positive, qui est generalement difficilea verifier en pratique.

L’arithmetique joue un role fondamental dans le franchissement de ces deuxobstacles. Commencons par decrire sur un exemple plus simple comment l’arithmetiqueva intervenir.

6.2 Multiplication par 2 et 3 sur le cercle

Dans cette section nous nous interessons aux mesures sur le cercles S1 quisont invariantes a la fois par la multiplication par 2 et par 3, et ergodiques. Se-lon une conjecture de Furstenberg, analogue a la Conjecture de Margulis dansce cadre, ces mesures seraient necessairement atomiques ou bien la mesure deLebesgue. Le cas general semble la aussi largement inaccessible, mais plusieurspreuves sont disponibles dans le cas ou l’action est d’entropie non nulle. LeTheoreme 6.6 est un developpement profond de ces idees. Nous presentons iciune preuve due a Host, en essayant de faire ressortir en quoi l’arithmetique ap-porte ces deux dynamiques transverses qui commutent dont nous avons besoin.

Nombres p-adiques

Soit p un nombre premier. On appelle anneau des entiers p-adiques, et onnote Zp, la limite projective du systeme Z/pnZ → Z/pn−1Z. Par definition, unelement de Zp est donc une suite x = (. . . , xn, . . . , x1), avec

xn ∈ Z/pnZ et xn = xn−1 dans Z/pn−1Z si n ≥ 2.

L’addition et la multiplication de Zp sont definies “coordonnees par coordonnees” ;autrement dit, Zp est un sous-anneau du produit

∏n≥1 Z/pnZ. Si l’on munit les

Z/pnZ de la topologie discrete, et∏

Z/pnZ de la topologie produit, l’anneau Zp

se trouve muni d’une topologie qui en fait un espace compact (car ferme dansun produit d’espaces compacts).

Page 120: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

120CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

La multiplication par p (donc aussi par pn) est injective dans Zp ; on verifiede plus facilement que Zp/p

nZp est isomorphe a Z/pnZ. Pour qu’un element deZp soit inversible, il faut et il suffit qu’il ne soit pas divisible par p. Si U designele groupe des elements inversibles de Zp, tout element non nul de Zp s’ecrit defacon unique sous la forme pnu, avec u ∈ U et n ≥ 0 ; l’entier n est appelevaluation p-adique de x, et note vp(x). On pose vp(0) = +∞. La topologie deZp peut etre definie par la distance

d(x, y) = e−vp(x−y).

Les ideaux pnZp forment une base de voisinages de 0 ; on en deduit immediatementque Z est dense dans Zp.

On appelle corps des nombres p-adiques, et on note Qp, le corps des fractionsde l’anneau Zp. On voit tout de suite que Qp = Zp[p

−1]. Tout element x de Q∗p

s’ecrit de facon unique sous la forme pnu, avec n ∈ Z, u ∈ U ; ici encore ns’appelle la valuation p-adique de x, et se note vp(x). On a vp(x) ≥ 0 si etseulement si x ∈ Zp. Le corps Qp, muni de la topologie definie par d(x, y) =e−vp(x−y), est localement compact, et Zp en est un sous-anneau ouvert ; le corpsQ est dense dans Qp.

Soit Tp le quotient Qp/Zp que l’on munit de la topologie quotient. L’espaceTp est un ensemble denombrable de points

Tp =

[a

pn

]: n ∈ N, a ∈ Z

(ici seule la classe de a dans Z/pnZ importe) ; il est de plus munit d’une actiondu groupe (additif localement compact) Qp. Les compacts de Tp sont ses partiesbornees pour la distance p-adique, tout compact de Tp est donc inclus dans l’undes

TNp =

[a

pk

]: k ≤ N, a ∈ Z

.

Lemme 6.7 Le groupe additif Z[p−1] plonge diagonalement dans R×Qp est unsous-groupe discret il agit librement sur R × Tp et le quotient

Z

[1

p

]\(R × Tp) ∼= Z\R = S1.

Demonstration. Soit(x,[

apn

])∈ R × Tp. On a

(x,[

apn

])=(x− a

pn , 0)

+(

apn ,[

apn

]). Donc dans Z

[1p

]\(R × Tp),

[x,

[a

pn

]]=

[x− a

pn, 0

].

Il est donc clair que l’application [x, 0] 7→ [x] ∈ Z\R induit l’homeomorphismepredit par le Lemme.

Cette nouvelle facon de voir le cercle permet de penser au cercle comme a unespace “feuillete” (ou plutot comme a un fibre principal sans base) : par chaquepoint x ∈ Z\R passe la “feuille”

x+ Tp =

[x+

a

pn

]: n ∈ N, a ∈ Z

⊂ S1.

Page 121: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.2. MULTIPLICATION PAR 2 ET 3 SUR LE CERCLE 121

L’idee de Lindenstrauss est de reellement penser a cela comme a un feulletageet donc comme a un “degre de liberte” de plus. Commencons par montrer quel’on peut “desintegrer” les mesures sur ce “feuilletage”.

Mesures conditionnelles

Toutes les mesures seront des mesures de Radon, c’est a dire definies sur latribu des boreliens et attribuant une masse finie aux compacts. En particulierles mesures de S1 seront de masse finie.

Soit B la tribu des boreliens sur S1, et F une sous-tribu engendre par unepartition F de S1 (i.e. un element de B est dans F s’il est reunion d’elementsde F . Soit µ une mesure de probabilite sur S1.

On dit que F est une partition mesurable, c’est-a-dire quand il existe unnombre denombrable de parties mesurables de S1 telles que F soit la tribuengendree par ces parties. Soit S1/F l’espace des feuilles, i.e. l’espace obtenuen identifiant deux points s’ils sont dans un meme element de F , muni de lamesure µ donn par µ(A) = µ(π−1A) o π est la projection canonique de S1 dansS1/F . Le theoreme suivant est classique.

Theoreme 6.8 (Rokhlin) Si la partition F est mesurable, alors l’espace S1/Fest un espace de Lebesgue. De plus, il existe des mesures de probabilite µξ porteespar ξ, pour ξ ∈ F , telles que : pour toute fonction f ∈ L1(µ), pour tout x ∈ S1,soit ξ l’element de F contenant x, alors

S1

f(x)dµ(x) =

S1/F

(∫

ξ

f(y)dµξ(y)

)dµ(ξ).

Par exemple, lorsque F est la partition en points (engendree par les inter-valles ouverts d’extremites rationnelles, par exemple), alors µξ est la masse deDirac en ξ, quelle que soit la mesure µ. Il y a un leger abus de notation ici,puisque le theoreme ne dit pas qu’il y a unicite, et effectivement on n’a uni-cite que pour µ-presque toute feuille. En effet, modifier µξ sur un ensemble defeuilles de mesure nulle ne modifie pas les assertions du theoreme.

Soit maintenant FN la partition dont les feuilles sont les ensembles x+ TNp

(rappelons que TNp = 0, 1/pN , . . . , (pN − 1)/pN). Les elements de FN sont les

boreliens invariants par la translation de 1/pn. On verifie aisement que FN estmesurable (elle est engendree par les ouverts f−N

p (]α, β[) ou fp : x 7→ px, et α

et β sont rationnels). Soient x ∈ S1, et ξ = x+TNp la feuille de FN le contenant.

La mesure µξ definit alors canoniquement une mesure µNx sur TN

p , en identifiant

TNp et ξ par l’application ω 7→ x + ω. Pour y ∈ ξ, il faut voir µξ(y) comme

la probabilitde choisir y si l’on choisit un point au hasard dans ξ, en suivant lamesure µ. Par construction, si y = x+ a/pN , alors µy

N s’obtient a partir de µxN

juste par une translation de −a/pn (correspondant au changement d’origine).De plus,

∫ξfdµξ =

∑ω∈T N

pf(x+ ω)µN

x (ω).En revanche, on ne peut pas faire cette construction avec la partition dont

les feuilles sont les ensembles x+ Tp, (correspondant a une sous-tribu F de B)car elle n’est pas mesurable. Comme S1 est un espace de Lebesgue, il existeune partition mesurable G telle que F = G modulo 0, i.e. tout ensemble F-mesurable est egal, modulo un ensemble de mesure nulle pres, a un ensemble

Page 122: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

122CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

G-mesurable. Cependant, on n’a aucune information sur la forme des feuilles deG, et cela ne permet donc pas de construire canoniquement des mesures µ∞

x

sur Tp. Par exemple, dans le cas ou µ est la mesure de Lebesgue, tout ensembleF-mesurable est de mesure 0 ou 1 (par exemple par ergodicite des translationsirrationnelles), donc la tribu G est la tribu triviale ∅, S1, et les mesures µ∞

x

devraient etre definies comme la mesure de Lebesgue sur S1, et pas des mesuressur Tp.

Proposition 6.9 Pour x ∈ S1, il existe une mesure µ∞x sur Tp, avec µ∞

x (0) =

1, et telle que, pour presque tout x ∈ S1, pour tout N ∈ N, µNx =

(µ∞x )|T N

p

µ∞x (T N

p ) .

Demonstration. Soit XN = x : µNx (0) = 0. Alors par definition des µN

x ,µ(Xn) = 0. Ainsi, pour presque tout x, µn

x(0) > 0 pour tout n. Fixons xverifiant cette propriete.

Puisque FN est moins fine que FN−1, µNx est une combinaison lineaire de

µN−1x sur TN−1

p , de µN−1x+1/pN sur TN−1

p +1/pN , et de µN−1x+2/pN sur TN−1

p +2/pN

(la somme des coefficients valant 1, puisque toutes ces mesures sont des mesuresde probabilite). De plus, le coefficient de µN−1

x est non nul, puisque µNx (0) > 0.

Ainsi, µN−1x est proportionnel a la restriction de µN

x a TN−1p . En particulier, si

νNx = µN

x /µNx (0), on a (νN

x )|T N−1p

= νN−1x puisque ces deux mesures sont

proportionnelles et attribuent une masse 1 a 0.On definit finalement µ∞

x par µ∞x (ω) = νN

x (ω) pour tout N assez grandpour que ω ∈ TN

p . Par construction, elle verifie les proprietes requises.

Notons que, si y = x + ω avec ω ∈ TNp , alors µN

x = (+ω)∗(µNy ), ou +ω est

la translation de ω sur Tp. En particulier, on obtient en passant a la limite queµ∞

x est proportionnelle a (+ω)∗(µ∞y ).

Recurrence

On dit qu’une mesure µ est Tp-recurrente si elle satisfait l’une des quatreconditions equivalentes suivantes :

1. pour tout B avec µ(B) > 0, il existe ω ∈ Tp−0 tel que µ(B∩(B+ω)) > 0.

2. pour tout B avec µ(B) > 0, pour tout compact K de Tp, il existe ω ∈Tp −K tel que µ(B ∩ (B + ω)) > 0.

3. pour tout B avec µ(B) > 0, presque tout point x de B satisfait : il existeω ∈ Tp − 0 tel que x+ ω ∈ B.

4. pour tout B avec µ(B) > 0, presque tout point x de B satisfait : pourtout compact K de Tp, il existe ω ∈ Tp −K avec x+ ω ∈ B.

La quatrieme assertion est exactement la Tp-recurrence selon Lindenstrauss,la premiere est la definition classique.

Les implications (2) ⇒ (1) et (4) ⇒ (3) sont triviales.Montrons (3) ⇒ (4). Soit B avec µ(B) > 0. Soit N ∈ N, posons Bi =

B ∩ [i/pN , (i + 1)/pN [ pour 0 ≤ i < pN . Si i est tel que µ(Bi) > 0, alors pourpresque tout x ∈ Bi il existe a/pn tel que x + a/pn ∈ Bi, et necessairementn > N . Ainsi, presque tout x ∈ B satisfait x + a/pn ∈ B pour un certainrationnel de denominateur > pN , ce qui conclut.

La preuve de (1) ⇒ (2) est analogue.

Page 123: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.2. MULTIPLICATION PAR 2 ET 3 SUR LE CERCLE 123

Montrons (3) ⇒ (1). Pour ω ∈ Tp−0, notons Bω = x ∈ B : x+ω ∈ B.Si µ(B) > 0, les ensembles Bω recouvrent presque tout B par (3), donc l’und’eux est de mesure non nulle, ce qui montre alors que µ(B ∩ (B + ω)) > 0.

Montrons (1) ⇒ (3), par l’absurde. Sinon, il existerait B′ ⊂ B de mesurenon nulle tel que, pour tout ω ∈ T −0, µ(B ∩ (B′ +ω)) = 0. Alors l’ensembleB′ contredit (1).

Proposition 6.10 La mesure de probabilite µ est Tp-recurrente si et seulementsi, pour presque tout x ∈ S1, µ∞

x (Tp) = ∞.

Demonstration. Supposons tout d’abord que µ∞x (Tp) = ∞ pour presque tout x.

Nous allons montrer que µ est recurrente en utilisant la premiere caracterisationde la recurrence. Supposons au contraire qu’il existe B avec µ(B) > 0 tel que,pour tout ω ∈ T −0, µ(B∩(B+ω)) = 0. Quitte a remplacer B par B−⋃(B∩(B+ω)) (ce qui ne change pas sa mesure), on peut supposer que B∩(B+ω) = ∅pour tout ω ∈ T −0. Ainsi, les ensembles B+ω sont deux a deux disjoints, sibien que

∑µ(B + ω) ≤ 1. Mais µ(B + ω) =

∫Bµ∞

x (ω)dµ(x) (ce qui est bienintuitif, et peut se verifier formellement en notant que les fonctions 1B+ω(x) et1B(x)µ∞

x (ω) ont, pour x ∈ B, la meme integrale le long de la feuille ξ = x+TNp ,

a savoir µNx (ω)). Ainsi,

∑µ(B + ω) =

∫B µ

∞x (Tp) = +∞, ce qui est absurde.

Supposons maintenant que µ∞x (T ) <∞ sur un ensemble de mesure non nulle,

et montrons par l’absurde que µ n’est pas recurrente, en utilisant la quatriemecaracterisation de la recurrence. Il existe un ensemble B de mesure positive(eventuellement un peu plus petit) et un entierN tel que, pour x ∈ B, µ∞

x (Tp) <∞ et µ∞

x (TNp ) > 0, 9µ∞

x (Tp). Soient x ∈ B et ω = a/pK (avec K > 2N) tels que

y = x+ ω ∈ B. Alors µ∞x est proportionnelle a (+ω)∗µ∞

y , donc µ∞x (TN

p + ω) >0, 9µ∞

x (T + ω) = 0, 9µ∞x (T ). C’est absurde car TN et TN + ω sont disjoints, et

ont tous deux une mesure au moins 0, 9µ∞x (T ).

Mesures invariantes

Historiquement le premier resultat a la Einsiedler, Katok, Lindenstrauss estle theoreme suivant du a Rudolph.

Theoreme 6.11 Soit α = f2 : x 7→ 2x sur S1. Supposons p 6= 2. Soit µ unemesure de probabilite invariante par α et Tp-recurrente. Alors µ est la mesurede Lebesgue.

Demonstration. (Host) Soit v ∈ Z∗ fixe une fois pour toutes, nous allons montrerque

∫e2iπvxdµ(x) = 0, ce qui conclura.

Pour m > 0, notons gm(x) = 1m

∑m−1k=0 e2iπv2kx. Alors gm = 1

m

∑m−10 e2iπv·

αk , donc∫gmdµ =

∫e2iπvxdµ(x) par invariance, et il suffit donc de montrer

que∫gm → 0 quand m→ ∞ pour conclure.

L’idee est d’estimer∫|gm|2 : quand on developpe |gm|2, il apparaıt des

sommes d’exponentielles, qui vont s’annuler si bien qu’il restera peu de termeset que l’integrale sera petite. Malheureusement, pour profiter de ces symetriesalgebriques, il faudrait que µ attribue le meme poids a tous les points x + ω,pour ω variant dans TN

p , ce qui n’est en general pas le cas. On va donc rehausser

le poids des points ayant une probabilite faible d’etre choisis (i.e. avec µNx (0)

petit) en calculant plutot∫ |gm|2

µNx (0)dµ(x).

Page 124: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

124CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

Lemme 6.12 Soit N tel que, pour 0 ≤ k < l < m, v2k 6≡ v2l mod pN . Alors∫ |gm|2µN

x (0)dµ(x) ≤ pN

m .

Demonstration. Soit h(x) = |gm(x)|2µN

x (0) si µNx (0) 6= 0 (ce qui est vrai presque

partout), et 0 ailleurs. Alors (nous notons toujours ξ = x+ TNp )

ξ

hdµξ =∑

ω∈T Np

µNx (ω)h(x+ ω) =

ω∈T Np

µNx+ω(0)h(x+ ω) ≤

ω∈T Np

|gm(x+ ω)|2.

Ainsi,

∫h(x)dµ(x) =

∫ (∫

ξ

hdµξ

)dµ(x) ≤

∫ pN−1∑

a=0

|gm(x+ a/pN)|2dµ(x).

Mais

pN−1∑

a=0

|gm(x + a/pN)|2 =1

m2

pN−1∑

a=0

0≤k,l<m

e2iπv2k(x+a/pN )e−2iπv2l(x+a/pn)

=1

m2

0≤k,l<m

e2iπv(2k−2l)x

pN−1∑

a=0

e2iπv(2k−2l)a/pN

.

Lorsque k 6= l, v(2k−2l) n’est pas nul modulo pN par hypothese, donc∑pN−1

a=0 e2iπv(2k−2l)a/pN

=0. Lorsque k = l, la somme vaut pN , et on obtient l’estimee annoncee.

Sous les hypotheses du lemme, on obtient par Cauchy-Schwarz

∣∣∣∣∫gmdµ

∣∣∣∣2

≤∫ |gm|2µN

x (0)dµ ·∫µN

x (0)dµ(x) ≤ pN

m

∫µN

x (0)dµ(x).

Mais µNx (0) = 1

µ∞x (T N

p ). Par Tp-recurrence, cette fonction tend presque partout

vers 0 donc, par convergence dominee,∫µN

x (0)dµ(x) → 0.

Lemme 6.13 Soient p et q deux entiers premiers. La suite des pkv (k ∈ N)dans Z/qNZ est periodique de periode aN ≥ cqN pour une certaine constantec > 0 independante de N .

Demonstration. L’entier v n’importe pas, sa contribution sera incorpore dans laconstante. Nous allons en fait montrer que si p et q sont deux nombres premiersdistincts, l’ordre de p dans le groupe multiplicatif (Z/qNZ)∗ est ≥ cqN . Ainsi laperiode de la suite (pk) modulo qN sera ≥ cqN .

L’entier p est inversible dans Z/qZ, il existe donc un entier k ≥ 1 tel quepk ≡ 1 (mod q). On peut donc ecrire

pk = 1 + aql avec k, l ≥ 1 et a ∧ q = 1.

Or on a(1 + aql)qj ≡ 1 + aqj+l (mod qj+l+1).

Page 125: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.3. OPERATEURS DE HECKE ET THEOREME DE LINDENSTRAUSS125

En particulier,

(1 + aql)qN−l−1 ≡ 1 + aqN−1 (mod qN ) 6≡ 1 (mod qN ).

Puisque l’ordre de 1 +aql dans (Z/qNZ)∗ divise qN−l il est necessairement egala qN−l. L’entier pk est donc d’ordre qN−l modulo qN et p est donc d’ordre 1

kql qN

modulo qN .

Alors, en prenant p = 2, q = p et m = aN , on obtient∣∣∫ gaNdµ

∣∣2 ≤c−1

∫µN

x (0)dµ(x), qui tend vers 0 en +∞.

En pratique la Tp-recurrence se verifie a l’aide de proprietes entropiques,ainsi si µ est un mesure invariante par multiplication par p et ergodique, onpeut montrer que µ est Tp-recurrente si et seulement si la multiplication parp est d’entropie positive par rapport a µ. On obtient alors (ici pour p = 3) letheoreme de Rudolph suivant.

Theoreme 6.14 (Rudolph) Soit µ une mesure sur S1 invariante par la mul-tiplication par 2 et par 3. Supposons que chaque composante ergodique de µ parrapport a la multiplication par 3 a une entropie (par rapport a ×3) strictementpositive. Alors µ est la mesure de Lebesgue.

Le lien entre le Theoreme 6.11 et le Theoreme d’Einsiedler, Katok et Lin-denstrauss est alors evident, on peut penser a l’action de A1 comme a la multi-plication par 3 et a l’action de A2 comme a la multiplication par 2.

Nous etions parti de la multiplication par 2 sur le cercle et l’identification

Z\R = Z

[1

p

]\(R × Qp)/Zp (6.1)

nous a apporte une situation dynamique a deux degres de liberte.Dans le cadre des surfaces hyperboliques, nous partons avec une premiere

dynamique donnee par le flot geodesique, il s’agit maintenant de transposer (6.1)dans ce cadre afin d’etendre cette dynamique a un deuxieme degre de liberte.

6.3 Operateurs de Hecke et Theoreme de Lin-

denstrauss

Soient a et b deux entiers strictement positifs. Comme au Chapitre 1, nousconsiderons l’algebre de quaternions Da,b(Q). Pour presque tout entier premierp, a et b sont tous les deux premiers a p. Il est par ailleurs classique (c’estun corollaire du Theoreme de Chevalley-Warning) que toute forme quadratiqued’au moins 3 variables sur le corps fini Z/pZ a un zero non trivial. L’equation

−ax21 − bx2

2 + abx23 = 0

a donc une solution non triviale modulo p ; comme le discriminant de la formequadratique consideree est une unite p-adique, vue dans Qp on obtient unesolution approchee. L’analogue p-adique de la methode de Newton montre alorsque (lorsque p 6= 2) cette solution se releve en une solution p-adique. Nous avonsfinalement montre le lemme suivant.

Page 126: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

126CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

Lemme 6.15 Pour presque tout entier p premier, l’equation

−ax21 − bx2

2 + abx23 = 0

admet une solution non triviale dans Qp.

Fixons p un tel entier premier. Comme dans la demonstration du Theoreme1.5, on montre alors facilement que la forme quadratique −ax2

1 − bx22 +abx2

3 = 0est semblable sur Qp a la forme quadratique −x2

1 −x22 + x2

3. L’algebre Da,b(Qp)est donc isomorphe a M2(Qp).

Nous avons vu que la geometrie hyperbolique est naturellement associee augroupe SL(2,R) via l’identification du plan hyperbolique au quotient SL(2,R)/SO2(R)du groupe SL(2,R) par son sous-groupe compact maximal. Nous en decrivonsmaintenant l’analogue p-adique, avec la petite subtilite que nous preferons tra-vailler avec le groupe PGL(2,Qp). Le sous-groupe PGL(2,Zp) dans PGL(2,Qp)

est compact, c’est en fait un sous-groupe compact maximal. Etudions le quotient

PGL(2,Qp)/PGL(2,Zp).

Soit V = Qp × Qp, c’est un espace vectoriel de dimension 2 sur le corpsQp. Un Zp-reseau est un Zp-sous-module de V engendre par deux vecteurslineairement independants. Nous notons L0 le reseau Zp × Zp et consideronsla relation d’equivalence ∼ definie sur l’ensemble des reseaux par

L1 ∼ L2 ⇔ L2 = αL1, α ∈ Q∗p.

Notons [L] la classe d’equivalence d’un Zp-reseau L.Nous definissons alors un graphe Tp par la donnee de ses sommets

sommets(Tp) = [L] : L Zp − reseau

et de ses aretes

aretes(Tp) = [L1], [L2] : ∃L′i ∈ [Li] (i = 1, 2) tels que [L′

2 : L′1] = p.

Nous avons designe par [L′2 : L′

1] l’indice de L′1 dans L′

2 (en particulier L′1 ⊂ L′

2) ;remarquons que la definition des aretes est bien symetrique puisque pL′

2 ∼ L′2

et [L′1 : pL′

2] = p.Le groupe GL(2,Qp) agit naturellement et transitivement sur l’espace de Zp-

reseaux et le centre preserve les classes d’equivalence ; le groupe PGL(2,Qp) agitdonc transitivement sur le graphe Tp. Il est immediat que le groupe PGL(2,Zp)est exactement le stabilisateur du reseau L0 dans PGL(2,Qp). L’ensemble dessommets du graphe Tp est dont en bijection avec le quotient PGL(2,Qp)/PGL(2,Zp).Remarquons de plus que l’action du groupe PGL(2,Qp) preserve la relationd’adjacence ; le groupe PGL(2,Qp) se plonge donc dans le groupe des automor-phismes du graphe Tp qui est donc necessairement un graphe regulier (i.e., lenombre d’aretes partant d’un sommet est independant du choix de ce sommet).

Le nombre d’aretes partant du sommet [L0] est egal a

|L ⊂ L0 : [L0 : L] = p| = |pL0 ⊂ L ⊂ L0 : [L0 : L] = p|= |droite ⊂ L0/pL0 ' Fp × Fp|= |P 1(Fp)| = p+ 1.

Page 127: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.3. OPERATEURS DE HECKE ET THEOREME DE LINDENSTRAUSS127

Proposition 6.16 Le graphe Tp est en fait un arbre (p+ 1)-regulier.

Demonstration. Montrons d’abord que Tp est connexe. Soient [L] un sommet deTp. Il existe alors une base (e1, e2) du reseau L0 et des entiers a et b tels que(pae1, p

be2) soit une base de L. Quitte a multiplier le reseau par p−a ou p−b, onpeut donc supposer L ⊂ L0 et que le quotient L0/L est un p-groupe cycliquefini. L’existence et l’unicite d’un chemin entre [L0] et [L] dans Tp decoule alorsde l’existence et unicite de la serie de Jordan-Holder dans un p-groupe cycliquefini. Remarquons que le representant L choisi si-dessus est caracterise par le faitque L ⊂ L0 et L 6⊂ pL0.

Revenons sur l’unicite (qui est moins classique) en montrant a la main qu’iln’y a pas de boucles dans Tp. Soit [L0], [L1], . . . , [Ln] la suite des sommets d’unchemin sans aller-retour dans Tp. Nous allons demontrer par recurrence que[L0] 6= [Ln] ce qui conclura.

On peut supposer que Li+1 ⊂ Li et [Li : Li+1] = p. Nous allons montrerpar recurrence que Ln 6⊂ pL0 (on aura alors necessairement [Ln] 6= [L0]). Vul’hypothese de recurrence, on a Ln−1 6⊂ pL0. Les reseaux Ln et pLn−2 sont lesimages reciproques de deux droites du Fp-plan Ln−1/pLn−1. Ces deux droitessont distinctes : sinon [Ln−2] = [Ln] en contradiction avec le fait que le chemindonne est sans aller-retour. On a donc

Ln−1 = Ln + pLn−2

d’ouLn−1 ≡ Ln (mod pL0)

et l’on en deduit bien Ln 6⊂ pL0.

L’analogue du laplacien sur l’arbre Tp est l’operateur

(p+ 1)Id− δ

ou δ est l’operateur de Hecke defini par

δf(x) =∑

y∼x

f(y),

ou f est une fonction quelconque des sommets de Tp. L’operateur de Heckecalcul donc la somme des valeurs de f en tous les sommets voisins du sommetx donne.

Comme le laplacien ces operateurs induisent des operateurs sur les surfacesarithmetiques, ce sont plus veritablement ce que l’on appelle operateurs deHecke. Tachons maintenant de les decrire.

Pour simplifier nous noterons G = D∗a,b le groupe abstrait defini sur Q des

elements inversibles de l’algebreDa,b. Nous pourrons donc considerer tour a tourles groupes G(R), G(Qp) . . .. Le groupe G(R) est isomorphe au groupe GL(2,R),soit K∞ le sous-groupe compact isomorphe a O(2,R) correspondant. Le groupeG(Qp) est isomorphe au groupe GL(2,Qp), le sous-groupe Kp = G(Zp) estcompact. Nous notons

– Γ = G(Z[

1p

]),

Page 128: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

128CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

– G = G(R) × G(Qp),– K = K∞ ×Kp et– C le centre de G(R).L’analogue du Lemme 6.7 est le lemme suivant que nous admettrons (c’est un

corollaire du Theoreme d’approximation forte pour les algebres de quaternions).

Lemme 6.17 Le plongement diagonal de Γ dans G est discret et le double quo-tient

C · Γ\G/K ∼= Γa,b\H.

Soit Cp l’intersection G(Qp) ∩ CΓ, le groupe Cp est contenu dans le centredu groupe G(Qp), il est plus precisemment egal au groupe Q∗ vu comme sous-groupe de Da,b(Q)∗.

On a

C\G/Cp ·K ∼= H × sommets(Tp)

et le groupe Γ ⊂ G agit sur H × sommets(Tp) (l’action sur les sommets estcelle induite par l’action sur l’arbre). On peut donc penser au double quotientC · Γ\G/K comme a un espace feuillete en sommets d’arbres Tp (ou plutot laencore comme a un G(Qp)-fibre principal de fibre les sommets de Tp mais sansbase). Remarquons que presque toute feuille ainsi definie est plongee 3. Parchaque point x de

Γa,b\H ∼= C · Γ\G/Kil passe donc une “Tp-feuille”, nous notons x ∼Tp y pour signifier que deuxpoints x, y ∈ Γa,b\H appartiennent a une meme feuille.

On peut alors definir les operateurs de Hecke sur la surfaces Γa,b\H par :

(Spf)(x) =∑

y∼x

f(y),

ou f : Γa,b\H → C est une fonction quelconque.

Il est clair que les operateurs de Hecke Sp et le laplacien ∆ commutent. Onappelle alors limite quantique arithmetique toute limite faible de |φi(x)|2dvol(x)ou la suite des φi est une suite de fonctions propres du laplacien ∆ et de chaqueSp (p premier).

Remarque. Il est conjecture que le spectre de ∆ sur une surface arithmetiqueest simple et donc que toute limite quantique est arithmetique. Mais cetteconjecture semble a lors actuelle completement hors de portee.

Theoreme 6.18 (QUE arithmetique, Lindenstrauss ‘03) Soit S une sur-face arithmetique comme ci-dessus. Alors, toute limite quantique arithmetiqueest egale a (const)vol(S)−1dvol, et la constante est necessairement egale a 1 siS est compacte.

Nous allons maintenant expliquer comment deduire ce Theoreme de l’ana-logue suivant du Theoreme de Einsiedler, Katok et Lindenstrauss.

3Les differents points fixes des matrices ∈ SL(2, Z

h

1

p

i

) forment un ensemble denombrable.

Page 129: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.4. T -RECURRENCE ET A-ERGODICITE 129

Theoreme 6.19 (Lindenstrauss) Soient G = G(R) × G(Qp), Kp = e ×G(Zp), Γ = G(Z

[1p

]) et µ une mesure de proba sur X = C ·Γ\G/Kp invariante

sous l’action A× e =

(∗ 00 ∗

)× e. Supposons que

1. chaque composante ergodique par rapport a l’action de A a une entropie> 0 ;

2. la mesure µ est Tp-recurrente.

Alors, la mesure µ est G(R)-invariante (et algebrique).

Remarque. Par rapport au Theoreme de Einsiedler, Katok et Lindenstrauss,on fait une hypothese supplementaire a savoir la Tp-recurrence. Cela provientde ce que dans le cas regulier, si µ est A1 ×A2-invariante et d’entropie > 0 parrapport a A1, alors µ est automatiquement recurrente par rapport au feuilletageinduit par le deuxieme facteur SL(2,R).

La demonstration du Theoreme 6.19 est difficile et technique (c’est le coeurde la demonstration du Theoreme 6.18) mais elle n’a rien a voir avec l’arithmetiquec’est de la theorie ergodique dans le prolongement du Theoreme de Rudolph quenous avons demontre plus haut. Nous nous contentons ici plus modestementde montrer comment l’arithmetique (les operateurs de Hecke) permet(tent) deverifier les hypotheses 1. et 2. de type entropique en general tres difficile averifier.

6.4 T -recurrence et A-ergodicite

Dans cette section nous expliquons brievement pourquoi chaque limite quan-tique arithmetique µ est Tp-recurrente.

Si f : Tp → C, soit

Spkf(x) =∑

dT (x,y)=k

f(y).

La verification de la T -recurrence va reposer sur le lemme elementaire sui-vant.

Lemme 6.20 Si Spf = λf pour f : Tp → C et λ ∈ R, alors pour tout n ≥ 0 ona :

y∈BTpn

|f(y)|2 ≥ C0n|f(e)|2, (6.2)

ou C0 est une constante qui ne depend ni de λ ni de p.

Demonstration. Il est clair que

Spk Sp = Spk+1 + pSpk−1 si k ≥ 2

etSp Sp = Sp2 + (p+ 1)Id.

La fonction f est donc une fonction propre de tous les Spk . Notons λpk lavaleur propre correspondante. La suite (λpk ) est a recurrence lineaire associee a

Page 130: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

130CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

l’equation du second degre X2 −λX+p. On distingue donc naturellement deuxcas selon que |λ| > 2p1/2 ou que |λ| ≤ 2p1/2.

Commencons par supposer |λ| > 2p1/2 et posons coshα =∣∣∣ λ2p1/2

∣∣∣. Un calcul

simple montre alors que

n∑

k=0

λp2k = pn sinh(2n+ 1)α

sinhα≥ (2n+ 1)pn.

En d’autres termes,∣∣∣∣∣∣

dT (e,y)∈0,2,...,2nf(y)

∣∣∣∣∣∣≥ (2n+ 1)pnf(e).

L’inegalite de Cauchy-Schwartz implique alors∑

dT (e,y)∈0,2,...,2n|f(y)|2 ≥ n2|f(e)|2,

et donc (6.2).Supposons maintenant |λ| ≤ 2p1/2 et posons cos θ = λ

2p1/2 . De la meme

maniere que ci-dessus, on montre que

n∑

k=0

λp2k = pn sin(2n+ 1)θ

sin θ. (6.3)

D’un autre cote, l’inegalite de Cauchy-Schwartz implique

d(e,y)=2k

|f(y)|2 ≥

∣∣∣∑

d(e,y)=2k f(y)∣∣∣2

(p+ 1)p2k−1

=|λp2k |2|f(e)|2(p+ 1)p2k−1

.

En soustrayant maintenant (6.3) avec n = k − 1 de (6.3) avec n = k on obtient

λp2k = pk

[sin(2k + 1)θ

sin θ− sin(2k − 1)θ

p sin θ

].

Et donc ∑

d(x,y)=2k

|f(y)|2 ≥ c|f(e)|2

si (2k + 1)θ ∈ [2π/5, 3π/5] (mod π).Si n est suffisamment grand (n > c1/θ), on peut supposer

|k : 1 ≤ k ≤ n, (2k + 1)θ ∈ [2π/5, 3π/5] (mod π)| > c2n

et l’equation (6.2) est verifiee. D’un autre cote, si n est suffisamment petit

(n ≤ c3/θ) on a sin(2n+1)θsin θ ≥ n et donc (6.3) implique que

∣∣∣∣∣

n∑

k=0

λp2k

∣∣∣∣∣ ≥ npn

Page 131: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

6.4. T -RECURRENCE ET A-ERGODICITE 131

et donc ∑

y∈BT2n

|f(y)|2 ≥ cn2|f(e)|2 ≥ cn|f(e)|2.

On peut donc bien choisir la constante C0 de facon a ce que (6.2) soit toujoursv’erifiee.

Soit maintenant µ une limite quantique arithmetique. Elle s’obtient donccomme limite (faible ∗) de mesures |φi|2dvol, ou φi est une suite de fonctionspropres du laplacien et des operateurs de Hecke de norme L2 egale a 1. LeLemme 6.20 implique alors immediatement le corollaire suivant.

Corollaire 6.21 Soit µ une limite quantique arithmetique. Soit n ∈ N, x ∈ Set r un reel strictement positif suffisamment petit. Alors,

y∈t(x,BTn )

µ(Br(y)) ≥ C0nµ(Br(x)), (6.4)

ou t(x,BTn ) designe l’ensemble des points dans la Tp-feuille passant par x et a

distance ≤ n dans Tp.

Demonstration. Nous le verifions pour les mesures µi definies par µi(A) =∫A|φi(z)|2dvol(z). Or,

∑y∈t(x,BT

n ) µi(Br(y)) =∑

y∈t(x,BTn )

∫Br(y)

|φi(z)|2dvol(z)

=∫

Br(x)

∑q∈BT

n|φi(t(z, q))|2dvol(z).

(6.5)

Puisque les fonctions φi sont fonctions propres des operateurs de Hecke, lesfonctions q 7→ φi(t(z, q)) sont fonctions propres de Sp et le Lemme 6.4 s’appliquepour montrer

(6.5) ≥ C0n

Br(x)

|φi(z)|2dvol(z) = µi(Br(x)). (6.6)

La limite faible ∗ µ des µi verifie

µ(U) ≤ limµi(U) ≤ limµi(U) ≤ µ(U).

Et (??) implique (6.4).

De la meme maniere qu’au §8.2 on peut “desintegrer” la mesure µ le longdes Tp-feuilles. Le Corollaire 6.21 implique alors que pour µ-presque tout x ∈ S,

µ∞x,T (T ) = ∞.

Ce qui est (toujours comme au §8.2) est equivalent a la Tp-recurrence de µ.

Le fait que chaque limite quantique arithmetique µ ait une entropie positivea ete demontre par Bourgain et Lindenstrauss.

Il s’agit de montrer que pour tout x ∈ S,

µ(xB(ε, 1/50)) << εκ pour un certain κ > 0,

Page 132: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

132CHAPITRE 6. LA CONJECTURE D’UNIQUE ERGODICITE QUANTIQUE ARITHMETIQUE

ou B(ε, τ) = a((−τ, τ)u−((−ε, ε))u+((−ε, ε)),

u+(x) =

(1 0x 1

), u−(x) =

(1 x0 1

)et a(t) =

(et 00 e−t

).

(B(ε, τ) est donc un voisinage ouvert de l’identite dans PSL(2,R).)En approchant µ par les µi, il s’agit de montrer que si φ est une fonction

propre de tous les operateurs de Hecke et de norme L2 egale a 1, alors :

∀x ∈ S,

xB(ε,1/50)

|φ(y)|2dvol(y) << εκ.

C’est pour cette etape qu’il est important de considerer tous les operateurs deHecke.

L’idee est toujours la meme, si Spφ = λpφ avec |λp| < p1/2

10 ,

|φ(x)|2 <<∑

d(y,x)=2

|φ(y)|2.

Il s’agit alors d’utiliser une methode de Crible pour demontrer l’existence d’unensemble d’entiers W tel que

1. tout n ∈ W a un nombre borne de facteurs premiers,

2. pour tout n ∈ W et pour tout p premier, p2|n si et seulement si p|n et

|λp| < p1/2

10 ,

3. les ouverts yB(ε, 1/50) pour y ∈ Sn(x)(= (Spα11

. . . Spαkk

)(x)) et n ∈W

sont deux a deux disjoints, et

4. |W | >> ε−κ/4.

Si n ∈ W on a alors, pour tout y ∈ S,

|φ(y)|2 <<∑

z∈Sn(y)

|φ(z)|2.

On peut alors conclure que :

xB(ε,1/50)

|φ(y)|2dvol(y) <<1

|W |∑

n∈W

z∈Sn(y)

zB(ε,1/50)

|φ(y)|2dvol(y)

<< εη

S

|φ|2.

Ce qui conclut la demonstration.

Page 133: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Bibliographie

[1] Marcel Berger, Paul Gauduchon, and Edmond Mazet. Le spectre d’unevariete riemannienne. Lecture Notes in Mathematics, Vol. 194. Springer-Verlag, Berlin, 1971.

[2] Peter Buser. A note on the isoperimetric constant. Ann. Sci. Ecole Norm.Sup. (4), 15(2) :213–230, 1982.

[3] Peter Buser. Geometry and spectra of compact Riemann surfaces, volume106 of Progress in Mathematics. Birkhauser Boston Inc., Boston, MA, 1992.

[4] Isaac Chavel. Eigenvalues in Riemannian geometry, volume 115 of Pure andApplied Mathematics. Academic Press Inc., Orlando, FL, 1984. Includinga chapter by Burton Randol, With an appendix by Jozef Dodziuk.

[5] Nelson Dunford and Jacob T. Schwartz. Linear operators. Wiley ClassicsLibrary. John Wiley & Sons Inc., New York, 1988.

[6] Dorian Goldfeld. Explicit formulae as trace formulae. In Number theory,trace formulas and discrete groups (Oslo, 1987), pages 281–288. AcademicPress, Boston, MA, 1989.

[7] Henryk Iwaniec. Spectral methods of automorphic forms, volume 53 ofGraduate Studies in Mathematics. American Mathematical Society, Provi-dence, RI, second edition, 2002.

[8] Svetlana Katok. Fuchsian groups. Chicago Lectures in Mathematics. Uni-versity of Chicago Press, Chicago, IL, 1992.

[9] Vladimir Platonov and Andrei Rapinchuk. Algebraic groups and numbertheory, volume 139 of Pure and Applied Mathematics. Academic Press Inc.,Boston, MA, 1994. Translated from the 1991 Russian original by RachelRowen.

[10] Walter Rudin. Real and complex analysis. McGraw-Hill Book Co., NewYork, third edition, 1987.

[11] Peter Sarnak and Xiao Xi Xue. Bounds for multiplicities of automorphicrepresentations. Duke Math. J., 64(1) :207–227, 1991.

[12] Toshikazu Sunada. Riemannian coverings and isospectral manifolds. Ann.of Math. (2), 121(1) :169–186, 1985.

[13] Michael E. Taylor. Partial differential equations, volume 23 of Texts inApplied Mathematics. Springer-Verlag, New York, 1996. Basic theory.

[14] Marie-France Vigneras. Varietes riemanniennes isospectrales et nonisometriques. Ann. of Math. (2), 112(1) :21–32, 1980.

[15] David Vernon Widder. The Laplace Transform. Princeton MathematicalSeries, v. 6. Princeton University Press, Princeton, N. J., 1941.

133

Page 134: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

Index

Nγ , 79Tp-recurrente, 122Λ(γ), 79〈., .〉G, 94n-gone, 9HomG(π, ρ), 93equivalent, 13equivalentes, 93equivalentes (formes quadratiques),

23

adjoint, 36algebre de quaternions, 22auto-adjoint, 36axe, 78

bord de H, 11borne, 58

cote geometrique de la formule destraces, 73

cote spectral de la formule des traces,74

caractere, 94cercle isometrique, 8coeur, 102collier, 102commensurables, 23compact, 58conjugue, 22convention de signe, 10coordonnees horocycliques, 11coordonnees polaires, 10critere de Hermite-Mahler, 20cusp, 13

decomposition d’Iwasawa, 20discret, 12distance signee, 10domaine de Siegel, 20dual unitaire, 74

elliptique, 11entiers p-adiques, 119espace propre, 58

ferme (operateur), 36fidele, 98fonction cuspidale, 54fonction de Whittaker, 38Fonction zeta de Riemann, 6formule de Green, 37Formule de Poisson, 6formule de pretrace, 77formule des traces de Selberg, 79formule du degre, 95formule explicite de Weil, 75formules des traces de Selberg, 73

geodesique premiere, 78groupe cocompact, 13groupe de covolume fini, 13

horocycles, 11hyperbolique, 11

ideles, 75integrale orbitale, 73invariant, 35, 93irreductible, 28, 93isomorphisme exceptionnel, 24isospectrale, 111

laplacien, 5, 15logarithme integral, 83

metrique hyperbolique, 7modele de Poincare, 7

nombres p-adiques, 120non borne (operateur), 36norme, 12, 79norme reduite, 22noyau automorphe, 52

134

Page 135: Spectre des surfaces hyperboliquesbaladi.perso.math.cnrs.fr/Cours-bergeron.pdfde la factorisation d’un entier en produit de nombres premiers. En appliquant la formule de Poisson

INDEX 135

noyau de Selberg, 72

operateur, 36operateur de Hecke, 127, 128operateur integral invariant, 40operateurs differentiels de Maass, 49

parabolique, 11partie compacte, 56partie principale totale, 56parties principales, 55polygone geodesique, 9primitif, 78proprement discontinuement, 12

reseau, 19radiale, 40radialisation, 41relevement microlocal, 115representation, 93representation reguliere gauche, 95revetement de congruence, 14

separable, 58solution fondamentale de l’equation

de la chaleur, 45sommet parabolique, 14sous-groupe de congruence, 32sous-groupe de congruence principal,

29sous-groupe principal de congruence,

14sous-groupe principal de niveau N ,

30surface arithmetique, 29surface hyperbolique, 7, 12surface hyperbolique arithmetique,

14surface modulaire, 14symetrique (operateur), 36

taille, 19topologie faible ∗, 115trace, 22, 72transformee d’Abel, 43triangulation de Farey, 116

unimodulaire, 71

valeur propre, 58vecteur propre, 58

volume, 19

Zariski (topologie de), 27