36
Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules biologiques Master informatique spécialité BIOMED Catherine Vénien-Bryan Institut de minéralogie, de physique des matériaux et de cosmochimie (IMPMC) CNRS UMR 7590, UPMC E-mail: [email protected] 1 Traitement d’images Particules isolées, protéines macromolécules, petits virus (haute résolution) Capture de l’image Camera CEMOS Sélection des particules et normalisation du contraste Analyse dans les 2dimensions: Alignement Classification des images Création du modèle dans les 3 dimensions et raffinement Méthode des séries coniques aléatoires Lignes communes (transformée de Radon) Raffinement Cellules entières, bactéries virus (moyenne résolution) Tomographie électronique cellulaire 2

Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

  • Upload
    others

  • View
    7

  • Download
    1

Embed Size (px)

Citation preview

Page 1: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans

les 3D de macromolécules biologiques Master informatique spécialité BIOMED

Catherine Vénien-Bryan!

Institut de minéralogie, de physique des matériaux et de cosmochimie (IMPMC)!

CNRS UMR 7590, UPMC!E-mail: [email protected]!

!

!

1!

Traitement d’images Particules isolées, protéines macromolécules, petits

virus (haute résolution) •  Capture de l’image •  Camera CEMOS •  Sélection des particules et normalisation du contraste •   Analyse dans les 2dimensions:

•  Alignement •  Classification des images

•  Création du modèle dans les 3 dimensions et raffinement •  Méthode des séries coniques aléatoires •  Lignes communes (transformée de Radon) •  Raffinement

Cellules entières, bactéries virus (moyenne résolution) •  Tomographie électronique cellulaire

2!

Page 2: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Digital images Sampling and grey level

Discrétisation spatiale et quantification

Image Digitization

Original image Image sampled at low resolution

Grey level resolution: one bit can code for 2 states: “0” or “1” Byte (octet): a string of 8 bits can code for 28 = 256 different states Computer storage Fineness of grid (5122 = 262144) No. of different gray levels: e.g. 0-7, 0-63, 0-255 28 = 256, 8 bits or 1 byte

Pixel size The image must be divided up into pixels (sampled) at a spacing at least twice as fine as the finest detail (highest frequency) to be analysed. (in practice, 3-4x as fine).

Each picture element stored in the computer, with its own grey level, is called a pixel.

3!

Digital images Sampling-1

More!is!be,er!!!!

4!

Page 3: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Digital images Sampling -3 - spatial resolution Théorème de Nyquist-Shannon

Nyquist-Shannon frequency: the sampling frequency is twice the highest frequency term being represented.

If the same sampling frequency is used for a higher frequency wave, the sample points do not follow the oscillations. The features will not be correctly represented in the image.

Remember that the image can be represented as the sum of a series of sinusoidal waves. The highest frequency wave term present defines the resolution limit. When an image is digitised, the wave components are sampled at an interval defined by the scanner step size.

•  In practice, it is necessary to sample at 3-4x the resolution, to avoid numerical rounding errors.

5!

Digital images Scanning – number of grey levels-1

144 72 16

8 4 2 6!

Page 4: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

NEW!GENERATION!CAMERA:!

Direct!Electron!DetecAon!camera!

the!world!before!direct!detecAon!camera!

!

!

!

Although!the!quality!of!microscopes!has!steadily)improved,!two!key!limi/ng)factors)has!been:!!

!

• The!quality!of!image!recording!mediumO!DQE!(scinAllatorObased!CCD!cameras!and!even!film)!

!

• The!image!blurring!caused!by!!

o !Instability!of!the!sample!stage!!

o !MoAon!induced!by!the!illuminaAng!electron!beam!

!

The!low)signal5to)noise)ra/o)(SNR))image!quality!can!substanAally!limit!how!!

accurately!these!parameters!can!be!determined!

The!new!generaAon!of!complementary!metalOoxide!semiOconductor!

!(CMOS)!cameras!can!overcome!both!limiAng!factors!

O  Improved!signalOtoOnoise!performance!

O  Fast!enough!to!follow!parAcle!movements!during!electron!irradiaAon!!!

7!

Direct!Electron!DetecAon!camera!

the!world!before!direct!detecAon!camera!

!

Scin/llator)based)camera:)The!resoluAon!is!limited!by!the!

sca,ering!of!the!electron!in!the!

scinAllator!or!the!fiber!opAcs.!This!

point!spread!funcAon!(PSF)!grows!at!

higher!beam!energies!

!

5Direct)detec/on)camera)receives!the!incoming!electrons!directly!

to!the!imaging!sensor.!

!OEach!pixel!contains!a!photo!detector!and!acAve!amplifier!that!is!

addressed!and!read!out!individually!!

ODirect!Detector!sensor!uses!much!smaller!pixels!(5um)!!

Tradi/onal)camera)

8!

Page 5: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Direct!Electron!DetecAon!camera!

DQE!curves!

!

CombinaAon!of!

OVery)low)noise)OSuperior)contrast)performance!(high!DQE)!!

Allows!very!significant!improvements!in!the!

detectability!of!small,!low!contrast!objet!

!

9!

Direct!Electron!DetecAon!camera!

FracAonaAon!mode!OO!Dose!fracAonaAon!

!Each!image!is!made!of!many!sequen/al)frames,)it!is!recorded!like!a!movie))Full!frame!are!read!at!an!extreme)speed)so!the!dose!from!a!single!exposure!is!spread!over!

many!sequenAal!frames!held!in!the!so^ware!

)This!frac/ona/on)mode)allows!to!monitor!

!

O  The!sample!movement!or!stage!dri^!during!the!illuminaAon!!

O  The!sample!damage!under!irradiaAon!

O  The!freedom!to!chose!which!frames!to!include!in!an!image:!full!dose!exposure!for!

parAcle!selecAon!(high!SNR!but!more!irradiaAon)!but!part!of!the!exposure!(iniAal!

frames!to!a!lower!dose)!for!the!3D!reconstrucAon!!!

O  To!compensate!for!sample!movement!or!stage!dri^:!moAon!correcAon!!

!

!

!

!

10!

Page 6: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Direct!Electron!DetecAon!camera!

Monitoring!the!MoAon!!

!

Li#X,et#al.,#Nat#Methods.#2013#Jun;10(6)#

This!moAon!induces!image!blurring!!

11!

Direct!Electron!DetecAon!camera!

MoAon!correcAon!

!

Average!speed!of!moAon!from!the!

!enAre!data!set!of!553!images!versus!

!subframe!number!!

In!the!case!of!the!proteasome!20S,!

images!were!taken!with!a!series!of!

frame!total!up!to!25!frames!!

12!

Page 7: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Direct!Electron!DetecAon!camera!

MoAon!correcAon!restores!the!lost!highOresoluAon!informaAon!!

!

!

image!of!frozen!hydrated!T.!acidophilum!20S)proteasome)embedded!in!

vitreous!ice!and!recorded!with!a!defocus!of!~0.9!μm.!!

Electron!micrograph!of)rotavirus)frozen.!Image!

recorded!using!adirect!electron!

detector!in!movie!mode!at!40)frames/sec!!#

B:!the!frames!have!been!aligned!to!

compensate!for!this!movement,!the!

image!shows!significantly!reduced)blurring)and!improved)contrast.!Grigorieff#N,#elife#2013!

A:!60!frames!have!been!

averaged!without!alignment,!

the!image!is!blurred!due!to!

beamOinducted!movement.!

!

13!

Direct!Electron!DetecAon!camera!

Ribosome!structure!detecAon!of!movement!

tracking!the!movement!of!the!parAcles!

!

!

Ribosome#structures#to#nearEatomic#resoluFon#from#thirty#thousand#cryoEEM#parFcles.#Bai#XC,#Fernandez#IS,#McMullan#G,#Scheres#SH.#Elife.#2013;2:e00461.#doi:#10.7554/eLife.00461.#Epub#2013#Feb#19#

16!frames!videos!during!1s!exposure.!At!a!total!doses!of!16!electrons/Å2,!each!individual!

video!frame!integrates!less!than!a!electron/Å2.!

Alignment)method:)uses)addi/on)sta/s/cs)to)predict)the)movement)of)the)par/cles)caused)by)the)electron)beam))

14!

Page 8: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

ApplicaAon!of!the!staAsAcal!video!processing!procedure!to!an!80S!ribosome!data!set!!

ResoluAon:!�4!Å!resoluAon!using!unprecedented!small!number!of!parAcles!(15202)!

To!compare!with!5.5Å!resoluAon!with!1.4!million!parAcles,!tradiAonal!EM!technology!

The!fuzzy!appearance!for!the!

density!of!the!40S!subunits!

(green!and!red!lines)!is!an!

indicaAon!structural!

heterogeneity.!!

Ribosome#structures#to#nearEatomic#resoluFon#from#thirty#thousand#cryoEEM#parFcles.#Bai#XC,#Fernandez#IS,#McMullan#G,#Scheres#SH.#Elife.#2013;2:e00461.#doi:#10.7554/eLife.00461.#Epub#2013#Feb#19#!

15!

Resolu/ons)achieved)using)electron)cryo5microscopy)tradi/onal)methods!

Most!of!the!obtainable!resoluAon!have!been!in!

the!5!to!10Å!regime,!which!is!sufficient!for!

docking!crystal!structures!but!NOT!for!de!novo!

structure!determinaAon!!

16!

Page 9: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Direct!Electron!DetecAon!Camera!

Structure!of!a!proteasome!20S!at!3.3Å!resoluAon!

Electron)coun/ng)and)beam5induced)mo/on)correc/on)enable)near5atomic5resolu/on)single5par/cle)cryo5EM!

Li!X,!Mooney!P,!Zheng!S,!Booth!CR,!Braunfeld!MB,!Gubbens!S,!Agard!DA,!Cheng!Y.!

Nat!Methods.!2013!Jun;10(6):584O90.!doi:!10.1038/nmeth.2472.!Epub!2013!May!5.!

!

!

!

XOray!3.4Å!EM!3.3Å!

FEIOPolara!300kV!

Direct!Electron!Camera!

1Å/pixel!1O2!um!defocus!

Total!dose!25e/Å2!

Dose!rate!10e/pix/sec!

!

17!

Sampling - grey scale resolution

Film scanners generally scan into 8 bits (256 grey levels) or more. But if they are not set up correctly it is quite possible to end up with a digital image represented by far fewer grey levels. This can lead to degradation of the image and loss of resolution.

Scaled into 256 grey levels

5 grey levels

3 grey levels

18!

Page 10: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Noise reduction by averaging

Averages of 2 5 10 25 200 images

Raw images

19!

Variance

For a stack of aligned images, the variance can be calculated for each pixel, to give a map of variations between the images in the data set. This can help to assess the reliability of features seen on the average image, and can reveal if images of different structures are mixed up in the same data set.

The variance is determined for each pixel as the difference between the pixel value in a given image and the average value of that pixel in all the images. This difference is squared and the sum of these squares is calculated for all the images in the stack.

Variance = [1/(N-1)] Σ[Pi(rj) - Pav (rj)]2

where Pi(rj) is the value of pixel j in image i and Pav (rj) is the average value of pixel j in all the images, for a set of N images.

i,,j

20!

Page 11: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Analyse)d’images)dans)les)2D)Sélec/on)des)par/cules)(hemocyanin!Helix#pomaFa))

21!

Normalisation du contraste Soustraction de la moyenne et division par l’écart type

22!

Page 12: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Alignement et fonctions de corrélation

Corrélation croisée 2D

A!=!Ref! B!=!Image!

and =

B!est!translaté!et!à!chaque!posiAon!de!B!!

en!X!et!Y!un!nouveau!coefficient!de!corrélaAon!!

est!calculé.!

!

Le!résultat!final!est!une!carte!bidimensionnelle!dont!la!taille!!

correspond!à!celle!des!images!d’origine!et!qui!possède!un!!

pic!de!corrélaAon!qui!correspond!à!la!translaAon!de!B!pour!!

laquelle!les!deux!disques!se!superposent!parfaitement.!

La!posiAon!du!pic!par!rapport!à!l’origine!(centre!de!la!carte)!

correspond!au!vecteur!de!translaAon!à!appliquer!pour!

recentrer!l’image!B!par!rapport!à!l’image!A!(x!+15!,!y!O15).!!

y!

X!

ΣΣ!!k(i,j)!.!f(i+n,j+m)!

k(i,j)! f(i,j)!

X!translaAon!n!=!0!!

Y!translaAon!m!=!0!

23!

Alignement et fonctions de corrélation

Fonction d’Auto-Corrélation = FAC

C’est!la!corrélaAon!croisée!d’une!image!avec!elleOmême!

Image! ACF!

La!FAC!est!une!foncAon!“Centrée”!

Fmax!toujours!à!la!posiAon!X!=!0!et!Y!=0!

!

La!FAC!est!une!foncAon!“Paire”!!

F(x,y)!=!F(Ox,Oy)!!24!

Page 13: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Corrélation croisée angulaire

Une!image!B!(supposée!centrée)!est!placée!sur!une!!

image!de!référence,!et!pour!chaque!rotaAon!de!B,!on!mesure!

leur!coefficient!de!corrélaAon.!

Alignement et fonctions de corrélation

ref!

B!

RotaAon!angle!

correlaAon!

La!corrélaAon!est!calculée!sur!une!série!de!!

rayons!et!la!valeur!globale!est!inscrite!en!!

foncAon!de!l’angle!de!rotaAon.!

25!

Exemple d’alignement sur une référence

Référence!!!!!!!!!!!!image!B!

FAC!ref!!!!!!!!!!!!!!!FAC!B!

CorrélaAon!croisée!angulaire!des!FACs!

Mais!comme!les!FACs!sont!des!foncAons!paires,!

il!y!a!une!ambiguïté!de!180°!sur!l’angle!de!

rotaAon!qu’on!trouve!en!calculant!leur!

corrélaAon!croisée!angulaire.!

On!calcule!les!FACs!des!images!

pour!obtenir!une!représentaAon!!

centrée!et!reflétant!parAellement!

la!structure!des!parAcules.!

Alignement et fonctions de corrélation

26!

Page 14: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Fmax!=!0.91! Fmax!=!0.76!

!

Alignement!et!foncAon!de!corrélaAons!

Alignement!sur!une!référenceO2!

27!

D’autres méthodes d’alignement ont été proposées pour minimiser l’influence de l’image de référence.

"Reference free" iterative alignment (Penczek et al., 1992) : 1) Ici deux images sont prises au hasard, alignées et leur moyenne est alors utilisée comme nouvelle référence pour aligner une troisième image. Le processus se reproduit itérativement jusqu’à ce que toutes les images soient alignées. 2) Pour minimiser l’influence de l’ordre dans lequel les images ont été choisies pendant l’alignement, on repart ensuite à l’envers, en réalignant la première image et en la réalignant sur (Moyenne totale - l’image 1). Puis la seconde image est réalignée sur (Moyenne totale - l’image 2), etc … 3) Le processus entier est recommencé à nouveau sur les images issues de ce premier cycle d’alignement (étapes 1 et 2), jusqu’à ce qu’aucune amélioration ne soit constatée d’un cycle au suivant. "multi-reference alignment" et d’autres méthodes d’alignement utilisent la classification en parallèle du processus d’alignement.

28!

Page 15: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Exemple)de)centrage)et)d’alignement),)hemocyanin51)

29!

Classification 2D Brétaudière JP and Frank J (1986) Reconstitution of molecule images

analyzed by correspondence analysis: A tool for structural interpretation. J. Microsc. 144, 1-14.

30!

Page 16: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Classifica/on)2D53)

31!

Image No1

Image No80

Pixel 1 Pixel 2754

x ij

Classifica/on)2D54)Matrice!

32!

Page 17: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Méthode de la dragée

Espace à 2754 dimensions

λ2!

λ3!

λ1!

Axe!factoriel!1!

Axe!factoriel!2!

Axe!factoriel!3!

La!diagonalisaAon!de!la!matrice!carrée!T = X'X!permet!de!déterminer!la!plus!grande!direcAon!d’extension!

de!nos!données!(nuage!de!points)!dans! l’espace!mulAOdimensionnel.!Ce,e!direcAon!d’extension!correspond!à! la!

plus!grande!«!variaAon!»!ou!«!tendance!»!au!sein!de!nos!données.!C’est! l’axe!factoriel!N°1!dont! l’amplitude!est!

caractérisé!par! la!valeur!propre!λ1.!On!effectue!alors!un!changement!de!repère!pour!déterminer! la!posiAon!de!

chacune! de! nos! données! (images)! par! rapport! à! cet! axe! factoriel.! Puis,! on! recherche! la! seconde! plus! grande!

direcAon!d’extension!«!orthogonale!»!à!la!première!pour!définir!l’axe!factoriel!N°2!caractérisé!par!une!amplitude!

de!λ2.! Le! fait! que! les! axes! factoriels! N°1! et! 2! soient! orthogonaux,! indique! qu’ils! caractérisent! des! variaAons!

indépendantes!(nonOcorrélées).!On!exprime!ainsi!par!ordre!décroissant!toutes!les!variances!indépendantes!de!nos!

données!sur!les!axes!factoriels!N°1,!2,!3,!4!,etc!…!!!

Classifica/on)2D55)Créa/on)d’une)matrice)a)2758)dimensions)

)

33!

34!

Page 18: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

35!

Classification 2D a) Méthodes par partition: e.g. "Moving seeds" method Diday E (1971) La méthode des nuées dynamiques. Rev. Stat. Appl. 19, 19-34.

Deux images prises au hasard servent de centres d’agrégation pour la partition. Les centres de gravité de chaque classe servent de nouveaux centres d’agrégation pour un nouveau cycle de partition. Arrêt lorsque les centres d’agrégation ne bougent plus d’un cycle à l’autre, ou après un nombre déterminé d’itérations.

36!

Page 19: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Classification 2D b) Classification Ascendante Hiérarchique

1! 2!

3!

4!

5!

1! 2!

3!

4!

5!

1! 3!

6!

6!

5!2!

7!

7!

4!

8!

8!

37!

38!

Page 20: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

References))

Shaikh!T.,!Gao,!H.,!Baxter,W.T.,!Asturias,!F.J.,!Boisset,!N.,!Leith,!A.,!and!Frank,!J.!(2008)!SPIDER!image!

processing!for!singleOparAcle!reconstrucAon!of!biological!macromolecules!from!electron!micrographs!

Nature#Protocols#3!(12)!1941O1974.!Carragher!B,!Kisseberth!N,!Kriegman!D,!Milligan!RA,!Po,er!CS,!Pulokas!J,!Reilein!A!(2000)!Leginon:!an!

automated!system!for!acquisiAon!of!images!from!vitreous!ice!specimens.!J.#Struct.#Biology!132,!33O45.!!Po,er!CS,!Chu!H,!Frey!B,!Green!C,!Kisseberth!N,!Madden!TJ,!Miller!KL,!Nahrstedt!K,!Pulokas!J,!Reilein!A,!Tcheng!

D,!Weber!D,!Carragher!B.!(1999)!Frank,!J.!(1975).!Averaging!of!low!exposure!electron!micrographs!of!

nonperiodic!objects.#Ultramicroscopy!1,!159O162.!Frank,!J.,!and!AlOAli,!L.!(1975).!SignalOtoOnoise!raAo!of!electron!micrographs!obtained!by!crossOcorrelaAon.!

Nature!256,!376O378.!Frank!J.!(1996)!ThreeOdimensional!microscopy!of!macromolecular!assemblies.!Academic#Press,!San!Diego.!Frank!J.!(1990)!ClassificaAon!of!macromolecular!assemblies!studied!as!'single!parAcles'.!Quart.!Rev.!Biophys.!

23,!281O329.!

Henderson,!R.,!and!Glaeser,!R.M.!(1985).!QuanAtaAve!analysis!of!image!contrast!in!electron!micrographs!of!

beamOsensiAve!crystals.!Ultramicroscopy!16,!139O150.!Henderson,!R.!(1995).!The!potenAal!and!limitaAons!of!neutrons,!electrons!and!XOrays!for!atomic!resoluAon!

microscopy!of!unstained!biological!molecules.!Quart.!Rev.!Biophys.!28,!171O193.!

Saxton,!W.O.!(1994)!Accurate!alignment!of!sets!of!images!for!superOresolving!applicaAons,!J.#Microsc.!174,!61O68.!

van!Heel,!M.!(1989).!ClassificaAon!of!very!large!electron!microscopical!image!data!sets.!OpFk!82,!114O126!!

39!

Contrainte)de)la)cryoMET)sur)objets)biologiques):))Travailler!à!faible!dose!d'électrons!(10e

O/Å

2)!

Seulement!1!(ou!2)!prise(s)!de!vue(s)!!par!zone!

Collecter!N!images!à!faible!rapport!signal/bruit!

Avec!une!forte!sousOfocalisaAon!(contraste)!

Calculer!des!moyennes!numériques!2D!ou!3D!

Corriger!la!foncAon!de!transfert!de!contraste!(CTF)!

!

UAliser! les! symétries! et/ou! disposiAon! des!

parAcules:!

Symétrie!hélicoïdale,!icosaédrale,!réseaux!2D,!

ou!pas!de!symétrie.!

!

La)reconstruc/on)d’un)modèle)préliminaire)3D)L’acquisition des séries coniques aléatoires

Les méthodes de reconstructions

Réduction de l'effet du cône manquant !

40!

Page 21: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Série!de!projecAons!

inclinées!

Calcul!d’un!volume!

de!reconstrucAon!3D!!

par!rétroprojecAon!

Principe)de)la)tomographie)moléculaire)(1)!!

41!

2!5 4 3

6 7 1

Espace!de!Fourier!

1 2 7 6 5 4 3

Théorème!de!la!secAon!centrale:!

En!espace!réciproque,!toute!projecAon!biO

dimensionnelle! d’un! objet! correspond! à!

une! secAon! centrale! dans! la! transformée!

de! Fourier! 3D! de! l’objet.! Chaque! secAon!

centrale!est!orientée!perpendiculairement!

à! la! direcAon! de! projecAon! (direcAon! du!

faisceau!d’électrons).!!

Principe)de)la)tomographie)(séries)inclinées))(2)!!

42!

Page 22: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

X y

Z

ϕ θ ψ !

!!

X

Y

Z

Les!convenAons!SPIDER!

concernant!les!angles!eulériens.!

ϕ  = phi = rotation autour de Z&θ = theta = rotation autour de Y&ψ = psi = rotation autour de Z 43!

La)reconstruc/on)d’un)modèle)préliminaire)3D)L’acquisition des séries coniques aléatoires

Les méthodes de reconstructions

44!

Page 23: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

45°

1!2!

5

4 3

6 7 8 1 2 8 7 6 5 4 3

ParAcules!isolées:!Avec!seulement!deux!prises!de!vues!on!peut!!

calculer!un!volume!de!reconstrucAon!

Séries!coniques!aléatoires!

45!

1!

2!

5

4 3

6 7 8

Espace!de!Fourier!

Principe!de!la!

reconstrucAon!!

conique!aléatoire!

Z

ReprésentaAon!sur!une!sphère!de!la!série!de!projecAons!comme!une!série!de!points!

situés!aux!intersecAons!entre!une!sphère!englobant!l’objet!et!les!vecteurs!de!projecAons!

dirigés!vers!le!centre!de!la!sphère.!Pour!une!série!conique!les!points!sont!disposés!en!

cercle.!

Sphère!de!topologie!

46!

Page 24: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

X!

Y!

Z!

47!

Simple!backOprojecAon!!

Reciprocal!space! halfOvolume!

φ!=36°! φ!=36°!

Once!the!3!Euler!angles!are!determined,!the!3D!reconstrucAon!can!be!performed!from!the!AltedO

specimen!projecAons.!The!simple!backOprojecAon!is!nothing!more!than!adding!in!reciprocal!space!

the! FT! of! the! 2D! projecAons! in! their! relaAve! orientaAons! (waffleOlike! distribuAon! of! central!

secAons),!followed!by!Fourier!transform!of!this!3D!distribuAon!to!come!back!in!real!space.!

Uneven!distribuAon!of!the!signal!

Why!does!it!look!so!bad?!

48!

Page 25: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Weigthed!backOprojecAon!

Reciprocal!space! halfOvolume!

φ!=36°! φ!=36°!

Missing!cone!

Similar!as!previously,!but!a^er!applying!a!bandOpass!filtering!or!weigh/ng!of!the!signal!(lowering!contribuAon!in!low!spaAal!frequencies).!!!

It!is!be,er,!but!we!have!a!nonO

isotropic!reconstrucAon.!Why!?!!

49!

0°!

45°!

45°! 0°

0°!

45°!

Exemple)de)reconstruc/on)à)par/r)des)images)expérimentales!(Hémocyanine!d!’Helix#pomaFa,#symétrie!D

5)!

50!

Page 26: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Vues!de!côté!brutes! Mêmes!images!alignées!

Alignement!

DéterminaAon!

de!l!’angle!(φ)&

ClassificaAon!automaAque!!!5!vues!

Calcul!d’un!volume!par!classe!à!parAr!des!images!inclinées!

Assemblage!des!volumes!alignés!!

51!

Surface!externe! Cavité!centrale!

Hémocyanine!d’Helix#pomaFa#

52!

Page 27: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

A)retenir)sur)l’approche)des)série)coniques)aléatoires)1! Ce,e!méthode! nécessite! de! collecter! des! images! avec! et! sans! inclinaison! dans! le!

microscope.!La!microscopie!a!un!faible!rendement!car!il!y!a!des!effets!de!charge!et!

de!superposiAon!parAelle!des!parAcules!qui!ne!sont!pas!maîtrisables.!

2!La!technique!foncAonne!même!sur!les!images!à!faible!rapport!signal!/!bruit!de!fond!

!!on!travaille!donc!sur!les!images!brutes.!

3!Il!y!a!toujours!un!artéfact!du!cône!manquant!qui!peut!être!supprimé!si!on!regroupe!

des! volumes! correspondant! à! des! vues! différentes! de! la! parAcules,! ou! si! la!

parAcules!a!des!symmétries! internes!favorables.! (exemple:!parAcule!cylindrique!à!

symétrie!D5:!Les!vues!de!dessus!produisent!un!volumes!anisotrope!avec!un!artéfact!

du!cône!manquant!alors!que!les!vues!de!côté!produisent!un!volume!isotrope).!

53!

Les)méthodes)d’affinement)de)l’alignement)et)de)la)reconstruc/on)

ART5SIRT)

54!

Page 28: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Require!a!reference!3D!model.!

!

Real!space!:!!

Shaikh!T.,!Gao,!H.,!Baxter,W.T.,!Asturias,!F.J.,!Boisset,!N.,!Leith,!A.,!and!Frank,!J.!(2008)!SPIDER!image!processing!

for!singleOparAcle!reconstrucAon!of!biological!macromolecules!from!electron!micrographs!Nature#Protocols#3!(12)!1941O1974.!SPIDER!so^ware!

Penczek,!P.A.,!Grassucci,!R.A.,!Frank,!J.!(1994)!The!ribosome!at!improved!resoluAon:!new!techniques!for!merging!

and!orientaAon!refinement!in!3D!cryoOelectron!microscopy!of!biological!parAcles.!Ultramicroscopy!53:!251–270.!Spider!so^ware!

Fourier!transform:!

Grigorieff,!N.!(1998).!ThreeOdimensional!structure!of!bovine!NADH:!ubiquinone!oxidoreductase!(complex!I)!at!22!A!

in!ice.!J.#Mol.#Biol.!277:!1033–1046.!Jonic,!S.,!Sorzano,!C.O.,!Thevenaz,!P.,!ElOBez,!C.,!De!Carlo,!S.!&!Unser,!M.!(2005).!SplineObased!imageOtoOvolume!

registraAon!for!threeOdimensional!electron!microscopy.!Ultramicroscopy!103(4),!303O17.!

Radon!transform:!Radermacher,!M.!(1994).!ThreeOdimensional!reconstrucAon!from!

random!projecAons:!orientaAonal!alignment!via!Radon!transforms.!Ultramicroscopy)53:!121–136.!Wavelet!transform:!Sorzano,!C.O.,!Jonic,!S.,!ElOBez,!C.,!Carazo,!J.M.,!De!Carlo,!S.,!Thevenaz,!P.!&!Unser,!M.!

(2004).!A!mulAresoluAon!approach!to!orientaAon!assignment!in!3D!electron!microscopy!of!single!parAcles.!J!

Struct!Biol!146(3),!381O92.!

Polar!Fourier!transform:!Baker,!T.S.!&!Cheng,!R.H.!(1996).!A!modelObased!approach!for!determining!

orientaAons!of!biological!macromolecules!imaged!by!cryoelectron!microscopy.!J!Struct!Biol!116(1),!120O30.!!

!

So^ware:!!SPIDER,!IMAGIC,!XMIPP,!EMAN,!etc.!

Methods)for)refinement)of)alignment)and)reconstruc/on!!

55!

Methods)that)quan/ze)the)alignment)parameters)(1))

�������

��������

Direct!a,ribuAon!of!Euler!angles!to!the!

experimental!images!by!comparison!

with!2D!projecAons!of!a!lowerO

resoluAon,!reference!volume.!!

Reference)projec/ons!(projecAons!of!a!reference!volume,!

discrete!number!of!projecAon!direcAons)!

56!

Page 29: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Methods)that)quan/ze)the)alignment)parameters)(2))

One!of!the!global!refinement!strategies.!

Egelman!2000,!Ultramicroscopy,!85:!225O234.!

Global)refinement!

Angular!sampling!step!for!

computaAon!of!the!library!of!

reference!projecAons!is!

reduced!in!each!iteraAon!of!the!

refinement.!

57!

Autres)méthodes)de)reconstruc/on)d’un)modèle)préliminaire)3D)L’approche!des!lignes!communes,!sinogrammes,!transformée!de!Radon!

58!

Page 30: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

La)méthode)des)lignes)communes)(Elena)Orlova)EMBO)2003))

4 orientations du GroEL-GroES

Les projections 2D correspondantes

Transformée de Fourier 3D.

Lorsque toutes directions de l’espace sont représentées, la transformée inverse produit un volume de reconstruction 3D isotrope.

Les transformées de Fourier 2D

zzz!Each!2D!transform!is!a!

central!secAon!of!the!3D!

transform!of!the!object.!!

!So!each!pair!of!2D!

transforms!has!a!common!

line!

!

59!

2D))))))))))1D)

Projection 2D

α&

00&

3600&

Le « sinogram » d’une image 2D correspond à l’empilement de ses différentes projections 1 D ( l i g n e s ) d a n s toutes les directions (0° à 360°).

y

α&

00 ≤ α ≤ 3600&

00&

3600&

60!

Page 31: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Les lignes communes en espace réel:

La méthode des lignes communes est basée sur le fait que :

N’importe quelle paire de projections 2D d’un objet 3D a au moins une ligne commune dans leurs projections 1D respectives.

61!

Projections Views

62!

Page 32: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Crossinocorrelation function

Image 3 Image 1

-6

-4

-2

0

2

4

6

1 11 21 31 41 51 61 71 81 91 101 111 121

-6

-4

-2

0

2

4

6

1 11 21 31 41 51 61 71 81 91 101 111 121

-6

-4

-2

0

2

4

6

1 11 21 31 41 51 61 71 81 91 101 111 121

900 2700

3100

1300

63!

Projections

Sinograms

C5 D5

64!

Page 33: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

A)retenir)sur)l’approche)des)lignes)communes))et)des)sinogrammes)

1!Ce,e!méthode!permet!de!collecter!des!images!sans!inclinaison!dans!le!microscope.!

2! Les! sinogrammes! ne!marchent! que! sur! des! images! à! fort! rapport! signal! /! bruit! de!

fond!!!on!travaille!donc!sur!des!moyennes!2D!

3!Le!centre!de!masse!des!moyennes!2D!doit!coïncider!avec!le!pixel!central!des!images.!

Le! plus! peAt! décalage! introduit! un! biais! dans! la! déterminaAon! des! lignes!

communes.!

4!La!structure!3D!d’une!parAcule!produite!par!ce,e!approche!a!une!chance!sur!deux!

d’être!le!mauvais!énanAomorphe.!Il!faut!donc!réaliser!au!moins!une!fois!une!paire!

de!prises!de!vues!avec!le!porteOobjet!incliné!à!0°!et!à!15~30°!pour!vérifier!qu’on!a!

bien!produit!le!bon!énanAomère.!

5!La!technique!marche!d’autant!mieux!que!la!parAcule!possède!des!symétries!internes.!

65!

Tomographie)électronique)cellulaire))

An object viewed from many different angles will generate slightly different images.

66!

Page 34: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

These images can be recorded and analyzed to create a tomographic rendering of the specimen.

Object creates multiple images so the inverse is also possible

T!

Tomographie)cellulaire)

67!

Electron Tomography

Double!Alt!holder!Double!Alt!holder!

68!

Page 35: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Electron!Tomography!of!kinetochores!

69!

ReconstrucAon!of!Golgi!

70!

Page 36: Traitement d’images - Télécom ParisTech · Microscopie électronique et traitement d’images Cours N°2 Traitement d’images Reconstruction d’images dans les 3D de macromolécules

Microscopie!électronique!!

Ce!qu’il!faut!retenir!O!

O Pourquoi)u/liser)cet)ou/l?)La!cryoOmicroscopie!

OAvantage:!environnement!naturel!Inconvenient:!peu!de!contraste,!et!tres!fragile!!

(faible!dose!nécessaire)!

O Résolu/on!!!Quelles!sont!les!limitaAons!pour!obtenir!une!résoluAon!élevée?!

!(microscopes!peu!performant,!aberraAon!du!ME,!échanAllon!pas!tres!homogene)!

!

Les)méthodes)pour)aligner)dans)les)2D)et)reconstuire)dans)les)3D)un)volume)Odigitaliser!l’image!!echanAllonage!et!quanAficaAon!normalisaAon!

Centrage!reference!free!mulAreference!

ClassificaAon!KOmean!

!

ReconstrucAon!d’un!modele!3D.!

Methode!des!series!coniques!aleatoie!

Osinogramme!

ORafinement!de!la!structure!3D,!Back!projecAon,!ART!SIRT!

!!

!

71!