Modèles de capteurs infrarouges pour lasynthèse d'images thermiques réalistes

Christelle Garnier(1), René Collorec(2) et Frank Rousée(3)

(1) Département informatique, Ecole Louis de Broglie, Campus de Ker Lann,BP 89 35 170 Bruz, France

(2) L.T.S.I. (Laboratoire de Traitement du Signal et de l’Image), Universitéde Rennes I, Campus de Beaulieu, Bât. 22 35 042 Rennes Cedex, France

(3) SOGITEC, Division électronique, 24 av Lavoisier, Z.A. du Champ Niguel,BP 7408 35 174 Bruz Cedex, France

RÉSUMÉ

La formation des images par les capteurs IR s’accompa-gne de dégradations qu’il faut reproduire pour générer des imagesthermiques de synthèse réalistes. Nous proposons des modèles decapteurs IR basés sur l’étude des phénomènes physiques impliquésdans l’acquisition des images. Notre approche repose sur une ex-tension des modèles de caméras existants en synthèse d'images dansle visible et dans l’IR. Les modèles développés explicitent la rela-tion géométrique et énergétique entre les points d'une scène 3D etles pixels de l'image obtenue en sortie du capteur IR. Ces modèlesprésentent l’intérêt de simuler chaque composant du capteur, sui-vant la technologie utilisée et la précision désirée. De plus, lesdonnées d’entrée sont suréchantillonnées dans le domaine spectral,spatial et temporel par rapport à la résolution du capteur IR.

ABSTRACT

Infrared sensors degrade images. Introduced defaults haveto be reproduced to generate realistic synthetic IR images. In thispaper we present infrared sensors models based on the laws de-scribing physical phenomena involved in infrared imagery acquisi-tion. Our approach is an extension of current models used in visibleand infrared image synthesis. Proposed models simulate properlythe geometrical image formation and compute accurately the pixelvalue of the output image from the spectral radiance distribution ofthe scene corresponding point. They present the advantage ofsimulating each infrared sensor component, according to the usedtechnology and the desired accuracy. Moreover, input data areoversampled in the spectral, spatial and temporal dimension incomparison with infrared sensor resolution.

1 Introduction

Aujourd'hui, les aéronefs sont équipés de capteurs IR,utilisés pour l'aide au pilotage en cas de mauvaise visibilité,la télédétection passive, le contrôle de tir... Pour cette raison,la restitution d'images IR réalistes est une nouvelle fonction-nalité intégrée aux visuels des simulateurs de vol. La géné-ration d'images thermiques réalistes nécessite la modélisa-tion de trois phénomènes physiques : le rayonnement ther-mique de la scène, la propagation de ce rayonnement à tra-vers l'atmosphère et la formation de l'image par le capteurIR. C’est ce dernier phénomène qui nous intéresse dans cetarticle.Nous commençons par présenter les modèles de capteursexistants en synthèse d'images dans le visible et dans l’IR.Puis, après avoir exposé notre approche, nous décrivons lesmodèles de capteurs développés. Ces modèles sont destinésà être insérés dans une chaîne de modélisation plus vastedéveloppée par la société SOGITEC à Bruz et intituléeSYTHER (SYnthèse d’images THERmiques). Ils simulent laformation géométrique de l'image et calculent la luminancedes différents pixels à partir de l’énergie des points corres-pondants dans la scène 3D visualisée. Ils rendent compte desdifférents composants de la chaîne d'imagerie, chacun d'euxpouvant être modélisé suivant la technologie mise en oeuvreet la précision désirée.

2 Etat de l’art

La modélisation de caméras est l'objet de peu d'investi-gations en synthèse d'images. Les modèles existants, mêmes'ils sont incomplets d'un point de vue physique, suffisentgénéralement à reproduire sur les images les effets désirés.Cependant, dans le cas de la synthèse d'images réalistesbasée sur la physique, la connaissance d'un modèle précis decapteur est nécessaire. Parmi les travaux effectués dans levisible, on peut distinguer 3 approches. La première consisteà appliquer les modèles de capteurs sous la forme de post-traitements [1] : une image bidimensionnelle est construite àpartir de la scène 3D par un modèle sténopé de caméra, puisdégradée par le modèle de capteur. La deuxième consiste àvenir greffer les modèles de capteurs sur un lancer de rayons[2] : la déviation des rayons passant à travers l’optique estalors calculée par les lois de Snell-Descartes. La troisièmeapproche combine les 2 précédentes [3]. Tous ces modèlesse réduisent principalement à la description de la partie opti-que des caméras. Les modèles utilisés dans les générateursd'images IR, quand ils existent, sont de type post-traitements. Les aspects énergétiques y sont plus approfondis[4], [5]... Il existe aussi quelques modèles de capteurs IRdéveloppés comme outils d'aide à la conception et à l'ana-lyse de nouveaux capteurs IR. La plupart prennent encompte la fonction de transfert globale du capteur (optique +

SEIZIÈME COLLOQUE GRETSI — 15-19 SEPTEMBRE 1997 — GRENOBLE 749

[ , ]m in m a xλ λ

s c è n e p la n im a g e

L tP o, ( , , )λ λr o

L u m in a n c e s p e c t r iq u e é m is e a u p o in t P o e t d a n s la d ir e c t io n r o :

F lu x s p e c t r i q u e r e ç up a r u n d é te c te u r d es u r fa c e A d e t :

Φ λ λλ λ( , ) ( , )., detdet

t E t dAPiP Ai

=∈∫

d é t e c t e u r

p u p il le d es o r t ie

o p t iq u e s t ig m a t iq u e

L t

f L t

P

atm op t Po

i' ,

,

( , , )

( ( , , ))

λ

λ

λλ

r

r

i

o

=+

E t

L t d

Pi

Piopt

opt

,

,

( , )

( , , ). cos( ).

λ

λ

λ

λ θ

=

∈∫ r ir i Ω

Ω

r o

Po

Ω o p t

Pi

r i θd o p tΩ

P i'Po'

L u m in a n c e s p e c t r iq u e , a p r è s p a s s a g e à tr a v e r s l 'a tm o s p h è -re e t l 'o p t iq u e , a u p o in t P 'i e t d a n s la d ir e c t io n r i :

E c la ir e m e n t s p e c t r iq u e r e ç u a u p o in t P i d a n s l 'a n g le s o l id e s o u s -te n d u p a r la p u p i l le d e s o r t ie :

S ig n a l é le c tr iq u e e n s o r t ie d 'u n d é te c te u r s e n s ib le s u r la b a n d e

s t t S d( ) ( , ). ( ).min

max

= ∫ Φλλ

λλ λ λ

Q u a n t i t é d e c h a r g e s r e c u e i l l i ea p r è s in té g r a t io n d u s i g n a l p e n d a n t le t e m p s T in t :

Q s t dtT

= ∫ ( ).int

A det

p u p il le d 'o u v e r t u r e

A x e o p t iq u e

figure 1 : Principales étapes de la conversion de l’énergie thermique en signal électrique par un capteur IR.

détecteur + électronique) supposée invariante sur l’image,les bruits électriques additifs, l’échantillonnage spatial de lascène par le(s) détecteur(s) et la vibration du capteur : Mit-subishi [6], SMARTI [7]... Les phénomènes décrits sont deplus simplifiés. Quelques modèles rendent mieux compte dela réalité : NVSIM [8] par exemple, qui considère une fonc-tion de transfert variable dans le plan image, effectue unrééchantillonnage spatial de l’image suivant la résolution ducapteur et simule plus précisément la conversion énergieIR/signal électrique. Il reste, malgré tout, certains phénomè-nes physiques à modéliser : l’assombrissement sur les bordsde l’image, la relation spatio-temporelle entre les détecteurset la scène visualisée, la modification de la géométrie del’optique lors de la mise au point... Pour terminer, notonsque la plupart des modélisations existantes sont imprécisesen ce qui concerne la définition des grandeurs physiques.

3 Principes de modélisation

Nous nous inspirons des modélisations existantes dans levisible et dans l’IR pour construire nos modèles de capteursIR. Mais nous les remanions et les généralisons de façonqu’elles correspondent réellement à la physique du capteuret qu’un minimum d’hypothèses simplificatrices soient for-mulées. Dans les paragraphes suivants, nous exposons lesprincipes autour desquels s'articulent nos modèles.

3.1 Lois physiques

Sur la figure 1, nous avons schématisé les étapes de laconversion énergie IR/signal électrique. Les grandeurs phy-siques manipulées sont des grandeurs spectrales G( )λ ou

spectri- ques Gλ λ( ) 1 (densité spectrale de G( )λ ) [9] :

1 Si G( )λ s’exprime en unités U, Gλ λ( ) s’exprime en

U.m-1.

- La luminance spectrique, notée L tP, ( , , )λ λr , est une

grandeur énergétique définie en un point Pd’une surfaceémettrice ou réceptrice et suivant une direction r . Elles’exprime en W.m-2.sr-1. m-1.- L’éclairement spectrique, noté E tP, ( , )λ λ , est une gran-

deur énergétique définie en un point P d’un récepteur etpour un angle solide Ω . Elle s’exprime en W.m-2. m-1.- Le flux spectrique, noté Φλ λ( , )t , représente la puissance

émise ou reçue sous forme de rayonnement. Il s’exprime enW.m-1.- La sensibilité spectrale, notée S( )λ , est le quotient de la

réponse électrique dsλ λ( ) d’un détecteur sur le flux spec-

trique dΦλ λ( ) incident. Elle s’exprime en V(Volts).W-1 ou

en A (Ampères).W-1.Les équations de la figure 1, établies à partir de la définitionde ces grandeurs, constituent un support d’origine physiquepour nos modèles de capteurs IR.

3.2 Décomposition du modèle

La modélisation est basée sur un découpage en plusieursmodules. Chacun d’eux correspond à un élément particulierconstituant le capteur IR, et manipule des grandeurs physi-ques. Pour chaque module, seules les entrées-sorties sontfixées, aucune hypothèse n’est formulée sur les méthodes decalculs à mettre en oeuvre. Cette décomposition permet dedégager une structure unique capable d’accueillir des algo-rithmes de complexité variable. Chaque constituant est ainsimodélisé suivant la précision désirée et la technologie utili-sée. Nos modèles permettent de simuler plusieurs types decapteurs IR [10] ; nous pouvons citer les systèmes utilisantdes détecteurs thermiques, photoconducteurs ou photovoltaï-ques sous la forme de matrices en mode fixe, de monodé-tecteurs, de barrettes ou de mosaïques associés à un balayagesérie et/ou parallèle.

750

3.3 Echantillonnage spatial, temporel et spectral

D'après la figure 1, le problème de la modélisation decapteurs IR peut se résumer par l’équation suivante :

L L t S

d dA d dtT

PitPi A

opt

op

∝ ∫ ∫∫∫ ∈∈in detmin

max

t,

det

( , , ). ( ).

cos( ). . . .

λλ

λλ λ

θ λ

r ir i Ω

Ω (3.1)

La luminance d'un pixel de l'image visualisée est propor-tionnelle à une expression qui met en oeuvre des intégralesmultiples. Dans les modèles existants, l’équation est large-ment simplifiée :

L L t S

T dA

Pi c imaPi A

c opt

opt

∝

−∈∑ ,

max min int det

( , , ). ( ).cos( ).

.( ). .det

λ λ λ θ

λ λ

r opt

Ω(3.2)

avec λc = ( /max min)λ λ+ 2, r opt le rayon passant par le

centre optique, θopt l’angle que fait ce rayon avec l’axeoptique, et tima l’instant où le capteur commence à voir lascène. Nos modèles permettent d’obtenir une plus grandeprécision des calculs. Un échantillonnage spectral permet deconsidérer les variations des grandeurs physiques (transmis-sion de l'optique, sensibilité...) en fonction de la longueurd'onde. Un échantillonnage spatial de la pupille de sortiepermet de résoudre le problème d’occlusion partielle. Enfin,un échantillonnage temporel permet de simuler les taches demouvement, importantes pour le réalisme des images syn-thétisées. La finesse de ces échantillonnages est paramètra-ble, de plus ceux-ci peuvent être de nature régulière, semi-aléatoire ou aléatoire.

3.4 Entrée / sortie

L’entrée des modèles de capteurs IR est constituée d’unensemble de grandeurs physiques. Celles-ci sont déterminéespour un instant donné, et pour chaque point échantillon de lascène 3D, situé dans un certain angle solide issu d’un pointéchantillon de la pupille d’entrée. Pour chaque point de lascène, ces grandeurs comprennent les luminances spectri-ques émises en direction du point de la pupille d’entrée, etmodifiées par leur passage à travers l’atmosphère, ainsi quela profondeur le long de l’axe optique. Pour obtenir ces in-formations, une requête est envoyée à un modèle d’interfacequi commande l’algorithme de rendu des images. Aucunehypothèse n’est faite sur celui-ci ; il peut s’agir indifférem-ment d’un Z-buffer ou d’un lancer de rayons. Dans les casextrêmes, les requêtes se font pour des angles solides élé-mentaires (lancer de rayons) ou pour le champ de vue ducapteur (rendu de l’image complète). Des solutions intermé-diaires sont possibles : dans le cas d’une barrette de détec-teurs disposés en parallèle, les données d’entrée sont trans-mises par « morceaux » d’images, correspondant aux ins-tants où ils sont vus par les détecteurs. Ainsi, l’entrée de nosmodèles de capteurs IR est précise et optimisée. La sortie estune image dont la résolution est celle du capteur simulé.

4 Modèles de capteurs IR

Nous présentons les modèles de capteurs IR développéssuivant les principes évoqués précédemment. Les notationsutilisées sont celles de la figure 1.

4.1 Le balayage

Ce modèle simule la déflexion du faisceau optique par lesystème de balayage. Il décrit le mode d'analyse de l'imagepar le ou les détecteur(s), suivant le type de balayage utiliséet la configuration du ou des détecteur(s), les deux étantimplicitement liés. Le modèle permet de distinguer plusieursmodes d'analyse :- balayage optomécanique avec un détecteur unique, unebarrette de détecteurs en série ou en parallèle, une matricede détecteurs.- balayage électronique avec une matrice de détecteurs cou-vrant le plan focal.Ce modèle détermine les zones de l’image d’entrée vuesséquentiellement par les détecteurs et les instants entre les-quels elles contribuent à leur éclairement.

4.2 L'optique

Le modèle de l’optique comprend :- une fonction géométrique, qui simule la formation desimages dans le cas d’un système optique parfait, ainsiqu’une aberration géométrique : la distorsion optique.D’après le classement des aberrations de Seidel [9], le pointPi , image de Po par le système optique, est :

P G P C P GPi o d i o= + −. .( )3 (4.1)

où G est le grandissement et Cd le coefficient de distor-sion de l’optique.- une fonction énergétique, qui simule les phénomènes éner-gétiques introduits par le système optique. Ce modèle tientcompte du facteur de transmission des composants optiquesτ λopt( ) , reproduit l'assombrissement dû à la conversion

luminance/éclairement, et le vignettage (blocage de l'énergiethermique par des composants optiques autres que la pupillede sortie) sur les bords de l'image. Il permet aussi de super-poser à l’énergie reçue, l’énergie émise par le système opti-que. L’éclairement reçu en Pi dans le plan image est :

E t L t

L t d

Pi optPi

scène

Pioptique

opt

opt,

,

,

( , ) ( ). ( ( , , )

( , , )).cos( ).

λλ

λ

λ τ λ λ

λ θ

= ∫ +∈r i

i

ir

r

Ω

Ω(4.2)

- une fonction de « tache optique » non isoplanique, quiintroduit les phénomènes optiques affectant la qualité despoints de l'image, donc susceptibles de les élargir. Elle incluttoutes les aberrations optiques excepté la distorsion, la dif-fraction et la profondeur de champ. Ce modèle prend aussien compte les vibrations de la ligne de visée du capteur IRliées aux mouvements de la plate-forme de fixation. Lafonction décrivant l’étalement d’un point Pi (en anglaisPSF : Point Spread Function) dans le plan image à un instantdonné s’écrit comme la convolution de plusieurs fonctions :

751

h P t h P t h P t

h P t h P t

Pié talement

Piaberrations diffraction

Piprofchamp vibrations

( , , ) ( , , ) * ( , , )

* ( , , ) * ( , , )

λ λ λ

λ λ

=

(4.3)

où h P tPiaberrations( , , )λ et h P tvibrations( , , )λ sont des gaus-

siennes, h P tdiffraction( , , )λ est la tache d’Airy et

h P tPiprofchamp( , , )λ est à répartition uniforme sur un disque.

4.3 Le(s) détecteur(s) et le refroidissement

Le modèle des détecteurs et du système cryogéniquecomprend :- une fonction géométrique, qui simule l'action des détec-teurs sur les éclairements spectriques arrivant dans le planimage. Les détecteurs réalisent un échantillonnage spatial ettemporel de l'énergie thermique puisqu'ils sont de dimensionfinie et qu'ils intègrent cette énergie pendant un temps finilui aussi. Le modèle prend en compte le temps de réponsedes détecteurs et la limitation de leur champ de vue par lecryostat. Dans le cas d’un capteur à balayage optomécani-que, le modèle simule les effets dus au déplacement de lascène sur les détecteurs au cours du temps. La quantitéd’énergie spectrique reçue par un détecteur est :

[ ]Q E t h P t

dA t dt

TPi Pi

é talementi

Pi A tλ λλ λ λ( ) ( , ) * ( , , ) .

( ).int det

,( )

det

= ∫ ∫ ∈

(4.4)

- une fonction énergétique, qui simule la conversion del'énergie thermique en signal électrique par un détecteur IR.Au signal électrique, se superposent un bruit électrique ad-ditif b t( ) ainsi qu’un courant iobs dit d’obscurité, délivré

par le détecteur en l’absence de rayonnement thermique. Cemodèle permet de simuler les non-uniformités de la sensibi-lité ∆S (source d’un bruit multiplicatif) et du courantd’obscurité ∆iobs des détecteurs. Il permet aussi de consi-dérer les non-linéarités de la réponse du détecteur, notam-ment le phénomène de saturation, qui peut engendrer unéblouissement local sur l’image. Le modèle prend en compteles variations de ces grandeurs physiques en fonction de latempérature des détecteurs. La quantité de charges électri-ques recueillie en sortie d’un détecteur est :

Q Q S S d

i t i dt b t dt

elec

obs obs

T T

= +

+ + +

∫

∫ ∫

λλ

λλ λ λ( ) ( ).( ).

( ).( ). ( ).

.min

max

int int

1

1

∆

∆ (4.5)

4.4 Le module électronique

Il réalise les différents traitements appliqués dans lescapteurs IR réels au signal puis à l'image. Ce modèle secompose des opérations suivantes : amplification (modéliséepar un filtrage passe-bas), quantification du signal électri-que, couplage alternatif (modélisé par un filtrage passe-hautcar il supprime la composante continue du signal) pour lescapteurs à balayage optomécanique, contrôle automatique de

gain et d’offset, corrections éventuelles de certains défautsde l’image.

5 Conclusion

Nous avons présenté des modèles de capteurs IR décrits àpartir des phénomènes physiques. Ces modèles rendentcompte des caractéristiques optiques, énergétiques et électro-niques des capteurs IR, suivant les technologies mises enoeuvre et de façon plus ou moins détaillée. De plus les varia-tions des grandeurs physiques sont prises en compte dans ledomaine spatial, spectral, et temporel avec la précision sou-haitée. Le développement de ces modèles a abouti à uneapplication logicielle en cours de validation. Celle-ci con-siste à comparer les grandeurs qui caractérisent les capteursIR : d’une part, celles mesurées sur le banc CASIMIR2 duCELAR3 et d’autre part, celles obtenues par simulation.

6 Références

[1] M. POTSEMIL and I. CHAKRAVARTY. A lens andaperture camera model for synthetic image generation. InComputer Graphics, vol. 15, n°3, pp. 297-305, Aug. 81.[2] C. KOLB, D. MITCHELL, P. HANRAHAN. A realisticcamera model for computer graphics. In Computer GraphicsProceedings, Annual Conference Series, pp. 317-324, 1995.[3] M. SHINYA. Post-filtering for depth of field simulationwith ray distribution buffer. In Graphics Interface, CanadianInformation Processing Society, pp.59-66, 1994.[4] J.M. CATHCART, A.D. SHEFFER and N.L. FAUST.High-fidelity infrared scene simulation at Georgia Tech. InProceedings SPIE : High-Fidelity Simulation for Training,Test Support, Mission Rehearsal, and Civilian Applications,vol. 2740, pp. 142-152, Apr. 96.[5] M.DONN, P.YANNI and U. BERNSTEIN. Realisticapproach to an IR mission rehearsal simulator. In Procee-dings SPIE : Infrared imaging systems : design, analysis,modeling and testing VII, vol. 2743, pp. 290-301, Apr. 96.[6] T. AKIYAMA, Y. TAMAGAWA, T. YANAGISAWA.Simulation of visible/infrared sensor images. In ProceedingsSPIE : Infrared Technology and Applications XXII, vol.2744, pp. 61-67, Apr. 96.[7] A. MARSHALL and K. S. MURPHY. Modeling andsimulation of IR scenes and sensors in the UK : current andfuture capabilities. In Proceedings SPIE : Infrared Techno-logy and Applications XXII, vol. 2744, pp. 591-598, Apr. 96.[8] J.D. HORGER. NVSIM: UNIX-based thermal imagingsystem simulator. In Proceedings SPIE : Infrared ImagingSystems: Design, Analysis, Modeling and Testing IV, vol.1969, pp. 27-40, Apr. 93.[9] J. CANIOU, L'observation et le mesurage par thermo-graphie, Afnor, 1991.[10] J. S. ACCETTA, D. L. SHUMAKER, editors, The in-frared and electro-optical systems handbook, EnvironmentalResearch Institute of Michigan (ERIM), 1993.

2 CAractérisation des Systèmes d’IMagerie IR.3 Centre d’ELectronique de l’ARmement, situé à Bruz.

752