Présentation du mode RAW

Présentation du mode RAW

Gilles Clé[email protected]

RCE 14 Novembre, La Vilette

14 Nov. 2004 Rencontres C&E La Villette 2

Le RAW c’est quoi ?

RAW (anglais) = Cru, brut, non traité, à vif, foid et humide, inexpérimenté, sauvage, à l’état brut, obscène …

Le but = récupérer le signal du capteur d’image le plus directement possible (sans aucun pré-traitement)

256

Niveau d’intensité (luminance)pour chaque pixel (8 bits)

0Le long d’une ligne du capteur

Pixel N°1

Pixel N°2

Pixel N°3

Pixel N°4

Pixel N°5

Pixel N°6

Pixel N°7

Pixel N°7

Pixel N°8

256

0Pixel N°1

Pixel N°2

Pixel

N°3

Pixel N°4

Pixel N°5

Pixel N°6

Pixel N°7

Pixel N°7

Pixel N°8

Image d’un point chaud en mode RAW

Non RAW : empâtement du point, contraste horizontal renforcé (« yeux de merlan »),

bruit de fond ……… beurk !


A quoi çà sert ? Récupérer une image « brute de brute » Travailler avec la quantité maximum d’information

Le pré-traitement Webcam dégrade les images Contrôler ensuite exactement ce qu’on fait

le traitement ultérieur des images

Améliorer la qualité des images au traitement Retrouver les nuances, Ex: voiles des nébuleuses et les petits détails !

Exemple emprunté sur le net


Le RAW avec une Webcam ? Le Webcams ne sont pas du tout faites pour l’imagerie

astronomique But = Faire rapidement des images flatteuses à diffuser sur le Web (petites,

sur-traitées, très compressées …) L’œil et le cerveau humain n’aiment pas les images « vraies » d’où les

traitements agressifs Préférence pour le « clinquant » Les images contrastées Les verticales aux horizontales (çà nous vient du temps des cavernes …)

d’où les yeux de merlan Les couleurs saturées ….

Mais la Webcam peut être un très bon outil Astro 10 à 100 fois moins cher que les vraies caméras Astro !!!! Excellents résultats notamment en planétaire (tout petit pixels donc très

bonne résolution) Facilité et confort d’utilisation (USB, vitesse de transfert)

Améliorer l’outil Webcam grâce au mode RAW permet alors de décupler les possibilités


Le RAW : Une Bidouille «Internationale »

L’origine de l’idée Il y a une piste dans la doc !

(G. Clément)

On a trouvé un stéthoscope ! Mémoire EEPROM et bus I2C

(J. Reed, USA)

Dans la jungle des octets Mais ou est donc l’octet

magique ? (G. Clément , J. Reed, E. Bonduelle)

!!!! Çà marche !!!! Couleur : G. Clément,

N&B : E. Bonduelle Première image « historique »du RAW couleur (BOF !)

le 29 Nov 2003(encore un pb de sharness)


Le RAW : Une Bidouille «Internationale »

La liste TWIRG Activité fébrile fin 2003, tout

va très très vite …. en à peine deux mois tout est dit ! (les mêmes + F. Adelving, JB Butet etc …)

Le passage à l’USB Plus besoin de chirurgie avec

WcRmac ! (M. Burri, Suisse)

La maturité Le site du RAW !

(E. Bonduelle) L’adaptation des softs

(AVIRAW, IRIS, QCfocus, QASTROCAM, ASTROSNAP …

..... ?


Qu’y a-t-il dans une Webcam ? C’est un objet très sophistiqué

Les grands volumes de vente permettent de réduire le coût …

… mais une Webcam est un vrai concentré de haute technologie !

Ex: la TOUCAM de Phillips Capteur CCD 640x480 pixels,

(taille 5,6 µ !) 2 micro-processeurs spécifiques

(dont traitement de signal rapide) De nombreux circuits périphériques

spécialisés Le tout sub-miniature (composant

CMS) Et capable de faire tout passer dans

le « tuyau » de l’USB

4 cm


Qu’y a-t-il dans une Webcam ?

Exemple de difficulté : la question du débit sur le câble USB Flux image brute:

640 pixels * 480 pixels * 8 bits * 25 images/sec

= 61 millions de bits/s Alors que le débit du bus USB 1.1 est

~ 1,5 millions de bits/sec Il faut sérieusement compresser l’image pour passer la

pleine vidéo sur la liaison USB Une des raisons de la perte de qualité des images Webcam

avec des fréquences image élevées


Le schéma fonctionnel du logiciel !


Le schéma-bloc du micro …..!


Schéma simplifié (ouf !)

Pour atteindre le « mode RAW » il faut pouvoir (1) Ajuster les pré-gains et supprimer la compensation du noir (2) Supprimer l’interpolation de Bayer, et ajuster coeff. matrice couleur (3) Optimiser les réglages classiques (seuls accessibles sans bidouille) (4) Supprimer les renforcements de l’image (5) Supprimer (ou minimiser) la compression de l’image

……. Çà fait beaucoup … mais nous y sommes arrivés !!!!

Capteur d’image

Pre-Gains + Offset

Noir

Réglages de - Balance couleurs- Gain- Saturation …

Renforcement divers des contours

CodageImage (YUV)

Séquenceur USB

(1)

Algorithme de

Compression

(5)(4)

(3)Reconstruction des pixels à partir de la matrice de Bayer

Matrice d’ajustement des couleurs de base

(2)


La matrice de Bayer Un capteur noir-et-blanc c’est simple

Chaque site = un pixel Décompose l’intensité lumineuse en niveaux de gris

Mais un capteur couleur c’est plein de trous ! Il faudrait 3 capteurs (Rouge Vert Bleu) pour chaque site C’est trop cher et trop complexe

Un micro-filtre R, V ou B devant chaque pixel On économise et exploite la sensibilité physiologique dans le vert Arrangement des capteurs R V B selon la matrice de Bayer Il faut ensuite remplir les « trous » => par interpolation sur les pixels adjacents! On ne rajoute pas

d’information, on bricole !! C’est la reconstruction de l’ image RVB

= + +

Couche BCouche R Couche V


La matrice de Bayer (suite)

Ce que voit un capteur « à matrice de Bayer » devant des plages de couleurs unies


Reconstruction de l’image En chaque point il faut reconstruire l’info R+V+B ! Point de l’image qui correspond à un pixel V

R = moyenne des signaux des 2 pixels rouges voisins V = signal du pixel vert B = moyenne des signaux des 2 pixels bleus voisins

Point de l’image qui correspond à un pixel R R = signal du pixel rouge V = moyenne des signaux des 4 pixels verts voisins B = moyenne des signaux des 4 pixels bleus voisins

Point de l’image qui correspond à un pixel B R = moyenne des signaux des 4 pixels rouges voisins V = moyenne des signaux des 4 pixels verts voisins B = signal du pixel bleu

L’image «standard » N&B est la moyenne de R+V+B donc Moyenne de 5 à 9 pixels voisins => beaucoup d’information est perdue C’est ce qui se passe si on change le capteur couleur par un N&B

« sans le dire à la caméra »


Les « registres » internes Les microprocesseurs internes

communiquent à travers des « registres » Ce sont des cases mémoire (des octets) qui

contiennent les paramètres de la caméra Coefficients de gains et réglage des algorithmes …. Choix des configurations (ex: Led ON ou OFF) Ces registres sont décrits dans la doc (data sheet) de Phillips

La clef = accéder à ces registres !!!! (mais comment ?)

Processeur de signal

Processeur de séquencement

Registres


Les « registres » internes (suite)

Le data sheet de Phillips (60 pages !)

Mode RAW = bit N°5 du registre 0x01H


Mémoire EEPROM et bus I2C

Première nouvelle fracassante ! Une partie des registres est recopiée

dans une mémoire externe non volatile (EEPROM) En effet lorsqu’on débranche la Webcam

les processeurs perdent la mémoire … (C’est Jack qui a trouvé çà !)

De plus on peut lire et surtout écrire dans cette mémoire à l’aide du bus I2C I2C = Protocole série de

Philips qui permet de communiquer très simplement avec un tas de composants

Il suffit de souder trois fils !


Mémoire EEPROM et bus I2C (suite)

Principe de fonctionnement Le processeur de séquencement sauvegarde les

données de registres dans l’EEPROM externe et les récupère à la demande

On peut intervenir sur le Bus I2C simplement à l’aide d’un PC externe + cable parallèle + logiciel ad-hoc

Processeur de signal

Processeur de séquencement

Registres

EEPROM externe

Processeur spécialisé SAA8116

Soudure sur Bus I2C

Port //

Logiciel de dialogue I2C (ex: J. Reed)

Image capteur

Vers l’USB


Dans la jungle des octets

Et on obtient çà !.... 512 octets de

mémoire Sur deux

«pages » Comment

retrouver la correspondance avec les registres …..?

EEPROM 24C04 Page0 , I2C address = A0h Offset Dec 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Hex 0 1 2 3 4 5 6 7 8 9 A B C D E F +0 0 01 11 9B 01 19 05 01 9A 03 01 A5 7D 01 A8 EF 01 +16 1 F5 27 01 F5 CB 12 06 64 02 06 66 02 25 59 02 28 + 32 2 9F 02 7D 6F 02 A4 EF 02 D1 B1 02 DD 33 03 29 35 + 48 3 03 35 C5 03 6D 1F 04 04 E4 04 35 8D 00 00 00 FF + 64 4 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 80 5 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 96 6 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 112 7 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 128 8 FF FF FF FF FF FF FF FF FF FF FF FF FF FF 00 00 + 144 9 00 00 00 00 48 40 38 FF BE A0 85 5E 2A 00 FF FF + 160 A 25 64 04 F8 25 00 60 60 01 00 20 1B 15 80 2A 00 + 176 B FF FF FF FF 0C 05 23 03 FF FF FF FF 00 FF FF FF + 192 C 25 64 04 F8 0B 00 60 60 01 00 20 1B 15 80 2A 00 + 208 D FF FF FF FF 0C 25 64 03 FF FF FF FF 00 FF FF FF + 224 E 25 64 04 F8 0B 00 60 60 01 00 20 1B 15 80 2A 00 + 240 F FF FF FF FF 0C 25 64 03 FF FF FF FF 00 FF FF FF EEPROM 24C04 Page1 , I2C address = A2h Addr Dec 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Hex 0 1 2 3 4 5 6 7 8 9 A B C D E F +0 0 00 04 F8 F8 F8 F8 80 80 80 80 FC 00 1D 00 00 00 +16 1 18 00 01 00 30 60 50 FC B7 1A CC 03 00 80 F8 F8 + 32 2 E8 F0 E8 20 FE 5F 00 02 6F 00 00 04 3E 66 E5 37 + 48 3 00 64 BC 0E 03 27 6A 00 00 00 00 03 00 00 00 00 + 64 4 00 30 04 00 08 00 0C 2D 33 31 40 57 74 7F 00 00 + 80 5 00 01 02 03 04 05 06 07 08 09 0A 0B 00 0A 04 00 + 96 6 14 34 48 00 3A 20 60 01 08 F8 34 F8 34 EE 54 90 + 112 7 54 90 AA 05 30 F4 27 E8 26 58 05 02 00 00 00 88 + 128 8 80 07 03 00 00 00 33 55 20 00 03 71 04 11 03 94 + 144 9 FF 02 01 03 02 00 4D AE CE 0A FF 02 28 14 A0 00 + 160 A 11 02 85 02 02 80 80 80 80 80 A0 04 FF 70 00 80 + 176 B 60 60 FF 70 10 10 00 80 00 00 00 8F 04 FF 40 58 + 192 C 88 2A 84 42 04 50 E7 1C 76 04 28 11 D0 FF FF FF + 208 D 00 00 00 00 00 00 00 08 00 00 33 CB 9A 21 60 3A + 224 E 04 50 A9 3A 76 04 23 11 AA FF 00 00 00 00 00 00 + 240 F 00 00 82 70 28 50 50 70 9F 40 04 00 00 60 00 00


Dans la jungle des octets (suite)

A tâton dans la jungle… En modifiant les réglages

standard accessibles (luminosité, couleur …) on traque les changements induits dans l’EEPROM

On arrive à identifier pas à pas quelques registres …

Puis on en déduit ce qui devrait logiquement être l’octet du RAW

Et …………

EEPROM 24C04 Page0 , I2C address = A0h Offset Dec 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Hex 0 1 2 3 4 5 6 7 8 9 A B C D E F +0 0 01 11 9B 01 19 05 01 9A 03 01 A5 7D 01 A8 EF 01 +16 1 F5 27 01 F5 CB 12 06 64 02 06 66 02 25 59 02 28 + 32 2 9F 02 7D 6F 02 A4 EF 02 D1 B1 02 DD 33 03 29 35 + 48 3 03 35 C5 03 6D 1F 04 04 E4 04 35 8D 00 00 00 FF + 64 4 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 80 5 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 96 6 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 112 7 FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF + 128 8 FF FF FF FF FF FF FF FF FF FF FF FF FF FF 00 00 + 144 9 00 00 00 00 48 40 38 FF BE A0 85 5E 2A 00 FF FF + 160 A 25 64 04 F8 25 00 60 60 01 00 20 1B 15 80 2A 00 + 176 B FF FF FF FF 0C 05 23 03 FF FF FF FF 00 FF FF FF + 192 C 25 64 04 F8 0B 00 60 60 01 00 20 1B 15 80 2A 00 + 208 D FF FF FF FF 0C 25 64 03 FF FF FF FF 00 FF FF FF + 224 E 25 64 04 F8 0B 00 60 60 01 00 20 1B 15 80 2A 00 + 240 F FF FF FF FF 0C 25 64 03 FF FF FF FF 00 FF FF FF EEPROM 24C04 Page1 , I2C address = A2h Addr Dec 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Hex 0 1 2 3 4 5 6 7 8 9 A B C D E F +0 0 00 04 F8 F8 F8 F8 80 80 80 80 FC 00 1D 00 00 00 +16 1 18 00 01 00 30 60 50 FC B7 1A CC 03 00 80 F8 F8 + 32 2 E8 F0 E8 20 FE 5F 00 02 6F 00 00 04 3E 66 E5 37 + 48 3 00 64 BC 0E 03 27 6A 00 00 00 00 03 00 00 00 00 + 64 4 00 30 04 00 08 00 0C 2D 33 31 40 57 74 7F 00 00 + 80 5 00 01 02 03 04 05 06 07 08 09 0A 0B 00 0A 04 00 + 96 6 14 34 48 00 3A 20 60 01 08 F8 34 F8 34 EE 54 90 + 112 7 54 90 AA 05 30 F4 27 E8 26 58 05 02 00 00 00 88 + 128 8 80 07 03 00 00 00 33 55 20 00 03 71 04 11 03 94 + 144 9 FF 02 01 03 02 00 4D AE CE 0A FF 02 28 14 A0 00 + 160 A 11 02 85 02 02 80 80 80 80 80 A0 04 FF 70 00 80 + 176 B 60 60 FF 70 10 10 00 80 00 00 00 8F 04 FF 40 58 + 192 C 88 2A 84 42 04 50 E7 1C 76 04 28 11 D0 FF FF FF + 208 D 00 00 00 00 00 00 00 08 00 00 33 CB 9A 21 60 3A + 224 E 04 50 A9 3A 76 04 23 11 AA FF 00 00 00 00 00 00 + 240 F 00 00 82 70 28 50 50 70 9F 40 04 00 00 60 00 00

?


Dans la jungle des octets (suite) Exemple : L’octet 0x0A0h correspond au registre

« MIRROR_NOISE_CTL »

puis on examine les octets

qui changent

dans mémoire

de l’EEPROM

(ici 0x0A0h

passe de la valeur

05h à 04h)

A0 b7 B6 b5 b4 b3 b2 b1 b0 Actual Tests Performed 05 0 0 0 0 0 1 0 1 Manual ; noise=1 04 0 0 0 0 0 1 0 0 Manual : noise=0 24 0 0 1 0 0 1 0 0 Auto ; noise= 0 25 0 0 1 0 0 1 0 1 Auto ; noise=1 26 0 0 1 0 0 1 1 0 Auto ; noise=2 27 0 0 1 0 0 1 1 1 Auto ; noise=3 35 0 0 1 1 0 1 0 1 Antiflicker 2D 0 0 1 0 1 1 0 1 Image mirror Bit Role Identification ? ? 0

1 Manual setting

Auto setting 0

1 Antiflicker Off

Antiflicker On 0

1 Mirror Image Off

Mirror Image On ? 0

0 1 1

0 1 0 1

Noise = 0 Noise = 1 Noise = 2 Noise = 3

Un seul paramètre est modifié

à la fois (ex: «noise » passe de

1 à 0)


Çà marche !!

Dernière astuce (une chance !) En réduisant la vitesse de transmission au

minimum (5 images/sec) on arrive à minimiser (supprimer ?) la compression logicielle !

Si le débit est trop fort, on obtient des bandes

aléatoires de compression comme ceci

comprimé

RAW


Quel capteur ?

Le N&B c’est l’idéal Image RAW

directement utilisable

Le capteur est très sensible

Pas de dégradations dues aux filtres couleur sur pixels

Le RAW est indispensable avec un capteur N&B


Quel capteur ?

C’est aussi très intéressant en couleurs Meilleurs résultats que le mode standard Accessible avec une caméra standard (non N&B)

Permet l’accès du RAW au plus grand nombre Mais il faut « débayeriser »

plusieurs solutions possibles (Astrosnap, AVIRAW, IRIS ...)

Mode normal Mode RAW image bruteMode RAW débayerisé

(plus de détails)


Quel capteur ?

Le mode couleur « Optimisé » Etienne Bonduelle (sur une idée de J.B. Butet) a introduit une variante

avec le capteur couleur On conserve l’interpolation de Bayer (étape (2)) Mais on supprime tout le reste

Plus simple (image débayerisée directement exploitable) Bons résultats en planétaire

Capteur d’image

Pre-Gains + Offset

Noir



CodageImage (YUV)

Séquenceur USB

(1)

Algorithme de

Compression

(5)(4)

(3)Reconstruction des pixels à partir de la matrice de Bayer


(2)


La liste TWIRG

Une liste sur Yahoo dédié aux bidouilles RAW des Webcams But = ne pas encombrer les autres listes

TWIRG = Tweak Webcam Interface Research Group (Groupe de recherche sur la bidouille des webcams) Détail amusant : au début on s’appelait Tweak

Webcam I2C Research Group, mais entre temps Martin a trouvé le moyen de se passer de l’I2C …


Passage à l’USB

Dernier coup de Théatre ! Martin Burri trouve le moyen de modifier les registres à travers le

bus USB ! (qui sert dans l’autre sens à régler la caméra) Même plus besoin de fer à souder ….

Pre-Gains + Offset

Noir



CodageImage (YUV)

Séquenceur USB

Algorithme de Compression

Reconstruction des pixels à partir de la matrice de Bayer


Décodeur USB

Modification des octets de l’EEPROM

Modification des registres

!! Dans certains cas seulement pour la page 00 !!(au reset ou lors du « restore factory setting »)


Passage à l’USB : WcRmac

WcRmac pour modifier les registres à l’aide de macros

Ou bien charger des binaires complets (sauvegardes) C’est Le logiciel

standard de M. Burri

Extrêmement simple d’emploi

Evite de faire des erreurs (ne permet pas l’accès direct aux registres)


Passage à l’USB : WcRmac

Un formalisme très simple pour les Macros Fichier texte Tout est

modifiable

ATTENTION on peut totalement

planter une caméra en envoyant des valeurs d’octets erronées

La seule façon de « déplanter » est alors de revenir à l’I2C (c’est déjà arrivé plusieurs fois)

; SAA8116 Macro description; The first character after the = sign is ignored; to allow leading spaces;; Contributors:; bm98astro, Etienne Bonduelle, Gilles Clement, Christian Buil, Francis Adelving... and a lot of people of TWIRG !!!………………………………………………………………………………………………

[M_Set_RAW_B/W_CCD]-1='-9680904250 ='Set B/W RAW Mode and Special Factory Settings (for B/W CCDs)1 ='0x0E0=0x04 (Noise Reduction to Zero)2 ='0x0E1=0x03 (Set auto mode off, Manual White bal...)3 ='0x0E3=0xF8 (Shutter speed at 1/25th sec DSO)4 ='0x0E4=0x10 (Gain about 30%)5 ='0x0E6=0x80 (Red bal 50%)6 ='0x0E7=0x40 (Blue bal 25%)7 ='0x0EA=0x00 (Sharpness to Zero)8 ='0x0ED=0x78 (Luminosity to 45%)9 ='0x0EE=0xE0 (Gamma to 50%)10 ='0x101=0x24 (RAW Mode)11 ='0x102=0x00 (Optical Black Level K1 to Zero)12 ='0x103=0x00 (Optical Black Level K2 to Zero)13 ='0x104=0x00 (Optical Black Level K3 to Zero)14 ='0x105=0x00 (Optical Black Level K4 to Zero)15 ='0x106=0x80 (PreMatrix K1 Std)16 ='0x107=0x80 (PreMatrix K2 Std)17 ='0x108=0x80 (PreMatrix K3 Std)18 ='0x109=0x80 (PreMatrix K4 Std)Etc …………..


Passage à l’USB : WcRAcc

WcRAcc pour Accéder à tous les Registres de l’EEPROM Génial ! Mais attention beaucoup plus

dangereux !! For the «Twirggers » only !


Le site du RAW

Très didactique Explique tout ce qu’il fait savoir pour faire bien

marcher la modif Notamment le très important « restaurer usine »

EB a développé et longuement testé les réglages qui sont proposés dans les macros Qui sont toujours bidouillables pour vos besoins propres

http://www.astrosurf.com/astrobond/ebrawe.htm


Conclusion

Une bidouille qui marche bien et vraiment utile Intégré en standard dans les caméra Atik N&B

Une combinaison étonnante de compétences … et de chance !

Une développement extraordinairement rapide (tout le monde était prêt)

Une aventure très excitante ! Il reste encore des zones à explorer

Fonctionnement des autres registres Le RAW n’est pas encore tout à fait RAW

Il reste un chouïa de compression ….

On peut aller encore plus loin mais … Questions de confidentialité industrielle Accord de Phillips nécessaire …


Bibliographie

« Le RAW 'facile' pour Webcams Philips et Logitech ;o) », Etienne Bonduelle (http://www.astrosurf.com/astrobond/ebrawe.htm)

« Mode RAW sur une webcam N&B astronomique », Philippe Bernascole (http://www.astrosurf.com/astrobond/Webcam_RAW.pdf)

« Ultra Mod (I2C interface project)», Jack Reed (http://www.foley-tax.com/Astro)

« WcRmac »,Martin Burri (http://www.burri-web.org/bm98/stuff/wcrmac-1.0.79.zip)

« AviRaw - read raw webcam AVIs », Carsten Arnold (http://arnholm.org/astro/software/aviraw/)

«Astrosnap_Pro», Axel Canicio (http://www.astrosnap.com/index_fr.html)

Documents

Présentation du mode RAW