Nov 19 2008

Faut-il utiliser le format DNG (Digital NeGative) ?

dng_tm.gifLa sauvegarde de ses données et leur pérennité est une problématique épineuse quand on utilise un format d'enregistrement raw plutôt que le jpeg.  En effet, s'il est très probable que dans 10 ans les images jpeg soient toujours lisibles, la chose est bien moins certaine concernant les formats raw. Il est pertinent d'écrire "les" formats raw car ils sont "propriétaires" et il en existe autant que de constructeurs, et même en réalité autant que de boîtiers !
Le paysage global de la photographie reflex évoluant très rapidement, nul ne peut dire aujourd'hui si telle ou telle marque sera toujours présente dans 10, 15 ou 20 ans. Les minoltistes désormais sonystes le savent mieux que les autres, eux qui ont vécu la disparition de leur marque il y a un peu plus de 2 ans. S'il leur est encore possible de lire et développer leurs raws avec le logiciel Minolta Dimage Master, celui-ci n'évolue plus, est très difficile à trouver si on a égaré le CD d'origine, et deviendra un jour impossible à installer sur les nouveaux OS. La pérennité des données propriétaires est donc déjà en danger et la question de la sauvegarde des données non cryptées dans un format standard se pose avec acuité.
C'est dans cette optique qu'Adobe a créé en 2004 son Digital Negative (DNG), format ouvert d'archivage des fichiers bruts. Ce DNG est-il la solution à toutes les menaces qui pèsent sur la pérennité des fichiers raws ?  C'est ce que nous allons tenter d'évaluer dans cet article.


1. Pour quelle raison les formats raw sont-ils "propriétaires" et non pas normalisés ?

La première raison est historique : chaque constructeur a naturellement créé son propre codage du fichier brut. Il faut rappeler que le raw existe depuis que la photographie numérique existe puisqu'il s'agit des données brutes enregistrées par le capteur, qui ensuite passent dans le DSP (logiciel embarqué dans le boîtier) pour interprétation et transformation en fichier image jpeg ou tiff). Il n'y avait donc aucune raison que ce format soit normalisé.
Ce qui est relativement récent, c'est la mise à disposition de ces fichiers bruts en plus des fichiers image sur les reflex et certains bridges et compacts haut de gamme. La question de l'harmonisation des formats raw ne se pose donc que depuis une poignée d'années.


2. Pour quelles raisons les plus grands constructeurs ne décident-ils pas aujourd'hui d'adopter un format commun ?

Et même pire : pour quelle raison certaines informations contenues dans le raw sont-elles cryptées ?
Il est probable que les constructeurs désirent laisser à leurs propres logiciels de développement (IDC pour Sony) un petit avantage sur les logiciels généralistes comme Lightroom, Photoshop, DxO, etc. Il faut savoir que l'entente entre les constructeurs et les éditeurs indépendants est tout sauf cordiale, et la lecture des formats propriétaires relève tout simplement du hacking, avec toutes les incertitudes que cela comporte.
Certains constructeurs ont pourtant sauté le pas, et pas les moindres : Leica, Pentax/Samsung, Ricoh ou Hasselblad proposent sur certains de leurs boîtiers la possibilité d'un enregistrement en DNG. Pentax, avec son K20D, avait alimenté l'espoir d'une normalisation à terme, jusqu'à ce que l'on découvre que l'enregistrement propriétaire contenait plus de données que la version DNG. Autant dire que cela a un peu plombé l'ambiance...
Tant que les acteurs majeurs du monde des reflex numériques s'en tiendront à un format propriétaire fermé et crypté, la pompe de la normalisation ne sera pas vraiment amorcée.


3. Que contient un fichier DNG ?

Le DNG peut contenir un grand nombre d'informations, bien plus qu'un simple fichier raw ou bitmap. Il s'appuie sur plusieurs formats standardisés comme le TIFF pour la partie bitmap, ou encore EXIF, IPTC ou XMP pour les métadonnées.
Voici une liste non exhaustive des données que peut contenir un DNG :
- les données brutes du capteur, transcodées en format DNG par le moteur de conversion DNG Converteur ou certains logiciels comme Lightroom ou Photoshop, ainsi  que des zones dédiées aux données propriétaires cryptées.
- les métadonnées comme les EXIFS ou les IPTC, mais également les paramètres de développement (LR ou ACR par exemple) écrits en métadonnées dans les fichiers side-car XMP.
- l'échantillonnage (8, 16 ou 32 bits), le taux de compression (sans perte pour le jpeg et zippées pour les données brutes) et les informations sur les profils de couleur.
- des informations complémentaires sur les dimensions réelles du capteur (la plupart des manufacturiers se servent des pixels périphériques pour stocker des informations complémentaires, comme par exemple la détermination du noir de référence).
- last but not least, le raw d'origine peut être conservé en étant encapsulé à l'intérieur même du fichier DNG, ce qui est très sécurisant mais se paie cher du point de vue du poids du fichier. C'est une assurance tous risques au prix fort...

Voici un lien direct vers le document Adobe décrivant les fonctionnalités complètes de la version 1.2.0.0 du DNG (en anglais).


4. Quels sont les avantages et les inconvénients du format DNG ?

Le format DNG a comme principale qualité d'être ouvert et documenté. Ses spécifications sont ainsi mises à la disposition de tous, constructeurs ou éditeurs de logiciels. Le DNG n'est toutefois pas le seul format ouvert existant, candidat à devenir la norme. L'OpenRaw est un autre candidat crédible, mais il n'a probablement pas la solidité dans la durée que peut assurer un format soutenu par l'éditeur majeur qu'est Adobe.

Les avantages d'une sauvegarde de ses raws en DNG sont nombreux. En voici les principaux  :
1) La plupart des logiciels de développement acceptent le format DNG. Par ailleurs, Adobe fait partie des plus réactifs pour prendre en compte les nouveaux boîtiers. Il suffit alors de transformer ses raws en DNG via le petit logiciel externe DNG Converter pour que tous les logiciels de développement puissent les lire, même s'ils n'ont pas encore développé le module dédié au boîtier qui a produit les raws. Le raisonnement est identique pour les utilisateurs d'anciennes versions de Photoshop ou de Lightroom : le passage en DNG permet de continuer à utiliser les logiciels Adobe non mis à jour.
2) Les Minoltistes ne pourront un jour peut-être plus installer Dimage Master, le logiciel de développement de Minolta, qui n'est plus mis  jour ni porté sur les nouveaux OS PC ou Mac. La sauvegarde en DNG deviendra alors la seule sauvegarde pérenne puisqu'à ce moment-là les données propriétaires ne seront plus lisibles.
3) Le format DNG peut contenir non seulement les données brutes mais également toutes les métadonnées, les paramètres de développement et un aperçu jpeg grand format. C'est donc un tout-en-un qui favorise fortement la mobilité et le partage de données, pour peu que l'on utilise à chaque fois un logiciel Adobe.

Les inconvénients sont hélas également nombreux :
1) Si le DNG est le plus crédible candidat à l'universalité, il ne l'est toutefois pas encore et en cela il est finalement aussi "propriétaire" que les autres puisque appartenant à Adobe. Il ne s'agit donc pas d'un standard comme peut l'être la norme TIFF.
2) Le passage en DNG fait perdre les données propriétaires cryptées dans le raw d'origine. Il est difficile d'évaluer l'importance de ces données, mais elles ne sont probablement pas négligeables. C'est clairement le point le plus problématique d'un passage en DNG, même si comme évoqué plus haut, il est possible de conserver le raw d'origine à l'intérieur du DNG.
3) En choisissant de ne pas utiliser les logiciels de développement de sa marque (DPP, Capture NX, IDC, etc.), on se prive de traitements spécifiques comme des corrections automatiques de géométrie, d'aberrations chromatiques, de vignetage, etc. qui sont de plus en plus intégrées dans les softs propriétaires.



5. Faut il utiliser le format DNG ?

Les termes du choix étant posés, c'est à chacun de déterminer si les avantages pèsent plus lourd que les inconvénients pour sa pratique et la situation particulière de son matériel. Le seul conseil que je peux donner à coup sûr, c'est de conserver les fichiers raws d'origine, par principe de précaution, que ce soit à part ou encapsulés dans le DNG. Il n'est pas possible de donner un avis décisif, clair et circonstancié sur l'utilisation ou non du DNG car sa généralisation au niveau des usages particuliers ne peut être que la conséquence d'une prise en compte effective de ce format au niveau des manufacturiers, et non l'inverse.
En l'état actuel des choses, avec le spectre de la perte des données propriétaires, il n'est pas raisonnable de conseiller une substitution des raws d'origine par le DNG, sauf cas d'urgence ou de non emploi définitif du logiciel de développement de sa marque (ce qui serait de mon point de vue une erreur car ces softs, imparfaits à un moment donné, peuvent s'améliorer considérablement avec le temps). Le DNG peut donc venir en complément du raw d'origine pour les avantages qu'il apporte, la solution la plus sécurisée et confortable, mais la plus coûteuse en espace de stockage, étant de sauvegarder le raw à l'intérieur du DNG.
Que l'on ne se méprenne pas : le DNG est une idée remarquable et une volonté louable de simplification et de sécurisation des données brutes, et ce format est de toute évidence le candidat le plus crédible à l'universalité et à la standardisation. Il est hélas affaibli par la volonté des manufacturiers de conserver leurs formats propriétaires et leurs données cachées.

A titre personnel, j'ai choisi de ne pas (encore) utiliser ce format car aucun des avantages énumérés dans le chapitre précédent ne sont décisifs dans ma situation personnelle. Je considère par ailleurs qu'il me sera toujours possible, en cas de danger pour mes raws d'origine, de les convertir en batch le moment venu dans le format qui sera le plus universel (et si possible reconnu et standardisé). Ce faisant je me prive d'avantages précieux comme le tout-en-un, ce qui m'a fait longuement hésiter. Je me pose régulièrement la question d'une migration en DNG (avec sauvegarde du raw d'origine), et je n'exclus pas d'y répondre un jour favorablement.

Commentaires   

# format ouvertjmr 20-11-2008 08:27
belle confusion car DNG n'appartient pas (plus) à Adobe par sa licence ouverte. Ceci veut dire que Adobe ne peut pas faire évoluer ce format seule de son côté. Au final, la seule incertitude est sur ce que contiendrait un raw en données propriétaires. Quand à la dernière phrase, rien, absolument rien n'est prévu pour remplacer le format DNG qui satisfait tout le monde (et rien n'est dans les cartons car plus personne n'a les moyens de réinventer la roue) donc pourquoi ne pas convertir tout de suite ses données ?
# Patrick 20-11-2008 11:09
La confusion dont vous parlez n'est qu'apparente et ce que vous dites en fin de message le démontre bien : il n'y a aucune concurrence réelle face au DNG d'Adobe. Que le DNG soit la seule alternative crédible aux multiples formats propriétaires et que sa licence soit ouverte ne suffit pour autant pas à en faire un format universel et standardisé. On ne compte plus les formats à licences ouvertes tombés dans les oubliettes de l'histoire...

Ce n\'est toutefois pas à ce niveau que se pose le problème majeur. Les gens qui shootent en raw le font pour disposer du maximum d'informations au moment du développement. Or le DNG ne permet pas d'accéder aux données propriétaires cryptées, qui sont irrémédiablement perdues en cas de remplacement pur et simple du raw original par le DNG. On peut faire ce choix, mais il doit être fait en conscience et je trouve personnellement irresponsable que l'on puisse conseiller une bascule en DNG sans signaler qu'elle ne serait pas sans perte.

Dans cette 'affaire' Adobe est clairement victime de la (mauvaise) volonté des manufacturiers de ne pas uniformiser leurs raws. Si je suis un grand défenseur des logiciels Adobe, à commencer par Lightroom, la préservation de toutes les données enregistrées dans un raw est toutefois pour moi un principe auquel je ne dérogerai pas.

Il me semble que j'ai posé de manière aussi complète que possible les termes du choix, et chacun pourra se déterminer en fonction de sa pratique photo et de son flux de production.
# Phil 20-11-2008 11:34
J'aimerais bien savoir quelles sont ces soi-disant données cryptées : soyez factuel et précis svp.
Quant à l'avantage du logiciel propriétaire laissez moi rire si on compare Sony Image Converter et Lightroom.
# Patrick 20-11-2008 12:00
:D
Ces données étant cryptées, je ne vois pas bien comment je pourrais être factuel et précis. Elles sont en revanche une réalité et ce quelle que soit la marque du boîtier (si l'on excepte les cas marginaux de manufacturiers qui ont choisi le format DNG). L'utilité de ces données peuvent être de plusieurs types : corrections automatiques, calage de la colorimétrie, etc.

Je ne l'ai pas encore fait pour l'Alpha 900, mais j'ai publié sur le forum AlphaDxD un comparatif très détaillé des rendus bruts de dématriçage pour l'Alpha 100 et l'Alpha 700 entre la plupart des logiciels de développement, et c'est de loin IDC qui produisait le meilleur résultat.

En revanche il est clair que l'ergonomie de Lightroom est très supérieure à celle d'IDC, et c'est pour cela que j'utilise le logiciel d'Adobe au quotidien. Toutefois, quand je dois faire des tirages très grand format de certaines photos difficile, je dématrice avec IDC, j'exporte en TIFF 16bits et je termine le travail dans Lightroom ou Photoshop. C'est ce qui produit le résultat le plus qualitatif, et qui est absolument nécessaire quand on imprime dans une dimensions égale ou supérieure à la taille nominale d'une image.

Il semblerait que pour l'Alpha 900 la supériorité du dématriçage d'IDC ne soit pas aussi manifeste que pour les autres boîtiers Sony, mais cela reste à confirmer.
# Phil 20-11-2008 13:53
Où est ce comparatif ? A-t-il été fait avec LR 2 ?
# Patrick 20-11-2008 15:14
Non, il a été fait avec LR1 il y a quelques mois. Le moteur de dématriçage de LR/ACR semble avoir bien progressé dans la version 2 et il serait en effet judicieux de refaire ce test, d'autant que les nouvelles versions de Capture One, DxO et Bibble semblent également être en progrès sensible.
Je note votre suggestion implicite :-)
# Fabien 20-11-2008 14:51
Nous vous invitons à nous rejoindre sur le forum alphadxd.fr ;-)
# vince 21-11-2008 12:19
Salut Patrick (contrepéterie)

Malgré tout ce que je lis, je reste toujours assez dubitatif sur les fameuses "métadonnées cryptées" qui sont à la photo ce que le monstre est au Loch Ness : Un truc que certains disent avoir aperçu par une nuit de brouillard en comptant des poils de cul sur un crop à 150%, mais dont personne ne peut dire avec certitude qu'elles existent, où elles se trouvent, comment elles sont cryptées, etc.

Certes il existe des tas de formats RAW, pour autant il n'existe pas tant de capteurs que ça. Prenons le capteur de l'A100, qu'on retrouvait dans une demi-douzaine de boitiers, je n'imagine pas que chaque constructeur ait ses "métadonnées cryptées magiques" que les autres n'auraient pas et qui permettraient de voir encore plus de poils au cul des mouches que la concurrence.

Pour avoir bossé sur les métadonnées, je sais que c'est 85% de trucs qui servent à rien (genre le numéro de fax de la boite qui maintient le standard IPTC). Donc j'ai tendance à leur accorder peu d'importance en général.

Bref, je n'affirme rien bien sûr, par contre, pour trancher un peu dans le ni-oui-ni-non de la conclusion de l'article, on doit pouvoir dire que pour le quidam (dont je suis) qui fait du RAW essentiellement pour rattraper un ciel cramé ou une BdB foirée, le DNG est parfaitement suffisant.

WjyQp

Ah non merde je dois taper ce code dans le champ en-dessous.
# Patrick 21-11-2008 13:07
Vince, il n'y a aucun doute sur le fait que les métadonnées cryptées existent, et ce dans tous les raws. Il n'est d'ailleurs même pas certain que toutes les données non cryptées soient correctement décodées vu qu'il s'agit carrément de hacking ou de reverse engineering de la part des éditeurs indépendants, face à l'absence de collaboration des manufacturiers...

Tu parles du petit nombre de capteurs différents en semblant sous-entendre que les métadonnées devraient être identiques pour des capteurs identiques. Tu me sembles mettre dans le même sac les mesures brutes et les métadonnées qui sont des informations additionnelles non nécessairement liées au simple "comptage de photons" par les photosites. Sinon deux boîtiers dotés du même capteur et produiraient exactement le même résultat avec un objo identique (un Tamron par exemple) et un logiciel de développement tiers comme LR. Or ce n'est pas le cas.

Ce qui pour moi est une bonne mesure de l'importance de ces données cryptées est le fait que les meilleurs dématriçages sont produits par les softs propriétaires, que ce soit IDC, DPP ou Capture NX, à en croire ce que l'on peut lire sur EOS-numerique ou chez les Pixellistes, alors même que le développement logiciel n'est pas la spécialité des manufacturiers et que des boîtes dont c'est le cœur de métier, comme Adobe, DxO ou autres, ont un potentiel bien plus important. Elles parviennent parfois à compenser ce (supposé) déficit d'informations par de meilleurs algorithmes de reconstitution des 3 couches RGB de la matrice de Bayer, qui est le point crucial du développement d'un raw. Les dernières versions d'ACR/LR, DxO et Capture One semblent ainsi désormais produire des résultats au moins aussi bons que IDC, pour ne parler que du cas des boîtiers Sony.

Comme tu l'as signalé, je n'ai pas voulu conclure par un conseil péremptoire sur l'utilisation ou non du DNG, le but de cet article étant seulement d'éclairer le choix des utilisateurs. Sur cette question des données propriétaires, il y a clairement un pari à faire et je comprends parfaitement ton option. J'en ai, par prudence et même par principe, choisi une autre, pour les mêmes raisons que je shoote en RAW et non pas en cRAW car la compression n'est pas à 100% sans perte. Avec comme prix à payer si je décide un jour de basculer en DNG mes 50.000 raws, de ne vraiment pas rigoler (et mon ordi non plus)... :confused:
# Phil 22-11-2008 14:36
Après le mythe des données cryptées voilà le cRaw destructif, ça suffit la désinformation !
# Patrick 23-11-2008 15:39
Les données constructeurs seraient donc un mythe ? :D
Un mythe qui aurait mystifié TOUS les auteurs sérieux du milieu de la photo... et qui n'a jamais été démenti par les manufacturiers.
C'est un peu comme pour les twin towers de New-York : il se trouvera toujours des gens pour dire qu'il n'y a jamais eu d'avions... ;-)

Pour ce qui est du cRaw de Sony, la compression n'est pas sans perte. Les tests qui ont été faits montrent que des différences apparaissent dans les zones de très fort contraste. Même si elles sont très marginales, ces différences existent et il n'est pas question de les passer sous silence. Là encore, ce sera à chacun de faire son choix en conscience...
# Phil 23-11-2008 16:52
Je ne nie pas l'existence de données constructeur mais le fait qu'elles soient cryptées.
# Christian 22-11-2008 13:04
Bonjour,

Et pourquoi ne pas contourner le problème en installant des machines virtuelles avec des images de nos OS et des logciels de développment actuels comme LR (supportant nos RAWs), sur les nouveaux OS à venir. (ex image XP sur les futures versions de Windows)
Certe c'est aujourd'hui un peu compliqué pour le néophite mais çà marche vraiment bien. C'est une approche qui se développe dans le monde professionel avec succès.

A+
# Patrick 23-11-2008 15:31
Tu as raison sur le fond, Christian, mais je crains que ce ne soit pas une solution très opératoire et qu'elle soit réservée à des happy fews, ou à des officines privées qui feront leur beurre sur le transcodage de données "périmées", comme elles le font aujourd'hui avec la numérisation des vieux films super 8 ou même de simples VHS ou VHS-C... :wink:
# Un oubli capitalGilles 23-11-2008 11:18
Cet article qui fait le point sur le DNG est très bien mais, comme d'autres, passe à côté d'un point essentiel qui est rarement mis en avant : l'incorporation de spécifications permettant l'intégration de nouvelles fonctionnalités.
Par exemple, la dernière version des spécifications 1.2 du format DNG permet l'intégration dans le même fichier de plusieurs profils colorimétriques ou de profils capables de prendre en charge plusieurs illuminants.
Ce n'est qu'un début. On pourrait tout à fait se baser sur cette technologie pour intégrer d'autres paramètres comme la correction optique ou que sais-je, avec l'avantage d'une certaine universalité vs les mêmes fonctions qui resteront cryptées dans les formats propriétaires.
# Patrick 23-11-2008 15:14
Je l'ai dit sans le dire dans le paragraphe 3 en parlant d'informations sur les profils de couleur. Le DNG est déjà extraordinairement riche et il n'est pas possible dans un tel article d'être exhaustif.

Les fonctionnalités que tu cites correspondent toutefois à des usages très experts, ou à des possibilités offertes aux manufacturiers s'ils se décidaient à proposer un enregistrement en DNG. Je ne sais pas si c'est un point capital, Gilles. La seule chose qui aujourd'hui me paraît réellement décisive pour l'avenir du DNG est son adoption par les constructeurs (qui permettrait en passant de sauvegarder les données propriétaires dans les emplacements prévus à cet effet dans le DNG). Même si Adobe multiplie les Tags et les fonctionnalités, l'universalisation du format se heurtera toujours à la mauvaise volonté des constructeurs car il faudrait non seulement que ces derniers proposent un enregistrement complet en DNG, mais également que les softs propriétaires puissent le lire.

Les seuls utilisateurs qui peuvent aujourd'hui utiliser le DNG sans retenue sont ceux qui ont construit tout leur workflow sur des logiciels tiers supportant le DNG, car en faisant cela ils ont déjà fait le choix de se priver des données propriétaires...

Je vais ajouter une phrase renvoyant aux spécifications complètes 1.2.0.0 du DNG pour les lecteurs qui veulent tout savoir sur les fonctionnalités du format.
# Formats RAWDominique 18-11-2009 17:30
Je viens un peu tard sur votre forum.
La raison est que je viens seulement d'acquérir un A900... après mes 3 Nikons.
Je suis ingénieur, comptant parmi les premiers membres du comité Mpeg, AES, SMPTE,...

Je trouve à peine croyable ce que je lis dans vos articles.
C'est rétro et tellement dépendant des constructeurs.

Le format RAW...
Comme son nom l'indique, il stocke les données en format brute RVB, point.

Quant au format de stockage idéal, le DNG est loin de faire l'affaire.
Tant pour le volume que pour la méthode.
Il est clair que là où pêchent TOUS les appareils, c'est dans les hautes et basses lumières.
Il faut donc favoriser la luminance sur la chrominance.
Le format idéal aurait du dès le début être logarithmique, étant donné que la photo, comme l'audio, sont des phénomènes physiques auxquels nous réagissons de façon log.

Le codage idéal serait donc l'Yuv, (ou le YCBCr, si vous préférez)(par ex 4:2:2).
Y, serait lu en 16bit, puis compressé en log, puis transformées : DCT, Huffman, Walsh Hadamard, etc.


On pourrait ainsi en combinant le log plus l'Yuv, stocker des photos en un poids inférieur à du Jpeg mais de qualité bien supérieure.

L'idéal de l'idéal, étant en plus de fabriquer des capteurs Yuv et non RVB...
(RVB ==> mauvais rapport S/B)
Tout ceci étant bien entendu intégré dans les boitiers.

Quant aux exifs, IPTC, etc, il faut les garder tels-quels.
Ça marche et le volume est tellement faible que cela ne vaut pas la peine d'y toucher.

D Bertrand
# Patrick Moll 19-11-2009 13:44
Merci Dominique pour votre contribution. Je ne suis en revanche pas bien sur de comprendre le fond de votre propos, ni ce que vous trouvez "à peine croyable" dans nos articles.

Comme vous le dites, le raw ne contient que des données brutes, le capteur pouvant être assimilé en première approximation à un compteur de photons qui parviennent dans les photosites, eux-même recouverts par le filtre de Bayer. La capture est donc linéaire, et je n'ai pas compris si c'est cela que vous regrettez. Peu importe ensuite comment le signal est codé car rien ne sera en mesure de créer une information non enregistrée à la capture.
# Dominique 19-11-2009 20:59
Merci de votre réponse.
Je vois bien que vous ne comprenez pas puisque tout le monde fait la même erreur.
A savoir suivre naïvement ce que nous donnent les constructeurs et les normes.
Ce que je dis, c'est que les normes sont parfois idiotes.
Qu'il aurait mieux valu, que ce soit raw ou jpeg, coder les valeurs des pixels sous forme log que lin, les "transformées" également.
(L'idéal étant d'ailleurs le log à base 2)

Je dis donc que si nous avons tous ces problèmes aujourd'hui, c'est que la base a été mal posée.
Notamment, le Jpeg qui pourrait faire beaucoup mieux, si son format était sur 12 bits au lieu de 8.
Or Ceci EST possible, c'est uniquement une question de format : jpeg sort en 8 bits !
Je dis donc que si qq avait accès au firmware, par ex de Nikon, il serait facile de coder du 12 bits brute en 8 bits "compandés", de le passer dans toutes les transformées connues, notamment Hadamard/Walsh, de l'appeler par ex. *.jlr, puis de fournir le décodeur pour toutes les applis sur ordis.
On aurait alors pour un même volume, une définition passant de 8 bits à 12!

Mais mieux...
Si les capteurs, au lieu d'être RVB étaient Yuv, on augmenterait de 1 diaph, la sensibilité, sans perte de résolution.
En effet, il suffit de faire, par ex, 2 pixels blancs pour un bleu-vert et un rouge-vert.
En clair, deux fois une surface blanche pour un pixel bleu moins vert et un autre rouge moins vert.
Le vert étant déduit par dématricage.

Le filtre de bayer est donc une très mauvaise technologie.
En effet, chaque pixel non seulement fait la même taille, mais comme ils sont tous filtrés, (RVB)il y a perte.
On perd donc en sensibilité tout en n'améliorant pas la définition.

Il suffit pour s'en convaincre de regarder les norme TV pour se rendre compte que c'est ce qui est fait depuis le début de la couleur.
Ils ont eux, mieux compris et adapté les moyens de transmission à nos spécificités humaines, à savoir dynamique et sensibilité colorimétrique.
# Patrick Moll 20-11-2009 03:41
Je comprends ce que vous dites, mais je ne vois toujours pas dans quel piège nous tombons ni où est notre erreur.

Les capteurs et le système de capture sont ce qu'ils sont et notre unique objectif est de tirer le meilleur parti de ce qu'ils peuvent produire, c'est tout. Que le filtre de Bayer soit une mauvaise technologie, c'est possible, mais c'est celle qui est embarquée sur tous les boîtiers que nous utilisons tous les jours, sans possibilité de faire d'autres choix.

Si nous commettons des erreurs d'analyse, c'est bien volontiers que je lirai vos propos, mais si vos reproches s'adressent aux constructeurs, je pense que le mieux serait de leur faire part directement de vos suggestions. Alphanum n'est pas un site Sony mais un site créé par de modestes utilisateurs du matériel que Sony développe, ce qui fait une petite différence. Votre propos est fort intéressant, mais je ne vois pas bien en quoi nous pourrions influer sur des choix industriels qui sont faits au Japon. On peut toujours rêver, mais bon... :wink:
# Dominique 20-11-2009 15:58
Vous avez raison, c'est pourquoi je vous adresse mes commentaires.
Un utilisateur seul a moins de poids qu'une asso, club, etc, à condition de savoir quoi revendiquer...
C'est le but: tenter modestement d'éclairer et être utile.
Ce que j'espère avoir fait.
Je suis le créateur de premier système sonore 5.1 (http://fr.wikipedia.org/wiki/5.1).
Or à l'époque j'ai été critiqué pour avoir conçu ce système, parait-il trop complexe et impossible à mettre en œuvre.
Regardez ce qu'il est devenu...
On m'avait fait la même remarque que vous : "Proposez le à des fabricants".

Maintenant, sur les appareils photo actuels...
Il faudrait se battre pour que de meilleurs standards de stockage (compressés ou non) voient le jour.
Ne rien faire laisse la voie ouverte à des Cies comme MicroSoft, etc.

Or, il est difficilement acceptable que chaque fabriquant utilise un format différent.
Je vous l'ai dit, un Jpeg amélioré (Ex. 16 bits) serait génial.
Il faudra bien un jour qu'un meilleur format voit le jour.
En effet, nous sommes coincés entre le mauvais Jpeg (8 bits) et le lourd DNG.
Nous pourrions utiliser l'excellent Jpeg XR qui hélas appartient à MS...
L'idéal serait de créer un format proche, libre.
Là, on revient à mes propos initiaux:
- Coder le RVB en Yuv (Y étant en 16 bits lin ou 10bits log)
Ça n'est pas très compliqué du tout.
- Le seul problème étant de le faire adopter par les fabricants...

C'est pourquoi, ce que vous pouvez faire de votre côté, c'est faire prendre conscience à vos membres que ces solutions existent, les répandre, espérant qu'un jour cela puisse influencer les fabricants qui les mettraient en œuvre pour le bonheur de tous les photographes (et le mien).
# Dominique 20-11-2009 16:02
J'ajoute, que si les capteurs étaient directement Yuv, nous gagnerions sur la luminance, sans dégrader la résolution.
Tout en évitant la transformation RVB ==> Yuv.
Tout bénef quoi...
CQFD
# Dominique 20-11-2009 16:12
NB:
A votre question: "pourquoi je vous dit tout cela?"
Permettez moi de vous rappeler le titre de votre article :
"Faut-il utiliser le format DNG (Digital NeGative)"



Ma réponse fut basée sur le constat que le format PNG n'est pas à ce jour encore intégré dans les boitiers.

La question n'est donc pas de savoir s'il faut utiliser PNG, mais quel format pourrait remplacer les RAWs, nombreux et différents, et le Jpeg trop pauvre.

Je ne pense donc pas avoir répondu à côté.
# Patrick Moll 20-11-2009 16:59
Je pose dans cet article la question de l'utilisation du DNG dans le seul objectif d'assurer la pérennité de nos raws actuels, et non pas comme étant le fin du fin du format industriel pour les formats bruts de nos capteurs.
Vous discutez de votre côté les choix conceptuels et structurels des capteurs eux-même, ce qui est une autre question. Vous regardez demain tandis que je regarde aujourd'hui...

Désolé d'être aussi terre-à-terre, mais chaque minutes des milliers de photos sont prises et leur pérennité est tout sauf assurée.

Pour le reste, je crains que vous ne fassiez une confusion entre le format DNG et le PNG. Le DNG est un format brut tandis que le PNG est un format image bitmap. Vous évoquez le Jpeg XR comme une excellente solution, elle ne l'est certainement pas étant donné qu'il s'agit d'une image bitmap alors que le raw conserve toute l'information captée et une grande latitude d'interprétation au moment du développement. Abandonner le raw au profit d'un jpeg amélioré serait une énorme régression.
# Dominique 21-11-2009 19:04
Vous avez raison quant au conceptuel.
Pour le DNG, s'il constitue un meilleur format que le raw, il n'est pas intégré aux boitiers.
Or il y a autant de raw que de boitiers...
LE Jpeg est un format compressé à forte perte.
Je pense qu'il faut mettre en place un format moins destructif que le Jpeg, quasi identique au RAW en qualité, mais moins lourd a stocker.
Sinon, on tourne en rond... et il faut garder les "raw" de chaque fabricant.
# Patrick Moll 22-11-2009 13:56
Dominique, même si les constructeurs offraient le meilleur format bitmap de la galaxie, je continuerais à shooter en raw car dans le format brut, ne serait-ce que pour pouvoir fixer a posteriori la balance des blanc sans risquer de détruire l'équilibre colorimétrique. Je ne me contenterais pas d'une simple interprétation de ce raw comme l'est par construction une image bitmap, jpeg ou autre.
Mais c'est certain que si on pouvait bénéficier d'un format bitmap amélioré, ce serait une bonne chose. Certains boîtiers proposent le tiff, qui est très lourd mais déjà meilleur que le jpeg car non compressé.
# Avec un peu de retard...Hegurka 20-02-2011 13:22
J'arrive sur cet article (très intéressant) avec 1 an 1/2 de retard mais quelque chose me choque ici: le format JPEG fonctionne, d'une part sur 8 bits OU sur 16 bits, d'autre part c'est un format peu destructeur - il suffit de ne pas chercher une compression importante. Il existe même un JPEG non destructeur - alors par pitié, au moins Dominique, arrêtez de dire n'importe quoi. Surtout quand on sait que ce format (génial, excusez-moi) passe d'abord par un échantillonnage en YUV ! Les gens vont finir par croire que du JPEG c'est la fin de la photographie - alors que c'en est au contraire le meilleur garant actuel.
Mais d'accord avec Dominique par contre pour dire que le RAW est avant tout une collection brute de pixels enregistrés en RGB et qu'il ne mérite pas tant de crainte que ça !! Il existe déjà des logiciels en open source capables de décodés quasiment TOUS les RAW existants. Donc le DNG ne me semble en aucun cas quelque chose d'incontournable - surtout si c'est "tenu" par Adobe - qui ne m'intéresse pas particulièrement.
Voilà. Je ne relance pas le débat vraiment, je voulais surtout rendre au format JPEG toute sa valeur qui est immense ! Et qu'on arrête un peu de dire quasiment n'importe quoi à son sujet.
# Patrick Moll 20-02-2011 15:34
Pas de problème pour déterrer des articles anciens... d'autant que mon point de vue n'a guère varié depuis que je l'ai écrit.

Je suis très étonné d'entendre parler de JPEG 16 bits dans un contexte photographique. Quel boîtier reflex propose cette solution ? Si aucun ne le propose, pourquoi l'évoquer alors que cela peut induire les lecteurs en erreur. Or, dans la question "RAW ou JPEG ?", les problèmes posés par la profondeur de codage sont bien plus importants que ceux posés par la compression. Il suffit d'exporter un RAW en Tiff 8 bits et en TIFF 16 bits puis de leur faire subir des traitements simple du genre rehaussement du contraste pour voir apparaître les pertes de données.

Pour le reste, la valeur du JPEG est immense en tant que format de diffusion d'image, certainement pas comme format de capture, sauf à être un génie de la prise de vue et d'être certain de ne jamais avoir à le corriger. Ce n'est hélas pas mon cas, donc je continue à militer pour le format RAW, qui seul préserve l'avenir grâce à l'amélioration continuelle des logiciels de développement. Quand je vois mes JPEG de théâtre d'il y a 8 ans, juste avant que je ne passe au RAW, je pleure de ne pas pouvoir en tirer plus que ce que le boîtier avait produit ce jour-là...
# okHegurka 20-02-2011 19:10
Je ne parlais pas, pour le JPEG, de ce qui existe dans les boîtiers, mais Dominique parlait du JPEG 8 bits "comme si" personne n'avait cherché plus loin et affirmait qu'il est très destructeur. Non! Je persiste et signe !! Et je ne me situe pas sur un plan boîtier-boîtier. Quand on parle du futur, on sort justement de ce qui existe.
Ensuite, j'en reviens encore et toujours au JPEG, il existe le JPEG-LS, non destructeur (norme ISO/CEI 14495-1) - ce n'est qu'un exemple.
Si vos jpeg d'il y a 8 ans sont insuffisants c'est parce qu'à l'époque on n'avait pas de machines suffisamment rapides avec suffisamment de mémoire pour générer des taux de compression faibles et, donc, d'excellents jpeg comme on sait le faire en 2011.
Je conçois que votre question d'origine soit ailleurs. Mais justement : d'excellents JPEG peuvent fort bien être encore améliorés et figés dans différents formats sans compression destructive (ne serait-ce que les PNG) et conservés, et restituables loin dans le temps. Et je crois que personne n'aura l'intention de les "reprendre" ! Ils entreront dans le patrimoine de l'humanité comme la 1ère "photo" de Niepce. Non ?
# Patrick Moll 20-02-2011 19:40
Mais non, ce que je reproche au JPEG en temps que format d'enregistrement d'une photo par un boîtier n'est pas sa compression mais le fait qu'il n'est plus évolutif et qu'il impose une interprétation qui n'est pas celle du photographe. Mes photos prise en JPEG il y a 8 ans sont très bruitées, non pas à cause de la compression mais parce que le processeur de mon appareil ne savait pas faire mieux à l'époque. Si ces photos avaient été prises en RAW, je bénéficierais des améliorations considérables des algorithmes de conversion et de réduction du bruit, et je pourrais régler mes balances des blancs sans flinguer la colorimétrie, récupérer des surexposition, etc.

Je n'ai donc rien contre le JPEG en tant que format final pour le stockage ou la diffusion des RAW développés, mais il est par construction impossible à un format bitmap, quel qu'il soit, de proposer le même potentiel que le RAW, ni le pari sur l'avenir que celui-ci constitue.
# Hegurka 21-02-2011 00:49
Je comprends, mais techniquement, je veux dire informatiquement un bitmap (un .bmp) est parfait. Tout dépend après de la résolution, ainsi que de la taille des pixels (regardez la qualité inouïe de l'iPhone 4 uniquement grâce à ses pixels indiscernables à l'oeil nu. Le JPEG lui n'est en rien un bitmap. Il est un strict codage mathématique. D'accord surtout sur le fait qu'il n'est plus évolutif, encore que ce soit de l'art, après, et pas seulement de la photo pour la photo. Voilà ! Il n'y a pas de désaccord profond je pense !
# Patrick Moll 21-02-2011 01:12
En effet, je pense qu'il n'y a pas de désaccord, on ne parle juste pas de la même chose... Je ne parle pour ma part que du format d'enregistrement des images par le boîtier, et sur ce point je considère que le RAW est infiniment supérieur au JPEG pour les raisons accumulées au fil des articles de ce site :wink:
Pour le reste, dire que le JPEG n'est pas un bitmap est vrai d'un strict point de vue technique, mais le présenter comme vous le faites tendrait à faire penser qu'il contient plus d'informations qu'un bmp. Or je ne crois pas que cela soit le cas, en tout cas s'agissant des JPEG 8 bits écrit par les boîtiers photo. Mais je me trompe peut-être... :-?:
# Hegurka 21-02-2011 08:11
n bitmap est constitué de tous les pixels de l'image, point final. Un Raw et un Jpeg auront ce tableau d'informations enregistré (et compressé pour le Jpeg), plus des infos indiquant la taille du canevas du bitmap, plus les exifs (données descriptives plus ou moins bien renseignées). En cela un Jpeg ou un Raw contiennent plus que le bitmap qui en résulte mais point de vue "image", non ! Et la perte des données entre un Raw et un Jpeg, lorsqu'elle est invisible pour l'oeil humain, est nulle ou négligeable puisque il est alors impossible alors de dire quel bitmap est issu du Raw ou du Jpeg.
Le reste, les metadonnées et autres considérations, c'est du baratin d'Adobe ou des constructeurs de boitiers.
# Hegurka 21-02-2011 08:23
En fait vous voudriez comme en musique conserver tous canaux d'une composition et que cela soit standardisé.
Ce serait intéressant en effet !
# compatibilité dng / LR et DxOJacques Grinberg 11-07-2011 13:22
Bonjour Patrick,
Comme j'ai l'habitude de convertir à l'importation dans LR, mes raw Sony en dng,
Est-il possible de rester en dng au long du circuit LR > DxO > LR ? Le guide DxO n'est clair à ce sujet:
le scénario 1 indique DxO > LR en dng
le scénario 2 indique LR > DxO en raw

DxO accepte-t-il le dng à l'entrée et la sortie, si l'on choisit le scénario 2 (LR > DxO > LR) comme processus ?
Les aller-retours éventuels seraient plus aisés ?
# RE: Faut-il utiliser le format DNG (Digital NeGative) ?Crashoveride 15-04-2015 16:49
Déterrage de topic !! ^_^

On en est où 7 ans p^lus tard sur le sujet ? Le DNG a t il progressé ? A t on plus de recul concernant les données cryptées (qui ont certainement été décryptées depuis) ? .......
# RE: Faut-il utiliser le format DNG (Digital NeGative) ?Patrick Moll 15-04-2015 18:11
Le DNG n'a pas beaucoup progressé dans les usages. En cause, les constructeurs bien sûr qui ne l'ont toujours pas adopté, mais aussi les éditeurs de logiciels qui ne sont pas nombreux à le prendre en charge.
Les maker notes sont au final un problème secondaire du fait de la médiocrité des logiciels des constructeurs. Mieux vaut un bon logiciel qui ne sait pas lire les maker notes qu'un logiciel maison sans intérêt... ;-)

Les commentaires ont été désactivés

Flux de production

17 mars 2014
x-rite-colortrue-la-gestion-des-couleurs-pour-les-appareils-mobilesNi Apple avec iOS, ni Google avec Android n'ont intégré dans leur système d'exploitation mobile la gestion des couleurs. Pour la plupart des usages, les [...]
28 décembre 2012
colorimetrie-comparee-des-logiciels-de-developpement-des-rawCet article, rangé dans la catégorie Gestion des couleurs, aurait pu figurer dans la rubrique Idées fausses tant le sujet abordé fait l'objet [...]
06 août 2012
comprendre-le-format-raw-troisieme-partie [NdLR : je vous propose une introduction au format Raw extraite (et légèrement adaptée pour le web) du début du deuxième chapitre de mon livre Le [...]
02 juillet 2012
comprendre-le-format-raw-deuxieme-partie[NdLR : je vous propose une introduction au format Raw extraite (et légèrement adaptée pour le web) du début du deuxième chapitre de mon livre Le format [...]
24 juin 2012
comprendre-le-format-raw-premiere-partie [NdLR : je vous propose une introduction au format Raw extraite (et légèrement adaptée pour le web) du début du deuxième chapitre de mon livre Le format [...]
06 avril 2012
protocole-de-test-pour-evaluer-la-colorimetrie-dun-boitierCet article présente le protocole de test qui servira à tester la colorimétrie des boîtiers Sony Alpha et NEX. Il ne présente donc pas d'intérêt majeur en [...]
25 février 2012
notions-despace-de-representation-et-de-profil-de-couleurAprès l'introduction aux problématiques de la gestion des couleurs, je vous propose d'aborder les notions d'espace, de représentation et de profil de [...]

Communications

16 février 2015
migration-d-alpha-numeriqueLors des voeux de bonne année, j'ai évoqué la refonte de la maquette d'Alpha-numérique rendue impérative par l'arrêt de la maintenance du CMS (moteur de [...]
01 janvier 2015
alpha-numerique-vous-souhaite-une-excellente-annee-2015Alpha-numérique devait redémarrer avec la nouvelle année. Hélas, la refonte impérative de la maquette (qui doit être adaptée à la version la plus récente [...]
29 avril 2014
fermeture-d-alpha-numerique-pour-une-duree-indetermineeTrop de travail, trop peu de disponibilités, lassitude après tant d'années et plus de 1000 articles, départ en voyage, tout ceci me conduit à fermer le [...]
12 avril 2014
test-d-une-protection-anti-spam-sans-captcha-sur-alpha-numeriqueLe SPAM, c'est la vérole du Web. C'est lui qui m'oblige à imposer le remplissage d'un Captcha pour les commentaires des lecteurs non enregistrés, et je [...]
05 avril 2014
reprise-de-l-activite-sur-alpha-numeriqueAprès quasiment trois semaines sans article faute de disponibilité (en particulier du fait de l'écriture d'un très gros dossier à paraître dans le [...]
01 janvier 2014
alpha-numerique-vous-souhaite-une-excellente-annee-2014L'année 2013 aura été riche pour les sonystes. La marque orange a encore fait feu de tout bois avec beaucoup d'innovations, au premier rang desquelles [...]
21 décembre 2013
nouveau-module-expresso-news-sur-alpha-numeriqueLes articles publiés sur Alpha-numérique apparaissent dans la zone principale en format blog, ou dans un module latéral s'ils sont moins importants. Faute [...]