Fév
11
2009
Le magazine Chasseur d'Images, dans sa livraison datée de mars 2009, a réalisé des tests de plusieurs optiques sur les boîtiers Sony Alpha 700 et Alpha 900. Quand on compare le résultat de ces tests avec ceux réalisés par d'autres labos, en particulier par Jean-Marie Sepulchre pour le Monde de la Photo, on constate des différences parfois très importantes alors que le protocole utilisé semble être le même (DxO analyser).
Des tests de piqué pertinents : mission impossible ?
Le magazine Chasseur d'Images, dans sa livraison datée de mars 2009, a réalisé des tests de plusieurs optiques sur les boîtiers Sony Alpha 700 et Alpha 900. Quand on compare le résultat de ces tests avec ceux réalisés par d'autres labos, en particulier par Jean-Marie Sepulchre pour le Monde de la Photo, on constate des différences parfois très importantes alors que le protocole utilisé semble être le même (DxO analyser).Le CI-Lab conserve un impact fort en France malgré l'accessibilité aux résultats des autres labos grâce à Internet. Il nous a donc semblé important de rechercher l'origine de ces différences et, in fine, d'interroger la pertinence des tests optiques en général et de ceux de CI en particulier. Il ne s'agit pas ici d'ouvrir une polémique avec le magazine, et encore moins avec le CI-Lab dont nous avons ici-même plusieurs fois salué la qualité du travail, mais réellement de comprendre ce qui peut, dans les différents protocoles de tests, générer des écarts aussi sensibles.
Tester un couple boîtier/optique est très complexe, aussi bien pour le labo qui le réalise que pour le lecteur qui tente d'en extraire de l'information utile pour ses investissements matériels. Nous ne discuterons ici que des mesures de piqué car elles sont de loin les plus sujettes à variations, et nous n'évoquerons pas les questions de précision de mise au point lors des tests, problème également crucial qui peut avoir un impact lourd lors des tests de certaines optiques à grande ouverture.
Les différences de protocoles de tests
La différence qui saute aux yeux quand on compare les tests CI-Lab avec d'autres labos est le choix du format de fichier. Alors que la plupart des protocoles utilisent désormais le format raw, CI teste toujours des jpegs directs. Qui plus est, ils semblent conserver l'accentuation par défaut du boîtier au lieu d'utiliser le niveau optimal pour le format de leur test.
Le protocole de test de CI ne permet donc pas de mesurer avec certitude le potentiel d'un couple boîtier/optique et il sous-évalue la qualité des optiques vissées sur des boîtiers dont le réglage par défaut du micro-logiciel intégré au boîtier (DSP) est doux en terme d'accentuation, comme traditionnellement chez Sony. Ce qui est mesuré ne correspond en pratique qu'à l'usage probablement minoritaire du photographe qui shoote en jpeg sans modifier les réglages de son boîtier, c'est à dire un peu comme un débutant avec un compact entre les mains. Si ce n'est pas déraisonnable pour le matériel d'entrée de gamme, ça le devient pour les reflex experts et professionnels.
Jean-Marie Sepulchre, en préambule à ses comptes rendus de tests des dernières optiques Sony, a fait un autre choix : "Comme le Sony A900 fournit en mode standard des JPG trop doux, les prises de vues, comme les mesures de piqué, ont été opérées en mode « paysage » sur format RAW ; ces fichiers ont ensuite été développés sans aucune retouche par le logiciel Image Data Ligthbox SR et ce sont les JPG haute qualité en résultant qui ont été mesurés".
D'autres labos vont encore plus loin et appliquent en fin de développement du raw une accentuation de sortie identique à celle qu'ils auraient choisie pour une impression papier.
Alors que les outils employés par les labos tendent à s'uniformiser (DxO Analyser, Imatest), on voit que le choix de la provenance de l'image à tester devient déterminant et peut avoir un impact important sur la validité du résultat final.
Quel labo a raison ?
La question qui se pose en effet est : qui a raison ?
En réalité elle ne peut pas se poser en terme de savoir qui a raison ou tort. S'il y avait une solution évidente, tous les labos l'auraient adoptée et quand on lit sur ce sujet les débats animés sur les forums, en particulier sur celui de CI, on voit bien que faire un test idéal relève de la quadrature du cercle.
Pour mieux comprendre cette problématique, il faut rappeler que l'image qui va être testée, quelle que soit sa provenance, n'est qu'une interprétation du raw produite directement par le DSP ou par un logiciel de développement externe. Toute interprétation étant pas essence subjective, il s'agit alors pour les testeurs de faire le meilleur choix, et c'est bien sûr là que les avis divergent...
De mon point de vue, choisir le jpeg direct n'a qu'un seul "avantage", celui paradoxalement d'éviter de faire un choix. Tester systématiquement les jpeg directs en réglages par défaut donne seulement l'illusion d'une uniformité de traitement et renvoie la responsabilité aux constructeurs (puisque ce sont eux qui ont choisi les réglages du DSP). C'est donc le choix de la tranquillité mais pas le plus pertinent car au final il ne répond qu'à la question "quel est le piqué de telle optique sur les jpegs directs non accentués de tel boîtier ?". C'est un élément de réponse très partiel à la question de la qualité intrinsèque d'une optique, et il peut même ne présenter aucun intérêt pour le photographe qui ne shoote qu'en raw.
La difficulté, quand on fait le choix de tester une image développée à partir du raw, est de définir le traitement judicieux à lui appliquer. JMS a pris la sage option de développer avec le logiciel constructeur, curseurs à zéro. C'est évidemment mieux, mais cela reste potentiellement sous-optimal dans le cas où le logiciel applique peu d'accentuation par défaut. On peut même affirmer que l'export en question a peu de chance d'être optimal dans la mesure où l'accentuation de sortie idéale se définit de manière complexe en fonction de la taille du cercle de confusion, du type d'imprimante, de la taille de l'image, etc.. On mesure ici la difficulté qu'il y a à définir ce que pourrait être cette "image idéale", qui rendrait le mieux compte de la qualité d'un couple boîtier/optique.
Le problème de l'accentuation
Difficile donc de parler de piqué sans évoquer la question de l'accentuation. Beaucoup de photographes croient encore qu'il existe des jpegs "purs", exempts d'accentuation. C'est bien sûr une illusion car le processus de développement du raw, qu'il soit réalisé par le DSP ou par un logiciel externe, comprend des traitements de réduction de bruit et d'accentuation.
Rappelons succinctement, en anticipation de la suite du dossier sur le format raw, que celui-ci est composé de trois couches RVB incomplètes comprenant seulement 25% d'informations pour les composantes rouge et bleue et 50% pour le vert. La reconstitution des informations manquantes est un processus complexe qui fait l'essentiel des différences entre les différents logiciels de développement (c'est aussi pour cela que les rendus sont différents d'un logiciel à l'autre pour un même raw). Il s'agit en effet de "créer" de l'information à l'échelle du pixel pour compléter chacune des couches RVB, en s'appuyant largement sur un procédé de reconnaissance de forme car une simple interpolation des valeurs des pixels renseignés produirait un résultat beaucoup trop lisse. Malgré des algorithmes toujours meilleurs, il n'est pas évitable d'appliquer une dose d'accentuation.
C'est ce processus de reconstitution du signal qui va déterminer, en particulier, la netteté apparente des jpegs, qu'ils soient issus des boîtiers ou de logiciels externes. Est-il préférable que soit appliquée une accentuation forte dès le développement ou que cette opération soit réalisée pour l'essentiel par le photographe lors de l'export final, en fonction du format et du média de destination ? Sachant que l'accentuation est un processus destructeur qui modifie les microconstrastes locaux, il me semble qu'il faut limiter son usage en amont. C'est le choix qu'a fait Sony qui produit, comme l'a signalé JMS dans ses tests, des jpegs directs assez doux, mais conservant un maximum de détails très fins non détériorés par un excès d'accentuation. Le problème, c'est que l'impact négatif peut être élevé sur les tests de piqué qui utilisent ce jpeg direct comme matériau de base.
Conclusion
On l'aura compris, la complexité de cette problématique est grande et il n'existe pas de réponse "objective" ni de materiau "pur" pour les tests de piqué. Choisir le raw ou appliquer une accentuation optimale au jpeg direct ne fausserait pas les tests et, bien au contraire, produirait une réelle égalité de traitement entre les boîtiers de toutes marques et donnerait une vraie mesure du potentiel des optiques. Notons en passant, même si ce n'est pas le coeur du sujet de cet article, que les corrections (aberration chromatiques, vignetage) réalisées par les micrologiciels de certains boîtiers rendent obsolètes les mesures de ces défauts optiques et déséquilibrent les comparaisons avec les marques qui réalisent ces opérations logicielles de manière externe...
Chasseur d'Image a choisi pour ses tests une solution simple et rapide qui lui assure une certaine tranquillité. Toutefois leurs résultats ne rendent pas nécessairement compte du potentiel d'un couple boîtier/optique, sauf dans le cas où le DSP a été réglé pour produire un rendu idéal pour ce genre de tests. Il s'avère que ce n'est pas le cas des boîtiers de Sony (ni d'ailleurs de ceux d'autres marques comme par exemple les Canon 40D, 50D ou le récent 5DMkII qui ont également une accentuation faible par défaut).
Concernant Sony, on aurait envie de leur conseiller d'appliquer une accentuation plus forte par défaut afin que les mesures de piqué en jpeg se rapprochent de celles en raw, mais on ne le fera pas car le photographe est définitivement le mieux placé pour définir la dose d'accentuation qui convient le mieux pour ses images.
Au final, on regrette surtout que le CI-Lab, qui produit des résultats aussi riches que fiables, se limite à tester les jpegs directs avec réglages boîtiers par défaut alors qu'il aurait les moyens de produire un panel de tests bien plus important. Il est toutefois évident qu'ouvrir la boîte de Pandore des raws aurait des conséquences lourdes sur la mise en page du magazine car cela multiplierait les résultats à afficher. Mais ce serait alors vraiment digne du "premier magazine de l'image en Europe".
D'un autre côté, en s'efforçant d'avoir une vision positive de la situation globale des tests optiques, on pourrait se réjouir de disposer ainsi d'une batterie de tests complémentaires : ceux de CI en jpeg, ceux de JMS en raw, plus les tests de Réponses Photo, SLRgear, DPReview, Photozone et bien d'autres. Oui, on pourrait... si les tests CI n'avaient pas autant d'impact dans notre pays.
En rêvant un peu, on pense au labo qui s'emparerait de la problématique suivante : quel est, pour tel boîtier et telle optique, le logiciel qui produit le meilleur rendu ? On aurait alors non seulement une vraie mesure du potentiel des couples boîtier/optique, mais en plus une information précieuse sur le meilleur logiciel à utiliser pour obtenir un tel résultat.
Pour éviter de transformer les tests optiques en usine à gaz, on peut toutefois imaginer un protocole plus simple : les optiques sont testées sur la base de raws développés avec les logiciels constructeurs, en appliquant une dose d'accentuation "optimale" qui peut être laissée à la discrétion du testeur ou, mieux, prescrite par les constructeurs eux-même, qui pourraient alors continuer à proposer des jpeg directs peu accentués par défaut, si tel est leur souhait.
Commentaires
Et oui, c'est pour ça que j'ai parlé de rêve et de quadrature du cercle dans l'article... :roll::
Finalement, que cette problématique soit si complexe (et non résolue) laisse de la place aux auteurs qui défendent l'usage du format raw et qui présentent et évaluent les différents logiciels de développement :wink:
Si un paysagiste voit qu'un 20mm ne récolte que 6/10 dans les angles, il risque de ne pas l'acheter alors que l'optique aurait peut-être eu 8/10 si elle avait été testée sur la base d'un jpeg ou un raw bien accentué.
Le fait que CI suggère parfois de pousser l'accentuation ou d'utiliser le format raw indique bien qu'il sont conscients des limites de leur protocole. Ça me chagrinerait que les constructeurs poussent l'accentuation par défaut pour s'adapter à des tests en jpeg directs. Cela me fait penser (tristement) à ces châteaux du Bordelais qui modifient leurs assemblages ou ajoutent des copeaux de chêne dans les barriques pour se conformer au goût de Robert Parker et avoir une bonne note dans son guide, sésame incontournable pour l'exportation. J'espère que la photo reflex saura rester à l'écart de ce syndrome.
Sinon c'est vrai que la détermination de la juste dose d'accentuation est un problème complexe. Est-ce une raison suffisante pour ne pas s'y coltiner ? :wink:
Pour finir, tu parles des délais de prise en charge des nouveaux boîtiers par les éditeur de logiciels tiers. Tu as raison, mais cela n'aurait d'impact que si les optiques étaient testées immédiatement après la sortie des dits boîtiers, ce qui n'est pas très souvent le cas.
Quoi qu'il en soit, c'est vrai que les tests optiques deviendraient une usine à gaz dans le protocole "rêvé" de fin d'article. En revanche, et je vais sûrement ajouter un dernier paragraphe dans ce sens en fin de conclusion, on pourrait imaginer que les testeurs n'utilisent que des raws développés avec le logiciel maison (comme tu l'as fait avec les dernières optiques Sony), avec une accentuation "standard" pour la taille d'image correspondant à leur protocole. Ces niveaux "standards" pourraient être prescrits par les constructeurs eux-même, ce qui leur permettraient de laisser les jpegs directs avec un niveau d'accentuation raisonnable.
16-35:
"malgré plusieurs essais de MAP"
"sur pied, l'efficacité de l'AF liveview se fait regretter!"
70-200:
"léger défaut de mise au point"
"peu accentué"
70-300:
"décalage de mise au point...assassin sur mire"
70-400:
"faible accentuation native de l'a900"
Une chose semble claire, quand il s'agit de viser une mire, les boitier Sony pâtissent de l'absence de LiveView avec AF par détection de contraste.
(Et on peut même se demander s'ils n'ont pas oublié de couper la stab.)
Quant aux différences d'accentuation, pourquoi n'utilisent-ils pas leurs tests de boitier pour savoir comment régler chaque modèle? (Facile avec leurs "petits pâtés")...
Ceci étant dit, je trouve quand même leurs tests très intéressants. Et ça montre que toutes les nouvelles optiques sony et zeiss sont exceptionnelles. Il manque que le test de bokeh, mais là difficile de sortir des chiffres!
Bravo pour le site!
En effet la mire DxO est notoirement très difficile à accrocher, ce qui fait que les photos sont souvent meilleures dans la "vraie vie" que ce que les tests laissaient présager, surtout à pleine ouverture.
C'est clair que le Live-View donne un gros avantage en éliminant tout problème de map (problème d'accroche de mire, back ou front focus). L'absence de LV dans les boîtiers experts et pro Sony plus les corrections optiques non intégrées au DSP, ça pèse lourd dans les tests qui s'appuient sur les jpegs directs... :confused:
En ce qui concerne CI, bien sûr que leurs tests sont intéressants. C'est même pour ça qu'on aimerait qu'ils aillent encore plus loin.
Moi j'ai grandi en photo avec CI : j'ai 25 ans de magazines dans la bibliothèque en face de moi et je continue à être abonné, alors ils me doivent bien ça, non ?
Les gens s'imaginent qu'on a une dent contre CI alors qu'on ne fait qu'exiger d'eux la perfection. C'est quand même pas beaucoup demander, si ? :roll::
La qualité du piqué dès la pleine ouverture est une caractéristique importante des optiques Sony haut de gamme. Avec les Sony 70-200/2,8 G, 70-300 G, 70-400 G, les 4 Zeiss plein format et les deux macro, nous sommes vraiment bien servis
S’abonner au flux RSS pour les commentaires de cet article.