Test du Sony NEX-6 par les Pixelistes : un gros problème de protocole !

Évaluer un boîtier ou une optique exige un protocole de test à la fois rigoureux et reproductible. Rigoureux pour garantir la fiabilité des résultats, reproductible pour permettre la comparaison entre les résultats de plusieurs appareils. Sans un minimum de matériel d'éclairage, une cible pertinente et une bonne compréhension de ce que l'on cherche à mesurer, mieux vaut s'abstenir.

S'abstenir, c'est précisément ce que ne font pas les photographes amateurs qui publient des tests approximatifs sur les forums et sur les blogs. Ce n'est pas un problème a priori, mais ça le devient quand il s'agit d'un site très fréquenté comme celui des Pixelistes et que le test est signé par le patron des lieux, ce qui lui donne un caractère plus "officiel". Il s'avère par ailleurs que lesdits lieux ont longtemps été réservés au matériel Nikon. L'ouverture sur le matériel d'autres marques est plutôt une bonne nouvelle, sauf s'il s'agit de l'éreinter comme c'est le cas pour le Sony NEX-6.

Cet article est d'abord une mise en garde adressée aux lecteurs pixelistes afin qu'ils aient conscience des faiblesses du protocole mis en place sur leur site. Mais il s'adresse plus largement à tous les photographes qui veulent tester un boîtier, afin qu'ils déjouent les principaux pièges posés par cet exercice périlleux.

Avant de commencer, mettons les choses au clair. Je n'ai rien contre les Pixelistes et il ne s'agit pas d'une querelle de clocher. J'ai beaucoup de respect pour le travail de Marc Decristoforo, alias Pyroclastique, qui est un copain. Avant de me résigner à écrire cette mise en garde, j'ai tenté de le convaincre de retirer provisoirement la partie problématique du test en attendant qu'elle soit refaite sur la base d'un meilleur protocole. Il a malheureusement choisi de ne rien faire, et l'erreur commise est trop énorme pour ne pas la signaler ici. Même si Marc refait le test, les lecteurs de la version initiale ne retourneront pas lire l'article...

Cela étant dit, venons-en au test du NEX-6, que je vous suggère de lire avant de prendre connaissance de ce qui suit. La partie incriminée est le test de bruit à hauts ISO, qui est un sujet inépuisable d'erreurs de protocole et de mauvaises interprétations. Même dpreview n'y a pas échappé, comme je l'avais mis en évidence il y a quelques mois dans un article intitulé Sony Alpha 77, test complet #2 : bruit numérique et erreurs de protocole.

Voici la partie d'image ayant été utilisée pour évaluer le bruit numérique à différentes valeurs ISO :

On voit immédiatement que l'image est très sombre. Cela saute encore plus aux yeux quand on la compare à celle utilisée dans un autre test des pixelistes, celui du Fuji X-E1.

Pour mesurer l'ampleur du problème, il est utile d'examiner l'histogramme des luminosités de ces deux images.

À gauche, l'histogramme de l'image prise par le NEX, à droite celui pour le Fuji. L'énorme écart saute aux yeux et il est confirmé par les informations figurant sous les vignettes. On constate que la luminosité moyenne est de 69 pour le NEX, et de 139 pour le Fuji (l'écart entre les médianes est encore plus important, mais conservons la valeur moyenne). Sachant que les valeurs de luminosité vont de 0 à 255 entre le noir pur et le blanc pur, l'écart de 70 entre les deux moyennes correspond à 27% de l'ensemble de la plage des luminosités. Ce type de capteur ayant une dynamique d'environ 12 IL, l'écart est donc d'environ 3 IL. Comme on voit sur l'histogramme du Fuji que l'image a été bien exposée, cela indique que la sous-exposition de l'image prise avec le NEX est d'environ 3 IL, ce qui est considérable !

Il faut savoir qu'en première approximation, diminuer l'exposition de 1 IL augmente le bruit de 1 IL, comme je l'avais montré dans l'article intitulé Alpha 900 + DxO Optics Pro 6 = 102400 ISO ?  Cela signifie qu'avec une sous-exposition de 3 IL, le bruit à 800 ISO est semblable à celui à 6400 ISO si l'image avait été correctement exposée. Comment s'étonner alors que dans le test du NEX-6, Marc ait perçu du bruit dès 800 ISO ? On s'étonne presque qu'il n'en ait pas avant...

L'erreur ayant été approximativement quantifiée, essayons d'en comprendre l'origine. L'image complète de la prise de vue donne une première indication.

L'arrière-plan est clair et la cible est très mal éclairée. La cellule, qui devait être réglée en mesure large, a fait de son mieux avec cette composition disparate, et a logiquement produit une partie centrale sous-exposée. Pour limiter le problème, il aurait fallu ne cadrer que la cible ou, à tout le moins, choisir une mesure pondérée centrale ou une mesure spot sur une partie de luminosité moyenne de la cible.

L'autre partie de l'erreur vient d'ailleurs, peut-être d'une sous-exposition intrinsèque au boîtier. Quoi qu'il en soit, pour qu'un test de bruit soit valide, il faut que l'exposition de la cible soit bonne. Si l'appareil a tendance à sous-exposer dans le contexte très particulier d'un test sur mire, il faut corriger l'exposition (en passant en M ou via la correction d'exposition en mode A ou S). Ce point est très important et constitue une fréquente source d'erreur dans les protocoles de test. Il faut bien avoir conscience que ce n'est pas la cellule de l'appareil qui est testée, mais le capteur et seulement le capteur. Il est donc impératif de découpler les comportements du capteur et de la cellule. La chose est encore plus importante lorsque des comparaisons entre boîtiers sont émises, comme dans ce test entre le NEX et le Fuji.

Pour conclure, contrairement à ce que prétend Marc, tous les tests sérieux du capteur CMOS 16 Mpx du NEX-6 ont indiqué qu'il était l'un des meilleurs APS-C, voire le meilleur, qu'il soit embarqué dans un NEX, dans un Alpha, dans le Pentax K-5 ou dans le ... Nikon D7000. Il suffit de regarder les scores DxOMark pour le vérifier. C'est quand même bien dommage qu'un test réalisé sur la base d'un protocole très approximatif vienne jeter le doute sur les qualités de ce capteur et du NEX-6. Et il est encore plus regrettable que son auteur, ayant pourtant pleinement conscience du problème, ait choisi de laisser le test en l'état. Comme l'écrivait Augustin d’Hippone, Humanum fuit errare, diabolicum est per animositatem in errore manere.

Ajouter un Commentaire

Nom (obligatoire)

Adresse email (obligatoire)

Url de votre site Web ou Blog

Titre

     Recevoir une notification par email lorsqu’une réponse est postée

Rafraîchir

Enregistrer

Annuler