Qual a relevância das pontuações e testes do DxOMark?

Para mim, a classificação do sensor DxOMark parece um pouco bizarra. Recentemente, eles classificaram o sensor da Nikon D3300 com a mesma pontuação que a Canon 1Dx obteve, o que acho improvável que reflita seus desempenhos, e o que também me deixou realmente cético em relação ao seu sistema de pontuação.

Eu valorizo ​​suas medições do sensor, o que resulta em uma ferramenta de referência para comparar diferentes sensores de câmera, mas eles são realmente relevantes? Tanto quanto sei, não existe documentação de como a pontuação é calculada a partir das pontuações Faixa Dinâmica, Sensibilidade à Cor e ISO com pouca luz. Também o interesse da DxO Labs reside na venda de seu software, não diretamente no fornecimento de ferramentas de benchmarking científico e pode muito bem ser tendencioso em relação a um determinado fabricante.

Quão útil é a pontuação do DxOMark e como você pode usá-lo para comparar câmeras diferentes?

As "pontuações" primárias do DXOMark são totalmente inúteis. IGNORE-OS. É um esforço inútil tentar reduzir uma entidade complexa, como uma DSLR, a um número único e escalar, que informa tudo a respeito. É uma falácia. Há muitos fatores a serem considerados e quais são os mais importantes para um determinado fotógrafo. Uma única pontuação derrota completamente o objetivo de executar medições em primeiro lugar.

Quando se trata de outras pontuações do DXO, como pouca luz e paisagem e outros enfeites, leve-as com uma grande dose de sal. Suas pontuações gerais são fortemente ponderadas e geralmente baseadas em derivações de medidas, e não em medidas reais. Por exemplo, a pontuação Paisagem é baseada na "medida" de DR de impressão. O problema é que o DXO não mede o DR de impressão, na medida em que não se baseia em amostras obtidas de imagens com amostragem reduzida real. O Print DR é uma extrapolação matemática simples da faixa dinâmica medida TRUE do sensor.

Portanto, o Print DR realmente não diz nada sobre o sensor. Quando o DXO diz que o D800 e o D600 têm 14,4 paradas de DR, ou seja, DR de impressão, que é extrapolado do DR de hardware real, que é 13,2 paradas. O mesmo vale para os sensores da Canon. Quando o DXO diz que o sensor tem 12 pontos de DR, esse realmente não é o caso. Na realidade, a maioria dos sensores da Canon, em nível de hardware, possui cerca de 10,95 pontos de DR.

O problema é pior que isso, no entanto. Grande parte das informações de pontuação de profundidade e sensibilidade das cores é ponderada, assim como muitas das pontuações baseadas em ISO. Os pesos são baseados nas câmeras que atingem certos limites, como o SNR em um determinado ISO, sendo mais alto que um determinado nível. Isso concede um certo "bônus" à pontuação dessa câmera. No momento em que qualquer tipo de pontuação de bônus com base no peso entra no jogo, sua capacidade de comparar diretamente qualquer coisa por qualquer pontuação sai completamente pela janela. Você está agora em um campo de jogo não linear, onde honestamente não sabe se a câmera Nikon ali com uma pontuação de 95 foi fortemente ponderada em relação a esta câmera Canon aqui com uma pontuação de 80.

Quando se trata de medições reais, as informações do DXO são algumas das melhores disponíveis. Suas medidas de SNR, Screen DR, sensibilidade de cores etc. são bastante sólidas, pois são obtidas diretamente de várias amostras de imagens RAW para cada câmera testada. Sua metodologia de teste é bastante rigorosa e não há nada que indique que parte de sua metodologia deva ser questionada. Cientificamente, na medida em que eles testam e o que medem, o DXO tem práticas e informações sólidas.

DXO é realmente um saco misto. Eles podem ter práticas sólidas de teste, mas sua pontuação, já que muitas vezes é baseada em informações ponderadas e derivadas matematicamente, e no fato de que algumas de suas pontuações recebem frequentemente pontos "bônus" simplesmente por atingir certos limites, prejudica completamente o ponto inteiro do que o DXO faz: Produzir uma pontuação linear para cada câmera que permita uma comparação fácil. Para começar, era um conceito defeituoso, com pontuação de número único, mas eles pioraram muito a maneira como lidam com o processo de pontuação real.

Pontuação geral

Geralmente ignoro a Pontuação geral, pois é muito geral se você entender alguma das pontuações individuais.

A pontuação geral é uma função de uma variedade de testes determinísticos (razoavelmente), cada um dos quais é bastante informativo e a maioria (se não todos?) Possui unidades de medida claras. Mas eles geram uma "pontuação" que combina essas métricas, com diferentes dimensões. É como comparar um carro a outro, adicionando a aceleração máxima (m / s / s), o tamanho do tanque de combustível (L), a velocidade máxima (km / h) e o número de passageiros que eles podem transportar. Todo mundo vai querer ponderar os diferentes componentes de maneira diferente, para que a pontuação geral se torne bastante irrelevante.

Pontuações de casos de uso

Como você disse, a Canon 1DX obteve a mesma pontuação geral que a Nikon D3300, mas observe algumas grandes diferenças, mesmo apenas na página de resumo "Pontuações":

• A pontuação "Paisagem" (também conhecida como Faixa dinâmica) é 11,8 vs 12,8 EVs (uma parada é melhor no D3300)
• A pontuação "Esportes" (também conhecida como ISO com pouca luz) é 2786 x 1385 ISO (uma parada é melhor em 1DX)

Essas " Pontuações de Casos de Uso " já são muito mais específicas e dimensionalmente sensíveis e fazem comparações muito melhores.

Dito isto, eles também são

1. não necessariamente fácil de entender e
2. não necessariamente uma medida útil para todas as aplicações

Por exemplo, o caso de uso "Esportes / ISO com pouca luz" é

ISO com pouca luz é a configuração ISO mais alta para uma câmera que permite obter um SNR de 30dB, mantendo uma boa faixa dinâmica de 9 EVs e uma profundidade de cor de 18 bits.

Esses valores escolhidos são arbitrários, mas a parte útil é que eles são usados ​​consistentemente para medir todos os sensores da mesma maneira. Isso significa que, enquanto você olha apenas para um único valor, é capaz de comparar maçãs com maçãs. Qual a comparação entre o sensor A e o sensor B, para um ponto de dados específico. É uma comparação útil porque todos os sensores tendem a ter um desempenho melhor em ISOs mais baixos, e todos tendem a ter desistências semelhantes à medida que você aumenta o ISO, etc. Mas você está realmente confiando nesse desempenho semelhante em todos os sensores para que isso seja útil comparação de uso geral.

Medidas

Se você for para a seção "Medidas" da comparação, começará a ver algumas comparações mais úteis. Muitos dados, em várias condições diferentes. É aí que você pode (meio que) começar a responder perguntas como "Quanto menos ruído ISO eu obteria da câmera A versus a câmera B, na ISO6400?". Ou, se você já sabe que está bem com sua câmera atual até ISO 1600, pode usar o SNR para sua câmera na ISO 1600 como linha de base para comparar outras câmeras (nesse caso, haverá uma quantidade semelhante de ruído de imagem em um 1DX em ISO 3200, como em um D3300 em ISO 1600). Bem, mesmo isso não é bem verdade, já que os dados do SNR são para 18% de cinza!

A comparação do desempenho entre dispositivos complexos, com muitas dimensões / graus de liberdade, é um problema inerentemente muito difícil. É possível comparar testes individuais muito bem, mas o problema é encontrar testes generalizáveis ​​que retratam rápida e facilmente o desempenho relativo ou absoluto. Eu acho que as "Pontuações de casos de uso" alcançam isso, em grande parte, mas apenas porque a tecnologia da maioria dos sensores é bastante semelhante, permitindo fazer generalizações como a acima, sobre o 1DX ser "uma parada melhor" para ruídos com pouca luz . (Imagine se o ruído do sensor não fosse uma função simples da ISO para todos os sensores!)

Lembre-se também de que um sensor supera outro não é necessariamente útil . O desempenho ISO (SNR 18%) de uma D3300 e uma 1DX é essencialmente irrelevante ao gravar um JPEG de uma cena brilhante da luz do dia. Mais úteis serão coisas como a faixa dinâmica (para detalhes de sombra / destaque com sombras severas). E mesmo assim, ao fotografar em JPEG, você não obterá muito mais com um intervalo dinâmico maior (há um pouco de compactação de tom para formar o JPEG, mas ambos ainda são capazes de ultrapassar o intervalo dinâmico de 8 bits de um JPEG). Para repetir a analogia do carro, é como comparar a velocidade máxima e a aceleração entre os carros para o deslocamento na cidade. Você nunca alcançará os limites de qualquer carro 'rápido', portanto é irrelevante para essa aplicação. Você realmente precisa ter uma boa noção da aplicação específica se quiser comparar dois sensores de maneira significativa e é aí que deseja saber:

1. As medições reais, para comparação (não apenas as pontuações gerais)
2. Quais medidas são úteis para a aplicação
3. Qual é o limite de utilidade para uma determinada medida de desempenho

Sumário

A Pontuação geral é bastante inútil, exceto como um guia realmente geral para ponderar os casos de uso de alguém (não necessariamente o seu!) S.

As pontuações de casos de uso são guias muito melhores para algumas tendências gerais de desempenho entre diferentes sensores.

As medidas permitem que você faça suas próprias comparações, se você souber o que comparar, e tenha um aplicativo em mente. Também é importante saber quanto é "suficiente" ou quando você obtém "retornos decrescentes" para qualquer aplicativo.

A menos que você realmente entenda eletrônica, óptica, física ... os números absolutos provavelmente não têm sentido algum.

Confio no DXoMark até onde posso jogá-los e não sou particularmente bom em arremessar. Eles são uma fonte interessante de informações sobre as condições do laboratório e, ocasionalmente, podem ser úteis ao comparar câmeras do mesmo fabricante, mas existem muitas variáveis ​​nos testes que partem das condições do mundo real para torná-las geralmente úteis na comparação de câmeras, particularmente de diferentes fabricantes.

Assim como qualquer outro site de revisão de câmeras, o desempenho no mundo real é sempre mais importante que as condições do laboratório. Se você souber ler as informações e descobrir o que é e o que não é relevante para o mundo real, poderá extrair alguns dados significativos do DxOMark, mas, na minha experiência, é melhor levá-los com um grande grão de sal.