Por que os sensores da câmera digital não podem expor cada photosite individualmente?

Por que é impossível que os sensores da câmera funcionem da maneira que o olho humano pode? O que quero dizer é: por que uma certa porção da imagem precisa ser superexposta / subexposta se compensamos as áreas escuras e claras, respectivamente, ao tirar uma foto e decidir sobre as configurações de abertura e velocidade do obturador.

Entendo que a entrada de luz depende da abertura e da velocidade do obturador, mas como as DSLRs são digitais, não pode haver uma tecnologia que permita a cada célula sensor usar sua própria medição e, portanto, elas não seriam submetidas à mesma quantidade de luz, mas dependendo da medição, uma CPU da câmera desligaria certas células para não as expor demais.

Espero não estar dizendo bobagem. Com certeza me parece uma idéia plausível.

Quem decide quais pixels recebem quanto ganho? Muito do que se passa no sistema visual humano acontece no córtex, não no olho, e depende do que achamos importante ver, com base em uma combinação de decisão intelectual e no impulso instintivo (de certa forma anulado) de autopreservação . Embora seja verdade em um sentido que vemos o que está lá, é igualmente verdade em outro sentido que vemos o que queremos (ou precisamos) ver.

Seria quaseÉ trivial criar um sensor de densidade de pixel relativamente baixo com grandes photosites que permitem uma enorme faixa dinâmica e (assumindo uma tecnologia do tipo CCD, já que a tecnologia atual do sensor CMOS não pode funcionar dessa maneira) um obturador eletrônico por pixel, além de o obturador mecânico. Então, o que isso faria com você? Uma imagem plana com muita profundidade de bits e muito baixo contraste local (se toda a profundidade de bits for convertida como é para exibição ou impressão) juntamente com um número de pixels que são quase, mas não completamente, cortados pela saturação do sensor ( de fato, eles são cortados pela ação limitadora do obturador eletrônico imediatamente antes do ponto de saturação). Digamos, por uma questão de argumento, que esse sensor e seu computador associado podem gravar os dados de recorte (a razão pela qual ele parou de gravar naquele sensor, que pode ser tão simples quanto registrar a duração real da exposição naquele site). Isso permitiria que os eletrônicos da câmera reconstruíssem quais seriam os números se o photosite pudesse permanecer no jogo até o apito final. Então agora temos uma imagem ainda mais plana com maior profundidade de bits. E onde você desenha a linha? 32 bits? 64?

Agora vem a parte difícil - transformar esses dados de imagem planos e de alto alcance dinâmico em uma fotografia atraente. A abordagem mais simples é pegar os oito bits (ou qualquer que seja a profundidade do bit de saída) que representam a imagem medida primária e jogar fora o resto. Provavelmente não seria muito mais difícil ajustar os dados a uma curva S, comprimindo as sombras e / ou os realces extremos - o que é mais ou menos o que as configurações da faixa dinâmica estendida nas câmeras mais recentes já fazem. Porém, existem apenas tantos bits de saída disponíveis por pixel, e a maioria dos valores de destaque estendidos será arredondada para branco (ou pelo menos uma mistura 254 e 255). Então você ganhou muito pouco complicando dramaticamente o sistema.

Mas ainda existe uma opção em aberto - mapeamento de área seletiva. Por que não trazer o céu, digamos, ou apenas as nuvens naquele céu, para baixo, para que ele possa reter os detalhes, preservando o contraste desejado em primeiro plano? É aqui que vive o difícil problema. O que é importante? A câmera deve decidir por você? Se a câmera decidir, temos um grande avanço em visão de máquina e inteligência artificial para dar a volta primeiro. Caso contrário, você realmente deseja tomar esse nível de decisão pós-captura para cada foto que tirar? Sim, eu sei que haverá algumas fototecnologias que realmente querem ser práticas, mas podemos aceitar que é uma condição patológica e que profissionais interessados ​​no tempo de resposta e na grande maioria dos consumidores não são gosta disso?

Portanto, você precisa de um novo sensor, componentes eletrônicos muito mais complicados ao redor do sensor, um enorme arquivo de imagem para dados brutos projetados (que exige cartões maiores e tempos de gravação mais longos / taxas de quadros mais lentas), tudo para coletar dados que serão descartados mais ocasionalmente, para que você possa capturar imagens HDR de uma só vez que exijam muita intervenção humana na publicação (ou um grande salto no MV / AI). Você provavelmente poderia vender alguns deles, mas eu esperaria que o mercado se parecesse muito mais com o mercado de médio formato do que o mercado de 35 mm / APS-C existente. Ou seja, você venderia para um grupo seleto de fotógrafos de alto nível que, na verdade, precisam dos recursos por razões profissionais ou para cumprir sua visão de belas artes, e alguns que apenas recebem uma injeção grande o suficiente do pós-processamento para pagar o imposto sobre tecnologia.

Há uma coisa que poucas pessoas mencionam e é que uma cena não teria a mesma aparência se áreas diferentes fossem expostas de maneira diferente a outras áreas. Uma cena tem a aparência que tem porque há variação. Sim, pode ser uma maneira de salvar realces e aumentar as sombras, mas no final, o que você realmente deseja é uma faixa dinâmica maior que possa capturar a faixa dinâmica na cena usando uma configuração de exposição.

Nossos olhos são ótimos em fornecer uma faixa dinâmica muito maior do que a atual tecnologia de câmeras de consumidor. Posso olhar em volta rapidamente e perceber detalhes precisos em áreas sombreadas e áreas iluminadas pelo sol ao mesmo tempo.

Uma das maneiras pelas quais os fabricantes de câmeras estão contornando esse problema é usar pixels de alta e baixa sensibilidade em um sensor e combinar o resultado por pixel. As câmeras de cinema digital mais recentes da RED têm uma matriz de pixels de sensor de sensibilidade normal e de baixa sensibilidade chamados HDRx. Os pequenos pixels do sensor de baixa sensibilidade são combinados nos destaques dos pixels brilhantes para aumentar o alcance dinâmico.

Primeiro, o alcance dinâmico do olho humano não é tão bom. Parece apenas ser melhor do que nossas câmeras atuais, porque nosso cérebro mescla constantemente "instantâneos" tirados usando diferentes configurações de exposição. Nossos olhos não conseguem registrar objetos extremamente brilhantes e extremamente escuros simultaneamente (mesmo que o cérebro possa). A verdadeira maravilha do processamento de imagens, mas apenas dispositivos medíocres de óptica / imagem.

Existem várias propostas / protótipos mostrando como a faixa dinâmica de sensores de imagem pode ser bastante aprimorada:

• Câmera Modulo do MIT

  cada fotodiodo redefine seu estado ao atingir a carga máxima e lembra quantas vezes isso aconteceu

• Sensor de Imagem Quanta de Eric Fossum

  usa pixels de contagem de fótons muito menores e mais rápidos em vez de contêineres de carga "analógicos" + conversores A / D

Está faltando alguma física básica aqui. O principal problema é que as cenas reais têm grandes proporções de contraste. Nossos olhos evoluíram para lidar com isso percebendo os níveis de luz logaritmicamente em vez de linearmente. Infelizmente, a atual tecnologia de sensores mede inerentemente a luz linearmente. Ou, mais precisamente, o ruído é fixo em uma escala de luz linear.

Com a tecnologia atual, o limite máximo de contraste é basicamente uma função do nível de ruído. Por uma questão de argumento, vamos usar uma escala de luz de 0-1000, o que significa que um sensor pode indicar o nível de luz de 0 a 1000. Qual é a taxa mais alta que ele pode medir? Depende do nível de ruído. O nível de ruído é basicamente o que você obtém, em vez do preto verdadeiro, que seria 0 neste exemplo. Aproximadamente, se o nível de ruído for 2, você obterá uma taxa de brilho de 1000: 2 = 500: 1. Contanto que a cena não exceda isso (quase todos, porém, na realidade 500: 1 não é muito), você pode fazer o mapeamento logarítmico desejado posteriormente.

Portanto, a estratégia atual, considerando que os sensores de corrente são inerentemente lineares, é tentar aumentar a relação sinal / ruído e fornecer bits suficientes para que o ruído de quantização fique abaixo do ruído aleatório inerente. Quanto menor o ruído do sensor, maiores as cenas de faixa dinâmica que você pode capturar sem cortar os destaques ou embaçar as sombras.

Existe uma tecnologia de sensor totalmente diferente que mede inerentemente o log do brilho. Às vezes, eles são chamados de sensores "CMOS", porque são muito parecidos com as RAMs dinâmicas do CMOS com a tampa removida (simplifico demais, mas o primeiro teste no laboratório foi realmente realizado dessa maneira). Você obtém uma voltagem proporcional ao log da luz, mas atualmente elas têm taxas de sinal / ruído muito mais baixas. A Mitsubishi foi a primeira a comercializar esses sensores, mas eles ainda não estão bons o suficiente para câmeras de ponta.

Sem dúvida, haverá avanços em várias frentes, e tenho certeza de que veremos um progresso constante nos próximos anos. No entanto, existem boas razões para que as coisas sejam como são agora, não apenas porque ninguém pode imaginar algo melhor. Se alguém tivesse uma tecnologia que pudesse medir uma ampla faixa dinâmica com precisão e a um preço pelo qual as pessoas estão dispostas a pagar, elas estariam por aí ficando ricas.

Eu acredito que é muito complicado.

Basicamente, haveria duas abordagens possíveis; cada fotossensor pode acompanhar o tempo e se desligar, ou a CPU pode acompanhar os dados dos fotossensores e desativá-los.

Para a primeira abordagem, isso significaria que cada fotossensor precisaria de um sinal de relógio e um contador, para que pudesse acompanhar quanto tempo levou até se desligar. São muito mais circuitos para caber no chip e muito mais eletricidade necessária para executá-lo, o que aumenta o ruído do sinal. Provavelmente tanto que o aumento da faixa dinâmica seria inútil.

Para a segunda abordagem, a CPU precisaria ler todos os dados do sensor aproximadamente uma vez a cada 1/10000 segundo. Isso é cerca de 1000 vezes mais rápido do que a tecnologia atual pode realizar, portanto, serão décadas no futuro, se possível.

Além disso, existem outras complicações com essa solução, como se cada pixel tivesse um tempo de exposição diferente. Você teria artefatos bem estranhos se fotografasse qualquer coisa que se mexesse.

Embora seja verdade que as DSLRs são digitais, as lentes não são. Todos os sensores de célula estarão sujeitos à mesma abertura, não importa o quão inteligente o corpo DSLR se torne, porque a abertura é definida na lente. Então, acho que variar a abertura por célula do sensor está fora, pelo menos com a tecnologia de lente atual.

No que diz respeito à velocidade do obturador, isso é controlado pela câmera, mas se imaginarmos uma câmera que possa variar a velocidade do obturador em diferentes partes da imagem para controlar a exposição acima / abaixo, você terá um desfoque de movimento irregular. As partes mais escuras da cena terão que ser expostas por mais tempo e ficarão mais desfocadas do que as partes mais brilhantes. Eu acho que uma solução que altera a velocidade do obturador não funcionará por esse motivo.

Então, a única coisa que resta é ISO. A variação do ISO significaria diferentes níveis de ruído em diferentes partes da imagem. Isso não parece muito ruim, considerando que você obteria uma faixa dinâmica muito maior em troca. Não sei muito sobre como os sensores funcionam, mas imagino que a configuração ISO seja implementada nos sensores como uma espécie de "ajuste" em direção a um subconjunto específico da escala de brilho. Parece-me que seria proibitivamente caro ter medição independente e controle ISO em cada célula do sensor, mas talvez a imagem possa ser dividida em áreas e cada área medida separadamente. Em seguida, a câmera terá que ter algum tipo de algoritmo para misturar as áreas expostas de maneira diferente, como o que "mistura" faz quando monta um panorama em que cada imagem tem uma exposição diferente. Isso parece factível para mim.

Outra opção seria ter uma câmera com vários sensores, cada um configurado com um ISO diferente. Na tecnologia de vídeo, existem 3 câmeras CCD, onde cada CCD grava uma em vermelho, verde e azul. Não vejo por que não poderia haver um conceito semelhante para DSLRs, onde vários sensores tiram a foto em diferentes níveis ISO, produzindo uma imagem HDR.

Não consigo encontrar as informações no momento, mas me lembro de ter lido uma descrição de uma tecnologia semelhante. A idéia era mais ou menos a seguinte: a única coisa que precisa ser cuidada são os destaques exagerados. Se você puder evitá-las, as áreas escuras podem ser tratadas com o aumento da exposição à imagem inteira. Portanto, para evitar realces exagerados, cada sensor registra sua luz acumulada e, se isso se aproximar do máximo, o sensor será desligado. Que, por si só, não melhoraria nada, na verdade pioraria as coisas, em vez de ter poucos destaques exagerados em branco brilhante, um acabaria com destaques ainda mais ligeiramente mais escuros. Portanto, em vez de apenas desligar, a célula também desligaria as células em alguns bairros, o que preservaria alguns detalhes em áreas claras.

Como escrevi, não consigo encontrar o texto agora, mas, de alguma forma, ele está associado às câmeras digitais HP.

Isso pode ser feito matematicamente (teoricamente): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf