Uma configuração de “exposição universal” poderia ser praticamente possível?

Não tenho certeza de quão inculta esta pergunta é, mas estou interessado em aprender, por isso desde já agradeço sua indulgência.

O filme muda fisicamente ao longo do período em que é exposto. Um sensor digital, no entanto, não; está apenas lendo dados. Existe algum motivo para a câmera não "lembrar" quais eram as leituras dos sensores em todos os pontos de exposição? São apenas dados. Pode haver muitos dados, mas há momentos em que alguém pode querer fazer isso, não? Dando muito mais flexibilidade no pós-processamento.

Se o armazenamento de dados não foi um problema, existe alguma razão para que essa não seja a norma, pelo menos para a fotografia profissional e artística?

Um sensor digital não é realmente melhor descrito como "leitura de dados". Uma maneira muito melhor de descrevê-lo é "coletar fótons" que são convertidos em dados medindo as cargas elétricas microscópicas que eles produzem quando o período de coleta termina . Eles não têm a capacidade de registrar continuamente o estado de mudança de cada pixel, assim como coletam luz. E, dependendo de quão pouca ou quanta luz esteja caindo no sensor, pode levar um longo tempo até que fótons suficientes atinjam o sensor antes que algo mais do que dados aleatórios sejam gerados. Por outro lado, com muita luz, às vezes todos os poços de pixel podem se encher tão rápido que qualquer fóton adicional que cai no sensor é perdido.

No primeiro cenário, não são coletados fótons suficientes para criar um padrão discernível através do "ruído" gerado pela energia que flui através do sensor que é usado para coletar as tensões criadas pelos fótons que caem nos poços de pixel. Portanto, nenhuma informação utilizável é coletada. Sua foto inteira está escura com pontos aleatórios de cor e luz.

No segundo cenário, são coletados tantos fótons que todos os pixels são lidos no mesmo valor máximo, chamado saturação total, e como cada pixel da imagem tem o mesmo valor, nenhuma informação utilizável foi preservada. Sua foto inteira é de um branco sólido e brilhante.

Somente quando fótons suficientes atingem um sensor é que as áreas com mais fótons por unidade de tempo têm um valor de leitura mais alto do que as áreas com menos fótons atingindo-os por unidade de tempo. Somente então o sensor coletou informações significativas que podem diferenciar áreas de brilho variável.

Imagine montar vários baldes de água no seu quintal para coletar pingos de chuva. Imagine que todos eles tenham um pouco de água, mas você o despeja antes de colocá-los. Alguns são colocados sob os beirais do telhado da sua casa. Alguns são colocados sob grandes árvores no seu quintal. Alguns são colocados ao ar livre. Alguns são colocados sob a bica que despeja a água de suas calhas no quintal. Então começa a chover.

Digamos que chove apenas por um período muito curto: 15 segundos. Existem algumas gotas de água em cada balde. Mas não há água suficiente em cada balde para saber se cada balde pode ter caído mais água da chuva ou se ainda há mais algumas gotas no balde quando você jogou a água fora antes de colocá-los no quintal. Como você não possui dados suficientes para determinar quanta chuva caiu em quais partes do quintal, você despeja todos os baldes e espera que chova novamente.

Desta vez chove por vários dias. Quando pára de chover, todo balde no quintal está transbordando. Embora você tenha certeza de que alguns baldes foram cheios mais rapidamente do que outros, você não tem como saber quais baldes foram cheios mais rapidamente e quais foram os últimos a serem enchidos. Então você precisa despejar os baldes novamente e esperar por mais chuva.

Na sua terceira tentativa, chove por três horas e depois pára de chover. Você sai para o quintal e inspeciona seus baldes. Alguns estão quase cheios! Alguns quase não têm água! A maioria tem quantidades variáveis ​​de água entre os dois extremos. Agora você pode usar a localização de cada balde para determinar quanta chuva caiu em cada área do seu quintal.

A razão pela qual alteramos a exposição nas câmeras digitais é tentar coletar luz suficiente para que as áreas mais brilhantes estejam quase, mas não completamente, saturadas.Idealmente, isso ocorre com a câmera na sensibilidade ISO básica. Às vezes, porém, não há luz suficiente para fazer isso. Mesmo na maior abertura disponível, não podemos coletar luz suficiente no período mais longo que ousamos deixar o obturador aberto (devido ao movimento de nossos objetos). O que fazemos neste caso é ajustar a configuração ISO em nossa câmera para que todos os valores que saem do sensor sejam multiplicados por um fator que leva os valores mais altos a um ponto em que eles estão quase, mas não completamente saturados. Infelizmente, quando amplificamos o sinal (as tensões criadas pelos fótons que aterram nos poços de pixels) também amplificamos o ruído (as tensões irregulares aleatórias produzidas pela corrente usada para coletar as tensões de cada poço de pixel). Isso resulta em uma menor relação sinal / ruído o que diminui a quantidade de detalhes que podemos criar a partir dos dados que coletamos do sensor.

Existem outras limitações técnicas que impedem as câmeras de manter um "total de funcionamento" do número de fótons coletados em vários intervalos enquanto o obturador está aberto. Jogue dinheiro suficiente no problema e algumas dessas limitações podem ser superadas, pelo menos parcialmente. Mas ou as leis da física precisariam mudar ou precisamos mudar completamente a maneira como os sensores contam fótons antes que outras dessas limitações pudessem ser superadas. Eventualmente, a tecnologia em alguns ou em todos esses dispositivos pode substituir a maneira como capturamos atualmente imagens de alta qualidade, mas ainda não estamos nem aí.

Já temos um pouco da tecnologia para isso. Nosso termo para lembrar as leituras do sensor em cada ponto de exposição é "vídeo", e o que você está pedindo é a reconstrução de uma imagem estática ideal a partir de vários quadros de vídeo.

Para obter uma visão geral do trabalho da Microsoft Research sobre isso, comece aqui: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Para obter um exemplo disponível, consulte o aplicativo Synthcam, que pode ser usado para reduzir o ruído com pouca luz, combinando quadros de vídeo tirados com uma câmera do telefone: https://sites.google.com/site/marclevoy/

Isso está muito longe de ser prático para a fotografia cotidiana, mas é possível que as câmeras futuras gravem muitos quadros de vídeo de alta definição e alta taxa de quadros, permitindo ao fotógrafo alcançar o resultado desejado selecionando e combinando posteriormente.

Atualização no final de 2016: quando escrevi a resposta original, isso era algo do mercado. No final de 2016, parece muito mais próximo. O aplicativo "See In The Dark" de Marc Levoy integra vários quadros de vídeo com estabilização em um smartphone para produzir imagens utilizáveis ​​ao luar. Veja também a câmera Light L16 , que integra vários pequenos sensores em uma única imagem.

A pergunta original é baseada em suposições incorretas (sobre o sensor digital não mudar de estado durante a exposição), mas o conceito está relacionado à idéia do Quanta Image Sensor (QIS) pesquisada por Eric Fossum .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

O QIS é uma mudança revolucionária na maneira como coletamos imagens em uma câmera que está sendo inventada em Dartmouth. No QIS, o objetivo é contar todos os fótons que atingem o sensor de imagem e fornecer uma resolução de 1 bilhão ou mais de fotoelementos especializados (chamados de jots) por sensor, e ler os planos de bit de jot centenas ou milhares de vezes por segundo resultantes em terabits / s de dados.

Esse dispositivo (citando a pergunta)

"lembrar" quais eram as leituras dos sensores em todos os pontos de exposição

e, com o conjunto completo de dados, poderíamos, por exemplo, "alterar" o tempo efetivo de exposição após a captura da "fotografia".

Hoje, isso pode ser aproximado gravando um vídeo e combinando quadros no pós-processo para simular tempos de exposição mais longos (limitados pelo desempenho da câmera, resolução do modo de vídeo e velocidade do obturador, mas mostra a ideia)

Se o QIS funcionar como prometido, também introduziria outros recursos interessantes, como melhor desempenho com pouca luz, maior faixa dinâmica, sem alias, sensibilidade completamente personalizável (por exemplo, semelhante a filme), sem configurações ISO, resolução ajustável versus ruído

Anúncio recente: http://phys.org/news/2015-09-breakthrough-photography.html

O filme muda fisicamente ao longo do período em que é exposto. Um sensor digital, no entanto, não; está apenas lendo dados.

Isso realmente depende do tipo de sensor. Os tipos de sensores CMOS usados ​​nas DSLRs de hoje acumulam uma carga elétrica em cada pixel ao longo do tempo, de modo que, de fato, mudam ao longo do tempo, da mesma forma que o filme. Se não funcionassem dessa maneira, a imagem existiria apenas enquanto o obturador estivesse aberto. Os sensores CCD (a outra tecnologia comum para sensores de imagem em câmeras) também funcionam dessa maneira, acumulando luz ao longo do tempo.

Existe algum motivo para a câmera não "lembrar" quais eram as leituras dos sensores em todos os pontos de exposição?

É exatamente o que a câmera faz quando grava uma imagem. Acho que o que você quer dizer é que, se o sensor puder ler a intensidade instantânea da luz, você poderá ajustar a exposição após o fato para o valor que desejar. Como explicado acima, não é assim que a maioria dos sensores de imagem funciona. Por outro lado, nós pode e muitas vezes não ajustar a exposição um pouco no pós-processamento.

Se o armazenamento de dados não foi um problema, existe alguma razão para que essa não seja a norma, pelo menos para a fotografia profissional e artística?

Tanto quanto "lembrar" os dados do sensor, é a norma para muitos fotógrafos. A maioria das câmeras permite gravar imagens no formato "RAW", e esses são praticamente os dados lidos no sensor, além de um pouco mais de dados sobre as configurações da câmera na época. As imagens RAW ocupam muito mais espaço do que outros formatos como JPEG, mas oferecem ao fotógrafo a liberdade de reinterpretar os dados posteriormente, para que você possa alterar facilmente configurações como temperatura de cor e balanço de branco no pós-processamento.

Outros já explicaram por que isso não funcionará, tecnicamente. Quero falar sobre por que não funcionaria praticamente .

Se o armazenamento de dados não foi um problema, existe alguma razão para que essa não seja a norma, pelo menos para a fotografia profissional e artística?

Considere a magnitude das diferentes condições de iluminação das quais podemos querer tirar fotografias. Mesmo ignorando extremos como a astrofotografia (onde você costuma fotografar pequenas manchas de luz cercadas por quase preto total), você ainda tem fotografias terrestres noturnas ou noturnas e paisagens de inverno cobertas de neve com muita luz. Vou usar os dois últimos como exemplos.

Além disso, vou assumir que, para recriar com precisão qualquer exposição desejada, precisamos expor o sensor ao ponto de saturação total.

Além disso, vou assumir que podemos ler os valores do sensor de maneira não destrutiva. (Esse é provavelmente um daqueles problemas que se enquadram na categoria "jogue dinheiro suficiente no problema e pode ser solucionável".)

No caso da fotografia noturna, precisaríamos expor o sensor por um tempo muito longo para saturar todos os pixels, o que significa que qualquer foto, não importa o que realmente desejamos , será demorada absurdamente . A imagem turística clássica de dançarinos em um bar ao ar livre torna-se quase impossível porque, bem, você pode conseguir alguns deles durante uma noite inteira. Não é bom. Portanto, não podemos expor à saturação, pelo menos não indiscriminadamente. (Expor uma porcentagem de pixels saturados é igualmente inútil, mas por razões diferentes; tente obter a exposição exatamente correta ao tirar uma foto de uma lareira com um fogo aceso. Isso é quase impossível; não importa o quanto você tente, alguns os pixels serão exagerados ou grandes partes da imagem ficarão subexposta terrivelmente.)

Ao fotografar uma paisagem coberta de neve com muita luz, como uma vista de inverno durante o dia, quando o sol está saindo, a exposição que o sistema de exposição automática da câmera visa ("18% cinza") é extremamente inadequada. É por isso que você costuma ver fotos de neve escura e onde a neve parece mais cinza claro do que branco. Por esse motivo, geralmente usamos uma configuração de compensação de exposição positiva que resulta na exposição da neve como um branco quase saturado. No entanto, isso significa que não podemos confiar no sistema AE da câmera para determinar quando finalizar a exposição: se o fizermos, essas imagens serão invariavelmente subexpostas .

Em outras palavras, a exposição à saturação total é impraticável em muitos casos, e a exposição para alegrar o sistema de EA é inadequada em muitos casos. Isso significa que o fotógrafo ainda terá que fazer algum tipo de escolha e, nesse ponto, estamos pelo menos igualmente bem com o que temos e os fotógrafos estão acostumados, melhorando os sistemas de EA e facilitando o fotógrafo ( mais fácil?) acesso às configurações de compensação de exposição. Ao aumentar a faixa dinâmica praticamente utilizável do sensor, podemos permitir (até) maior latitude nas alterações de exposição no pós-processamento; as SLRs digitais originais eram terrivelmente caras, mas realmente horríveis nesse aspecto, em comparação com os atuais modelos de nível básico.

Tudo isso pode ser feito totalmente dentro da estrutura do que já temos. Isso não quer dizer que melhorar drasticamente a faixa dinâmica utilizável do sensor seja fácil , mas provavelmente é muito mais fácil do que o que você está propondo, e é um problema que os fornecedores têm experiência trabalhando.

Profissionais, quase por definição, sabem como usar o equipamento de sua profissão. Não é realmente diferente se são fotógrafos ou pilotos de ônibus espaciais . Especialmente quando isso pode ser feito sem causar sobrecarga de informações, geralmente é melhor dar ao usuário controle total do equipamento profissional. Na minha opinião, as DSLRs atuais de ponta são muito boas em atingir o ponto ideal.

Vamos simplificar o problema para entender por que sempre teremos que fazer compromissos.

Vamos inventar a câmera que você deseja, mas com apenas um pixel monocromático. Ele precisa ser capaz de receber e notificar com segurança o processador da recepção de um único fóton. Ele também precisa ser capaz de receber e notificar o processador da recepção de, praticamente falando, incontáveis ​​fótons infinitos.

O primeiro caso em uma situação em que não há luz. O segundo no caso de até uma quantidade moderada de luz.

A questão principal é que simplesmente não temos a tecnologia para criar um sensor com uma faixa dinâmica tão ampla. Sempre teremos que comprometer, e agora estamos comprometendo, selecionando uma faixa mais alta em que o sensor possa aceitar fótons quase infinitos e nos dê uma leitura que sugere uma quantidade relativa de luz atingindo o sensor. Ele não conta, mas age como nossos olhos - eles meramente produzem uma quantidade relativa à quantidade de fótons que os atingem, sem tentar contar fótons.

Isso é ainda mais complicado pelo fato de isso ser coletado ao longo do tempo.

Um sensor ideal seria mais como um contador geiger - medindo o tempo entre os fótons para nos dar uma medição quase instantânea da quantidade de luz que cai no sensor, assumindo que os fótons sejam espaçados de maneira relativamente uniforme (o que não é verdade, mas é uma suposição conveniente e por que os contadores geiger têm uma média ao longo do tempo, assim como as câmeras).

Sensores quânticos teriam essencialmente o mesmo problema. Claro, eles podem sentir um fóton individual, mas em algum momento eles estão chegando rápido o suficiente para que você simplesmente não possa medir o tempo entre eles, ou mesmo contar quantos estão chegando por período de exposição.

Portanto, temos esse compromisso que exige que capturemos várias imagens de várias exposições ou adicionemos várias imagens da mesma alta exposição para provocar as áreas de pouca luz ou divida a luz recebida em dois ou mais caminhos com sensores diferentes de dinâmica dinâmica alcance ou construa sensores que podem agrupar pixels ou empilhar sensores de luz, ou, ou, ou - existem literalmente milhares de maneiras pelas quais os fotógrafos superaram esse problema básico ao longo das décadas com uma ampla variedade de mídias.

É uma limitação da física que provavelmente não será superada. Nós nunca teremos uma câmera * sem nenhuma contribuição do fotógrafo que permita que todas as decisões sejam tomadas no pós-processamento.

* _{É claro que, se você alterar a definição de câmera, poderá ficar satisfeito com os resultados de outros processos, mas isso é amplamente subjetivo. A realidade é que, se você imagina uma cena com sua câmera, mostra a cena a uma pessoa e, em seguida, a imagem capturada, elas perceberão diferenças devido a diferenças inerentes entre os olhos, o sensor de imagem e o processo usado para imprimir. a imagem. A fotografia tem tanto a ver com interpretação e arte quanto com a captura de luz; portanto, um foco fanático na "câmera perfeita" provavelmente não é muito útil.}