É possível tirar uma única foto de um vídeo?

A idéia vem do fato de que em astronomia (amatorial), é comum gravar vídeos de um telescópio com uma webcam e convertê-los em uma única imagem menos barulhenta.

O princípio é o de sobreamostragem , também usado em eletrônicos para conversão de analógico para digital (que fotografia digital de alguma forma) para obter uma resolução de bits mais alta de um hardware menos preciso usando a média de mais amostras.

O que eu gostaria de fazer é uma foto noturna com uma câmera compacta, portanto, sem controle manual do tempo do obturador, grave um vídeo longo e processe-o, obtendo uma foto - esperançosamente - decente, para resolução e ruído.

Isso é possível? Alguém já tentou?

Uma alternativa poderia ser tirar várias fotos, que provavelmente terão um tempo de obturador muito curto e serão subexpostas e barulhentas, e usá-las para tirar uma foto decente. Isso funcionaria melhor?

Sim , é e existem várias maneiras de fazer isso.

O mais fácil que funciona com qualquer câmera (estática ou vídeo) é dividir o arquivo de vídeo em uma sequência de imagens estáticas usando um software como o ffmpeg. Depois, passe as imagens para o software Exposure Fusion . Embora não fosse a intenção principal, o Exposure Fusion funciona muito bem para misturar imagens, resultando em menor ruído, maior alcance dinâmico e maior profundidade de campo (dependendo dos pesos da fusão).

Se você quiser controles mais diretos, não será difícil carregar todas essas imagens como camadas em um software que suporte esse conceito como o Photoshop. Então, tudo que você precisa é definir o modo de mesclagem correto . Eu estou supondo que algo como Média faria isso.

Como o @Russell disse, isso também pode ser feito a partir de imagens usando a redução de ruído Multi-Frame. A Sony é grande nisso e a Fuji também em suas câmeras baseadas em CMOS (séries F e HS). Eles chamam de modo Pro com pouca luz . O @mattdm disse que a Pentax também o faz, mas de memória não me lembro qual.

Eu suspeito, mas não tentei, que você obteria resultados muito semelhantes usando o modo de exposição múltipla presente na maioria das ILCs Pentax, Nikon e Olympus (além da Canon 1D X e 5D Mark III). Isso geralmente é limitado a 2-9 imagens. Observe que você deve ativar o ganho automático na Nikon e Olympus e o ajuste automático de EV no Pentax para que isso se misture em vez de adicionar exposições.

Se você deseja fazer sua própria redução de ruído de vários quadros, deseja usar uma exposição adequada, não imagens subexpostas. Isso ocorre porque o ruído é muito maior nas áreas escuras das imagens. Obviamente, se a cena estiver muito escura para ser exposta corretamente, você precisará trabalhar com o que conseguir. A adição de várias imagens para criar uma mais brilhante é chamada Empilhamento de imagens e é usada para Astrofotografia. Dado o contexto da sua pergunta, pode ser o que você estava procurando.

Sim é possivel.

Meu Sony A77 e vários DSLRs recentes da Sony têm uma mini versão disso.

Eles têm um "modo de redução de ruído de quadro múltiplo" (MFNR), que tira 6 fotos sequencialmente e as combina. O resultado na redução de ruído em situações de alto ISO / pouca luz é muito significativo.

Algumas imagens comparativas aqui .

É realmente de maior valor em ISOs altos que permitem o uso manual quando um tripé pode ser necessário. Acabei de experimentar algumas fotos ISO de 6400 na minha sala de jantar com um encaixe fluorescente que a ilumina por cerca de 4 metros atrás de mim. Uma única exposição ISO de 6400 produziu uma bagunça contorcida. Os livros sobre a mesa eram tão barulhentos que eu não conseguia ler o título em suas espinhas. No modo MFNR, a imagem era barulhenta, mas tolerável e os livros lidos claramente legíveis. O resultado final foi notavelmente pior do que um D700 produziria em uma única foto ISO 6400.

No ISO baixo, é provável que os ganhos não valham a perda de definição que é suscetível de ocorrer. Muitas opiniões e fotos de teste na web.

Uma coisa que logo se torna óbvia é que eles NÃO estão apenas calculando a média dos quadros. Uma foto ISO alta, por exemplo, de um outdoor iluminado por farol à noite, produzirá uma imagem suficientemente clara do quadro de avisos e uma melhoria nas áreas de baixa luminosidade. Em alguns testes recentes, parece que o segundo quadro PODE ser usado como quadro de referência para melhorar quando a cena está mudando rapidamente, mas isso pode ser resultado das circunstâncias do teste. Tudo o que está sendo feito aplica alguma inteligência e funciona melhor do que eu esperava. Mas não tão bem quanto um D700 :-).

Portanto, em resposta à sua pergunta, o método funciona em princípio geral.
Se o assunto for relativamente estático, é melhor usar uma câmera com uma taxa de quadros tão rápida quanto possível para melhorar os megapixels. As câmeras de fundo com recursos de vídeo terão pequenos sensores e geralmente obtêm uma impressionante visão de baixa luminosidade diminuindo a velocidade do obturador. Em algumas câmeras com pouca luz, a taxa de quadros é mantida, mas o conteúdo real da imagem pode mudar em, por exemplo, 3 Hz para obter carga suficiente por imagem. Nesses casos, o uso do sensor principal na configuração de resolução mais baixa pode ser melhor. Ou compre um Sony A33 :-).

Muitos anos atrás, eu trabalhava em um estúdio de animação e desenvolvi um software de captura de stop motion para eles que usava essa técnica para melhorar drasticamente a qualidade dos quadros de animação. A câmera era apenas uma pequena câmera de vídeo de definição padrão do tipo usado para segurança e monitoramento, conectada a um PC equipado com uma placa de captura de vídeo (note que isso foi anos antes da existência de DSLRs). Quando o animador instruía o software a tirar um quadro, eu capturava um pequeno vídeo não compactado da cena, depois o dividia em quadros individuais e fazia uma média simples de todos esses quadros pixel por pixel, para chegar a uma única imagem combinada. A diferença de qualidade era como noite e dia.

Você pode fazer isso usando uma câmera de vídeo comum:

• monte a câmera em um tripé, defina uma exposição fixa e grave uma cena estática.

• Para dividir o vídeo em quadros individuais, você pode usar o ffmpeg (gratuito) ou, se tiver um editor de vídeo, é possível que ele também faça isso. Se for dada a opção, use um formato de imagem não compactado para as fotos individuais, pois as imagens já são compactadas do vídeo, portanto, não é necessário degradá-las ainda mais. TIFF é uma boa opção para o formato. JPEG seria o único a evitar, se possível.

• Para combinar as imagens, você pode usar o Photoshop, GIMP, Paint Shop Pro ou qualquer outro aplicativo de edição de fotos que suporte camadas com opacidade. Comece carregando suas fotos como camadas de uma única imagem. É difícil definir a opacidade certa para fazer a média. Se você tiver apenas duas camadas, a opacidade deve ser definida como 100% na camada inferior e 50% na camada superior. Para três imagens, use 100%, 50% e 33%, de baixo para cima. Para quatro, seria 100%, 50%, 33% e 25%. Tenho certeza que você já entendeu a idéia. A fórmula geral para a opacidade da enésima camada é 100/N. Infelizmente, esse método não pode ser usado para muitas fotos, devido à resolução limitada do controle deslizante de opacidade, que possui apenas 100 configurações. Também consome tempo para configurar as camadas.

• Uma solução melhor para a etapa média seria escrever um pequeno script para executar a operação. Parece que alguém já teve a ideia .

Eu espero que isso ajude!