Como eles coloriram filmes antigos em preto e branco?

Esta questão está no dsp.SE, pois estou interessado principalmente na parte de processamento do sinal.

Existe um filme indiano Mughal-e-Azam, que foi lançado em 1960 em preto e branco e que foi reproduzido em cores em 2004.

• Como eles coloriram cada pixel perfeitamente?
• Que técnica eles usaram para identificar o posicionamento das cores em cada pixel?

Veja uma das capturas de tela do filme:

Tenho uma foto em preto e branco de Einstein que quero colorir. Como é possível fazê-lo sem saber o que ele estava vestindo naquela época e qual era a cor real de suas roupas, fundo etc.

Não há como recuperar as informações de cores originais de uma foto em preto e branco; portanto, se Einstein (ou Waheeda Rehman) usava um suéter rosa ou verde (ou Dupatta) é de sua imaginação.

Historicamente, isso foi feito à mão , pintando sobre o filme. As primeiras técnicas digitais para automatizar o processo consistiram em "pintar" alguns pontos de cor em cada quadro, no centro de cada região uniformemente colorida, e usar algo como uma partição voronoi + alguns desfocamentos para obter um mapa de cores para cada quadro ( ver, por exemplo, a patente US 4606625).

Hoje, isso pode ser feito com relativa facilidade (embora manualmente) com o software de edição de vídeo, usando máscaras de vetor para indicar regiões de cores uniformes em alguns quadros-chave e interpolando entre eles. Em seguida, uma transformação de cor é aplicada a cada máscara. Veja em ação aqui .

As técnicas padrão de segmentação de imagem e rastreamento de região podem ser usadas para automatizar a tarefa de segmentação e a marcação de regiões em cada quadro-chave - por exemplo, propagando anotações manuais para pixels semelhantes / adjacentes no espaço / tempo ou detectando regiões com textura uniforme . A textura e a similaridade no nível de cinza podem ser usadas para propagar sinais de cores de uma imagem colorida para uma imagem em escala de cinza representando um assunto semelhante - nesse caso, o processo manual consiste apenas em encontrar uma imagem colorida de modelo - essa tarefa posterior pode ser automatizada usando o conteúdo- imagem baseado técnicas de recuperação .

Eu apenas li sobre isso, e já se passaram pelo menos 15 anos desde que vi algo impresso, mas entendo que existem vários algoritmos usados.

Primeiro, como afirmado, alguns filmes foram coloridos colorindo minuciosamente cada quadro à mão. (Os primeiros minutos de Gone with the Wind foram feitos dessa maneira, após a decisão de filmar o restante em cores.)

Depois disso, várias técnicas são usadas, todas baseadas no processamento de imagens de computador. A abordagem mais simples é dividir o filme em cenas individuais, cada uma em que a câmera não muda e, em seguida, um algoritmo de computador reconhece regiões de diferentes intensidades. Alguém no monitor de um computador observa os primeiros quadros da cena e define a cor de cada região; depois, o computador leva essa coloração pelo resto da cena, assumindo que as regiões identificadas não se transformarão tão rapidamente que a conexão com suas as cores atribuídas serão perdidas. Essa técnica geralmente se limita a colorir os principais atores e os antecedentes básicos, já que as cenas mudam muito rapidamente na maioria dos filmes,

Técnicas mais sofisticadas usam algoritmos de reconhecimento de imagem para reconhecer (por exemplo) uma pessoa, separar o plano de fundo do primeiro plano, etc. Em seguida, as cores podem ser atribuídas em uma base mais global e um certo grau de sombreamento pode ser realizado à medida que os atores se movem da sombra para a luz, etc. E, como esse esquema pode funcionar além de uma única cena, mais esforço pode ser feito para que um humano defina inicialmente as cores, para que uma paleta mais variada e vívida possa ser usada.

Eu suponho (embora nunca tenha lido) que a técnica semelhante à animação por computador agora pode ser usada, com base nas técnicas usadas para animar filmes de ação. Uma espécie de captura de movimento poderia ser usada no filme original e, em seguida, uma animação por computador da ação seria produzida. Com uma cuidadosa "mistura", os detalhes do filme original podem ser mantidos enquanto se usa as cores geradas pela animação.

A BBC descobriu o caminho decodificando pontos coloridos para restaurar um filme anteriormente colorido, no qual apenas a cópia em preto e branco está disponível. Eles são capazes de restaurar a cor de volta à cor original.

Fonte: http://www.youtube.com/watch?v=CjK-b4x9ZmQ