Por que as câmeras não suportam sistemas de arquivos registrados no diário?

como NTFS, HFS + ou ext4, para cartões SD? Afinal, o diário diminui a chance de perda de dados, o que seria importante para os fotógrafos. Perdi um cartão SD contendo talvez mil fotos quando em Bali - um lugar que não tenho chance de visitar antes ou depois.

Existem precauções que eu possa tomar antes de uma viagem na próxima vez? Formatar os cartões na câmera?

Estou certo ao entender que SDXC (exFAT) e Sony Memory Stick não oferecem mais confiabilidade do que cartões SD?

Vamos fazer uma pequena análise de custo-benefício:

1. Um sistema de arquivos com diário é mais complicado - isso significa maior tempo de desenvolvimento, mais bugs, mais consumo de energia da bateria, maior custo de produção etc.

2. o problema resolvido por um sistema de arquivos com registro em diário - dados de FS corrompidos, mas intactos - é tratado muito bem por ferramentas de recuperação de dados de terceiros.

3. O sistema de arquivos com registro em diário não resolve todos os problemas, você realmente precisa de bons backups - e não apenas que existem sistemas com backups embutidos (slots de cartão duplo), é um recurso usado para fazer com que os profissionais obtenham câmeras mais caras.

4. não há uma grande crise de confiabilidade dos cartões de memória, esses cartões são bastante confiáveis ​​e a falha é relativamente rara.

5. e, finalmente, não há um sistema de arquivos com diário suportado imediatamente no Windows e no Mac.

Portanto - se você fosse o gerente de produto responsável, aprovaria um projeto que 1. resolve um problema já resolvido (com ferramentas de terceiros) de maneira incompleta, 2. não é importante o suficiente para ser um ponto de venda e 3. fará com que uma parte significativa do mercado incapaz de usar a câmera (pelo menos sem a instalação de software adicional que eles não precisam com as marcas concorrentes)?

Os sistemas de arquivos registrados em diário garantem apenas a integridade do sistema de arquivos. Se um cartão realmente falha, ele falha com todo o sistema de arquivos. Agora, se você tiver algumas células de memória ruins, você usaria apenas a foto que ocupasse esse espaço e um sistema de arquivos com diário também não ajudaria. Em outras palavras, esta é a solução errada para o incidente que você descreve.

A solução real é a redundância, e é por isso que você encontrará ofertas sofisticadas da Nikon, Pentax e Canon, que oferecem dois slots para cartões de memória e a capacidade de gravar imagens nos dois cartões ao mesmo tempo. Isso fornece um backup instantâneo. Se essas câmeras não forem convenientes para você, você precisará encontrar outra maneira de fazer backups frequentes. Algumas pessoas fazem isso diariamente em um laptop, unidade portátil, disco óptico.

Embora eu ainda não tenha tentado isso e não tenha certeza de quão prático seja, você também pode usar um cartão ou dispositivo WiFi (somente SD / SDHC AFAIK) que envia automaticamente suas imagens à medida que são capturadas para outro dispositivo em rede, talvez um tablet ou algo com bom armazenamento.

Enquanto o SDXC vem no formato exFAT por padrão, você também pode formatá-lo no FAT32. A maioria das câmeras aceita os dois lados. A diferença de confiabilidade provavelmente é zero.

Até onde eu sei, todas as câmeras digitais produzidas para serem vendidas no mercado de varejo incorporam a regra de design do sistema de arquivos de câmeras (DCF) . Parte do padrão DCF é que o sistema de arquivos FAT deve ser usado por dispositivos compatíveis. Esse padrão foi adotado como o padrão de fato para armazenar arquivos de imagem e som digitais em dispositivos de memória pela indústria de câmeras digitais para garantir a interoperabilidade de uma marca para a seguinte.

Consulte /photo//a/46387/15871 para obter mais informações sobre o DCF.

Tudo se resume a resolver "existe um mercado?" e "quais são as barreiras à adoção?". Cada uma delas apresenta uma enorme barreira à adoção, mesmo que valha a pena.

O NTFS incorreria em custos de licenciamento, mesmo que exista uma biblioteca adequada para os processadores da câmera (o que não é garantido) e o suporte fora do Windows seria irregular. Embora o HFS + e o ext4 não tenham suporte nativo no Windows, eliminam grande parte da base de clientes em potencial. Portanto, não há mercado para eles.

Como você mencionou, o exFAT é exigido pelo padrão SCXD , para que você veja que o suporte para cartões maiores e mais rápidos aparece, mas não é tão simples assim, já que também há mais códigos para dar errado, e com sistemas incorporados como câmeras, você realmente não deseja enviar atualizações de firmware, portanto, espere que, enquanto as gravações em um cartão exFAT possam ser legíveis e no formato correto, ele não possa realmente usar nenhum dos recursos exFAT que possam oferecer proteção. Portanto, também existem barreiras significativas à adoção.

O modo de falha da maioria das placas é tão provável que seja o controlador quanto uma célula de memória; é muito trabalhoso (custo de fabricação) com pouco benefício.

O Sony MS (MemoryStick) ainda é memória flash SLC ou MLC, é apenas o controlador e a conexão física que diferem entre os sistemas. Sua melhor proteção na situação que você experimentou é levar consigo um pequeno dispositivo de backup portátil, eles são pequenos e relativamente baratos (e provavelmente incompatíveis com os sistemas de arquivos registrados no Journal).

Uma razão óbvia: porque um sistema de arquivos com registro em diário em uma câmera provavelmente não teria ajudado você (ou qualquer outra pessoa).

Como uma visão geral de alto nível, eis o que um sistema de arquivos de registro no diário faz: Antes de cada gravação nos metadados (ou dados, se também tiverem registro no diário de dados), primeiro escreva o que será alterado no diário. Somente quando tiver certeza de que está no disco, prossiga e escreva a alteração. Basicamente, isso significa que, se a energia for interrompida durante a gravação, você poderá recuperar o sistema de arquivos usando o diário - vá em frente e execute quaisquer ações no diário.

Isso é valioso em um PC de mesa, onde a energia pode se esgotar, ou o usuário pode pressionar o botão de reinicialização ou puxar o plugue, etc. Também é valioso, mas menos, em servidores (falta de energia) e laptops (botão de reinicialização) .

Uma câmera é alimentada por bateria. Ele possui um interruptor de desligamento, mas isso normalmente diz ao firmware para desligá-lo - não é uma desconexão física. Geralmente, não há um botão de redefinição ou, se houver, basicamente nunca é usado. Portanto, você não precisa de registro no diário, o firmware pode terminar a gravação. A única exceção seria se você removesse fisicamente a bateria. Talvez isso aconteça com uma fonte de alimentação externa, mas, além disso, uma câmera nunca deve sofrer um desligamento imundo.

Além disso, quase nenhum dispositivo flash realmente lida bem com falhas inesperadas de energia. Coloque-os no meio de uma realocação de setor (nivelamento de desgaste) e todas as apostas serão canceladas. Portanto, mesmo se você tivesse um sistema de arquivos com registro em diário, ainda assim não estaria seguro de falta de energia.

Um sistema de arquivos com registro em diário não protege você de:

• Erros no controlador do flash no cartão SD, etc.
• Erros no hardware do host SD da câmera
• Erros no código do sistema de arquivos na câmera
• Erros nos drivers SD do firmware
• Perda de setores na mídia
• Mau funcionamento do hardware (por exemplo, devido a raios cósmicos, descarga estática, ruído EM, água, ...)

De fato, um sistema de arquivos com registro em diário é mais complicado , então é mais provável que você tenha erros no sistema de arquivos. Ele amplifica as gravações, portanto, é mais provável que você bata nos erros do controlador flash ou do host SD. E você vai desgastar o flash um pouco mais cedo.

Os sistemas de arquivos registrados no diário são ruins para cartões SD (ou qualquer dispositivo NAND Flash).

As operações de gravação são caras para dispositivos NAND Flash e os sistemas de arquivos registrados no diário tendem a gravar mais do que os sistemas de arquivos não registrados no diário para as mesmas atividades.

Portanto, o cartão SD funcionará mais devagar e durará menos com um sistema de arquivos com diário.

O armazenamento baseado em FLASH, em sua essência, usa uma tecnologia chamada NAND FLASH. O NAND FLASH é legível e gravável, mas com várias rugas.

1. A unidade fundamental de leitura / gravação é uma "página", não um setor. Os dispositivos FLASH da geração 2007-2008 têm um tamanho de página de 2K, migrando para um tamanho de página de 4K na geração de 2009 e tamanhos de página de 16K foram observados nas gerações de 2011.

2. Você não pode escrever uma página a qualquer momento - antes de escrever nela, você deve primeiro apagá-la. Mas você não pode apagar uma única página de cada vez - você deve apagar um "bloco de apagamento" inteiro de (normalmente) 64 páginas consecutivas (128 KB ou 256 KB, dependendo da geração). E depois de apagar o bloco, você não pode escrever nas páginas em uma ordem arbitrária, você deve escrevê-las sequencialmente começando na primeira.

3. Os blocos tendem a se desgastar com o tempo. Após um certo número de ciclos de apagamento, um bloco "fica ruim" permanentemente, para que não retenha mais os dados de maneira confiável. As páginas também podem desenvolver erros de dados como resultado da atividade de gravação em outras páginas e até como resultado de leituras!

http://wiki.laptop.org/go/How_to_Damage_a_FLASH_Storage_Device

Editar: Vale ressaltar que os sistemas de arquivos registrados no diário não trarão vantagens significativas sobre os sistemas de arquivos não registrados no diário.

• Os sistemas de arquivos com registro em diário garantem contra corrupção após uma falha de energia?

Sistemas de arquivos diferentes requerem quantidade diferente de RAM em um sistema que os está usando. Um sistema que precisa gravar um arquivo em um sistema de arquivos FAT poderia, em teoria, conviver com um único buffer de 512 bytes, embora o desempenho seja bastante terrível. A expansão para dois ou três buffers de 512 bytes melhoraria enormemente as coisas. Ir além disso melhoraria um pouco mais as coisas e obter um ótimo desempenho de uma placa maior exigiria mais memória do que uma ótima, mas uma câmera que incluísse apenas buffers suficientes para obter eficiência ideal com placas menores ainda seria capaz de trabalhe com os maiores, mesmo que com menos eficiência.

Uma questão mais complicada é o fato de que os padrões de cartão de memória especificam que cada cartão se comporte como uma coleção numerada de setor de 512 bytes que pode ser lida e gravada independentemente em sequência arbitrária, mas não é assim que os dados são armazenados nos chips dentro do cartões. Os chips de memória usados ​​em um cartão de memória típico são divididos em páginas de 528 bytes; aqueles, por sua vez, são agrupados em blocos de 256 ou mais. Depois que uma página é escrita, ela não pode ser reescrita sem apagá-la e com todas as outras páginas em seu bloco. Em teoria, seria possível para um cartão SD atender a uma solicitação de gravação de um setor de 512 bytes, copiando para a RAM todos os dados em seu bloco, apagando o bloco e gravando o bloco inteiro novamente, mas com novos dados em um setor . Na prática, o desempenho seria terrível. Em vez de, escrever um setor fará com que o cartão SD escolha uma página em branco, escreva os dados junto com o número do setor e várias informações auxiliares (as páginas de razão são 528 bytes em vez de 512) e, de alguma forma, acompanhe esse local adequado para os dados. Quando as páginas em branco são escassas, o controlador identifica um bloco cujas páginas foram substituídas principalmente por páginas escritas mais recentemente, copia todas as páginas ainda atuais desse bloco para blocos em branco e apaga todo o bloco agora redundante . Toda essa lógica é tratada inteiramente pelo próprio cartão, sem qualquer intervenção da câmera. Quando as páginas em branco são escassas, o controlador identifica um bloco cujas páginas foram substituídas principalmente por páginas escritas mais recentemente, copia todas as páginas ainda atuais desse bloco para blocos em branco e apaga todo o bloco agora redundante . Toda essa lógica é tratada inteiramente pelo próprio cartão, sem qualquer intervenção da câmera. Quando as páginas em branco são escassas, o controlador identifica um bloco cujas páginas foram substituídas principalmente por páginas escritas mais recentemente, copia todas as páginas ainda atuais desse bloco para blocos em branco e apaga todo o bloco agora redundante . Toda essa lógica é tratada inteiramente pelo próprio cartão, sem qualquer intervenção da câmera.

Toda essa lógica significa que, além do FAT32 ou de outro sistema de arquivos visto pela câmera, o cartão SD precisará ter seu próprio sistema de alocação e gerenciamento de blocos. Qualquer problema que ocorra nesse sistema provavelmente causará perda de dados, independentemente do tipo de sistema em cima dele. Em teoria, muitos cartões de memória são projetados para garantir que, mesmo que a alimentação seja inesperadamente removida durante alguma operação, o cartão poderá reverter o estado do cartão para o que estava antes do início da operação ou executá-lo até a conclusão ( se todos os dados necessários tivessem sido gravados e o cartão estivesse simplesmente limpando dados redundantes). Infelizmente, os cartões diferem em quão bem eles implementam essa lógica. Se uma perda inesperada de energia obstruir as tabelas de gerenciamento de armazenamento de um cartão,

Pessoalmente, acho que seria melhor para o SD Consortium especificar um sistema de arquivos independente do FAT32 ou, no mínimo, especificar que, mesmo que um cartão tivesse que ser legível como um volume FAT32, ele deveria ser gravado usando comunicações baseadas em arquivo protocolo. Um cartão que sabe quais grupos de setores são membros de cada arquivo pode otimizar suas rotinas de desfragmentação e também pode proteger melhor a perda de dados do que um que tivesse que apresentar o disco como um monte de 512 bytes independentes. setores, mas para o bem ou para o mal não é assim que as coisas são especificadas.

Supondo que o cartão estava simplesmente corrompido e você não o jogou ou o substituiu, sugiro fortemente que você experimente o PhotoRec. (Isso me tirou de uma situação um pouco menos ruim há alguns meses. Ele até encontrou algumas imagens que sobreviveram sendo excluídas por um ano ou dois.)

http://www.cgsecurity.org/wiki/PhotoRec

Em relação a um diário com FS, tive a mesma pergunta muitas vezes. Como outros já disseram, a mídia flash atual é realmente frágil em comparação à mídia magnética, e o registro no diário é difícil. Como o padrão de uso das câmeras geralmente é tirar várias fotos, lê-las e excluí-las todas, não há muita necessidade de recursos avançados de FS. Implementações simples e testadas são provavelmente mais importantes que o benefício marginal do registro no diário. Como um benefício adicional, a estratégia de alocação muda do FAT facilita para ferramentas como o PhotoRec.

1, Deus não pode salvá-lo, se você perdeu o cartão fisicamente. Como assim, você perdeu um cartão em Bali?

2, FSs com registro em diário são criados para ocasiões como falha súbita do sistema operacional ou falha súbita de energia. Eles mantêm os meta-dados do FS consistentes, quando essas coisas ruins acontecem. Eles não ajudam se você deseja que seus arquivos excluídos voltem.

3, Bad-block é o problema mais vital dos armazenamentos baseados em NAND FLASH. Blocos ruins surgem quando ocorrem escritos. Portanto, ao escolher FS para um armazenamento NAND FLASH, a frequência de gravação é a primeira coisa que você deve considerar. Obviamente, como todos os outros disseram, os FSs com diário trazem mais coisas para escrever.

4, FSs registrados têm mais poder, é claro. Mais complicado, com certeza. Mas essas não são as razões dominantes de não adotá-las para o NAND FLASH, eu acho.

TADA ~~ É isso aí.

O sistema de arquivos em si não precisa ser complexo, porque as imagens são simplesmente gravadas no cartão, não há praticamente nenhuma edição feita em um arquivo após a criação inicial e não há preocupações simultâneas de E / S de arquivos que precisam ser preocupadas. na câmera

Os problemas de integridade de dados são realmente resolvidos no nível do hardware, porque TODA a memória flash é inerentemente instável. O controlador dentro do cartão SD faz muitos de seus próprios truques de verificação e armazenamento para garantir que os dados sejam válidos. Um sistema de arquivos com registro em diário não ajudaria nisso, pois lida com a integridade do armazenamento de dados, e não com a integridade das operações do arquivo.

Uma câmera usa operações de arquivo tão simples (e de alta velocidade), que um sistema de arquivos complexo incorreria em custos e complexidade adicionais, causando E / S mais lenta e potencialmente introduzindo erros adicionais que poderiam resultar em perda de dados devido ao manuseio de arquivos mais complexo. ganhando algo de útil para uma câmera.