Por que existe uma diferença tão grande entre "Tamanho" e "Tamanho em disco"?

Como você pode ver abaixo, há muita diferença entre os campos Tamanho e Tamanho no disco da minha pasta. Por que é que?

Eu sei que o tamanho do disco deve ser um pouco mais do que o tamanho por causa das unidades de alocação no Windows, mas por que tanta diferença? Poderia ser por causa do grande número de arquivos?

BTW, esta pasta está no cartão SD do meu telefone Android. Dentro disso, meu aplicativo de mapas armazena seus mapas em cache e o aplicativo obtém seu mapa do Google Maps.

^{Eu assumirei que você está usando o sistema de arquivos FAT / FAT32 aqui, já que você mencionou que este é um cartão SD. NTFS e exFAT se comportam de maneira semelhante em relação às unidades de alocação. Outros sistemas de arquivos podem ser diferentes, mas eles não são suportados no Windows de qualquer maneira.}

Se você possui muitos arquivos pequenos, isso certamente é possível. Considere isto:

• 50.000 arquivos.

• Tamanho do cluster de 32 kB (unidades de alocação), que é o máximo para o FAT32

Ok, agora o espaço mínimo ocupado é de 50.000 * 32.000 = 1,6 GB (usando prefixos SI, não binários, para simplificar a matemática). O espaço que cada arquivo ocupa no disco é sempre um múltiplo do tamanho da unidade de alocação - e aqui assumimos que cada arquivo é realmente pequeno o suficiente para caber em uma única unidade, com algum espaço (desperdiçado) sobrando.

Se cada arquivo tivesse uma média de 2 kB, você obteria cerca de 100 MB no total - mas também estará gastando 15x isso (30 kB por arquivo) em média devido ao tamanho da unidade de alocação.

Explicação detalhada

Por que isso acontece? Bem, o sistema de arquivos FAT32 precisa acompanhar onde cada arquivo está armazenado. Se fosse para manter uma lista de todos os bytes, a tabela (como um catálogo de endereços) aumentaria na mesma velocidade que os dados - e gastaria muito espaço. Então, o que eles fazem é usar "unidades de alocação", também conhecidas como "tamanho do cluster". O volume é dividido nessas unidades de alocação e, no que diz respeito ao sistema de arquivos, elas não podem ser subdivididas - esses são os menores blocos que podem ser endereçados. Muito parecido com o número da sua casa, mas o carteiro não se importa com quantos quartos você tem ou quem mora neles.

Então, o que acontece se você tiver um arquivo muito pequeno? Bem, o sistema de arquivos não se importa se o arquivo é 0 kB, 2 kB ou até 15 kB, ele oferece o mínimo de espaço possível - no exemplo acima, isso é 32 kB. Seu arquivo está usando apenas uma pequena quantidade desse espaço e o restante é basicamente desperdiçado, mas ainda pertence ao arquivo - como um quarto que você deixa desocupado.

Por que existem diferentes tamanhos de unidades de alocação? Bem, torna-se uma troca entre ter uma tabela maior (catálogo de endereços, por exemplo, dizer que John é dono de uma casa na 123 Fake Street, 124 Fake Street, 666 Satan Lane, etc.) ou mais espaço desperdiçado em cada unidade (casa). Se você tiver arquivos maiores, faz mais sentido usar unidades de alocação maiores - porque um arquivo não recebe uma nova unidade (interna) até que todas as outras estejam preenchidas. Se você tiver muitos arquivos pequenos, bem, você terá uma tabela grande (catálogo de endereços) de qualquer maneira, assim também poderá fornecer-lhes pequenas unidades (casas).

As grandes unidades de alocação, como regra geral, desperdiçarão muito espaço se você tiver muitos arquivos pequenos. Geralmente, não há um bom motivo para ultrapassar 4 kB para uso geral.

Fragmentação?

Quanto à fragmentação, a fragmentação não deve desperdiçar espaço dessa maneira. Arquivos grandes podem ser fragmentados, ou seja, divididos em várias unidades de alocação, mas cada unidade deve ser preenchida antes que a próxima seja iniciada. A desfragmentação pode economizar um pouco de espaço nas tabelas de alocação, mas esse não é o seu problema específico.

Soluções possíveis

Como o gladiator2345 sugeriu , suas únicas opções reais nesse momento são conviver com ele ou reformatar com unidades de alocação menores.

Seu cartão pode estar formatado em FAT16, que tem um limite menor no tamanho da tabela e, portanto, requer unidades de alocação muito maiores para endereçar um volume maior (com um limite superior de 2 GB com unidades de alocação de 32 kB). Fonte cortesia de Braiam . Se for esse o caso, você poderá formatar com segurança como FAT32 de qualquer maneira.

Essa é uma daquelas situações em que a compactação / arquivamento em um único arquivo pode ajudar. O que Bob disse em sua resposta é verdadeiro, mas a solução pode ser mais fácil do que reformar o disco, como sugerem outras respostas. Se você compactar ou arquivar o diretório (usando zip, tar ou qualquer outro método), o sistema de arquivos verá que você tem um único arquivo grande, em vez de vários menores. Mesmo sem compactar, você receberá quase 1,4 GiB de espaço, porque todos esses "arquivos pequenos" serão contados como um único arquivo grande.

Dentro disso, meu aplicativo de mapas armazena seus mapas em cache e o aplicativo obtém seu mapa do Google Maps

Talvez você deva discutir com o desenvolvedor o uso de um arquivo ou banco de dados em vez de vários arquivos. Isso provavelmente também ajudará a ter o disco menos fragmentado e certamente economizará espaço, especialmente se for uma unidade flash NAND. Se você explicar a situação ridícula em que 100 MB de carga útil / dados úteis se tornam 1.4GiB, há algo errado com a forma como os dados são armazenados, e os desenvolvedores devem trazer uma solução melhor.

Caso alguém seja confrontado com esse problema, pode ser útil saber também que outro motivo para ver grande diferença no tamanho / espaço do arquivo no disco é o uso de fluxos de dados alternativos (ADS)

Isso se aplica apenas ao NTFS ao meu conhecimento. Os ADS são conhecidos por usos legítimos e não legítimos:

• marcar um arquivo como baixado da Internet
• armazenar metadados (a Microsoft queria incluir alguns dos recursos do Apple OS, como não usar extensão de arquivo para determinar o tipo de arquivo)
• ocultar dados ou códigos no contexto de um malware .

ADS simplesmente: qualquer arquivo NTFS pode conter vários fluxos de dados (entenda "subarquivos"). Um é o fluxo principal, usado pelo Windows Explorer e outras ferramentas do Windows, que contém o conteúdo usual de um arquivo. Os fluxos de dados alternativos podem conter outras informações, exatamente como o fluxo principal, mas não podem ser manipulados diretamente pelas ferramentas do Windows (em particular, o Explorer exibe o tamanho do arquivo igual ao tamanho do fluxo principal, independentemente do tamanho do ADS), você precisa usar ferramentas ou códigos especializados para escrever, ler e localizar ADS.

O ponto principal é que, no caso de grande diferença de tamanho de arquivo observada, não negligencie a possibilidade de ADS e malware oculto.

Outro link .

Para experimentar com segurança o ADS, tente isso no nível do DOS / CMD ...

Crie e, em seguida, exiba o conteúdo de um arquivo na raiz de C:

C:\> echo The main data stream> test.txt
C:\> type test.txt

Resultado:

C:\> The main data stream

Agora adicione um ADS com o mesmo método, basta especificar o nome do ADS além do nome do arquivo:

C:\> echo The secret message> test.txt:secret

Você acabou de ocultar a mensagem secreta no arquivo. Observe que o tamanho do arquivo no Explorer não mudou, apesar de termos adicionado bytes no "segredo" do ADS.

Tente exibir o conteúdo do ADS:

C:\> type test.txt:secret

Resultado:

The filename, directory name, or volume label syntax is incorrect.

O CMD typenão pode exibir o conteúdo do ADS. Em vez disso, usaremos o Bloco de notas:

notepad test.txt:secret

No bloco de notas, podemos ver o conteúdo do ADS:

The secret message

Você também pode ocultar um executável completo em um ADS de um arquivo de texto inocente e executá-lo a qualquer momento. A riqueza não prejudica os hackers :-)

O problema pode ser devido ao tamanho do cluster.

De acordo com a Microsoft :

Se você não estiver usando a compactação NTFS para nenhum arquivo ou pasta contido no volume, a diferença entre TAMANHO e TAMANHO NO DISCO é desperdício de espaço devido a um tamanho de cluster maior que o necessário. Você deve tentar usar um tamanho de cluster ideal para que o valor SIZE ON DISK seja o mais próximo possível do valor SIZE. Uma discrepância excessiva entre o tamanho do TAMANHO NO DISCO e o tamanho do TAMANHO é uma indicação de que o tamanho padrão do cluster é muito grande para o tamanho médio do arquivo que você está armazenando no volume e que deve ser diminuído. Isso pode ser feito apenas fazendo backup do volume e reformatando o volume usando o comando format e a opção / a para especificar o tamanho de alocação apropriado: IE: format D: /a:2048 (Este exemplo usa um tamanho de cluster de 2 KB).

Tente formatar sua unidade com um tamanho de cluster menor.

Vejo muitas pessoas recomendando reformatar sua unidade com um tamanho de cluster menor. Como este é um cartão SD, observe que muitos fornecedores pré-formatam o cartão para o tamanho recomendado do cluster para corresponder ao tamanho do tamanho do cluster da NAND (manter os dois em sincronia é muito importante para otimizar o desempenho de leitura / gravação e reduzir o desgaste)

Você não pode alterar o tamanho do cluster do NAND (é um atributo físico do hardware do seu cartão SD).

Primeiro, execute o scandisk / chkdsk no seu cartão SD para garantir que o problema do relatório de tamanho não esteja dentro de um sistema de arquivos corrompido.

Segundo, sugiro que você relate o bug aos desenvolvedores do Google Map, por eles serem os culpados aqui. Eles devem estar usando um método de armazenamento superior. A correção também deve fazer com que o aplicativo seja executado mais rapidamente em muitos dispositivos devido à menor atividade de E / S e do driver do sistema de arquivos.

Este é um problema geral com muitos sistemas de arquivos. Existem dois fatores em ação aqui: o número máximo de "blocos" que um sistema de arquivos pode manipular por volume lógico e restrições físicas do meio de armazenamento. Apenas um arquivo pode ser alocado para qualquer bloco (os arquivos geralmente levam quantos blocos forem necessários). Portanto, um arquivo de texto com 64 bytes geralmente pode levar de 4k a 32k, dependendo do tamanho do bloco do sistema de arquivos em que ele reside.

Uma maneira de pensar sobre isso é pensar em cada bloco no sistema de arquivos como uma caixa e o sistema de arquivos como uma sala. Todas as suas caixas têm o mesmo tamanho e você tenta encaixar o máximo possível em uma sala. Se você encaixar todos eles com mais espaço sobrando, precisará obter caixas maiores para que a sala fique completamente cheia de caixas.

Uma das regras para colocar as coisas em caixas é que você não pode colocar duas coisas não relacionadas em uma caixa. Eles precisam fazer parte do mesmo documento. Então, se eu digitar uma página de texto, ela terá sua própria caixa. Se meu texto digitado tivesse tantas páginas que eu não pudesse encaixar tudo em uma caixa, eu simplesmente encontraria outra caixa e continuaria colocando as páginas ali, repetindo até que eu arquivasse todas as minhas páginas. Eu também teria anotado as caixas que usei para esse documento e a ordem das caixas para lê-lo em sequência.

Dependendo de como eu organizaria as caixas, posso ter apenas espaço suficiente no meu manifesto para um determinado número de caixas. Portanto, se eu tivesse uma sala grande para preencher, mas apenas um pequeno número de caixas, teria que usar caixas muito grandes para atingir a capacidade da sala.

Portanto, nesse caso, meu documento de uma página ainda ocuparia uma única caixa, com mais nada compartilhando-o.

As mesmas situações ocorrem entre várias soluções de armazenamento. O FAT32 pode gerenciar apenas o que é considerado um número baixo de "caixas" nos enormes discos rígidos de hoje, e acaba com "caixas" muito grandes para compensar isso.

Além dos tamanhos de cluster, você também pode ter uma discrepância devido às seguintes condições:

• Arquivos compactados ou criptografados podem ocupar um espaço diferente do tamanho do arquivo lógico.
• Os arquivos vinculados reportam n vezes o número de links vezes o tamanho do arquivo para o tamanho lógico do arquivo, mas o espaço físico usado geralmente é menor.

Você deve dar uma olhada na entrada Block Suballocation na Wikipedia. É exatamente isso que está acontecendo com você. O uso de um sistema de arquivos com suporte para Tail Packaging é uma solução no nível do sistema de arquivos para esse problema, além de alterar o tamanho do cluster de alocação.

Todos têm o inconveniente de precisar reformatar o disco.

Em alguns casos, apenas o armazenamento desses arquivos em um arquivo solucionaria o problema (e os arquivos pequenos também seriam compactados ao lado de parar de perder espaço no final dos arquivos). Isso tem o inconveniente de gastar algum tempo para descompressão.

Outra opção se você tiver tantos arquivos pequenos por causa de algum problema específico relacionado ao aplicativo é armazenar os dados do software usando outro método (pode estar em um banco de dados). Mas é claro que é uma solução para programadores, não para usuários finais.

http://en.wikipedia.org/wiki/Tail_packing

Observei enormes discrepâncias de tamanho de arquivo no Windows 10 em um arquivo individual, mas se eu olhar as propriedades do mesmo arquivo do mesmo local (uma unidade de rede), no Windows XP, a grande discrepância não existe; apenas uma pequena diferença, que é o que você esperaria. Acho que existe um bug no Windows 10. Um arquivo com 449 MB provavelmente não ocupa 3,99 GB, que é o que o Windows 10 está me dizendo.