Perguntas com a marcação «data-storage»

Existem ferramentas projetadas especificamente para compactar dados científicos de ponto flutuante? Se uma função é suave, obviamente há muita correlação entre os números que representam essa função; portanto, os dados devem ser compactados bem. Compactar / compactar dados binários de ponto flutuante não o compacta tão bem. Gostaria de saber …

26 data-storage 

Uso o HDF5 há anos, mas à medida que o tamanho do conjunto de dados aumenta, estou começando a ter os mesmos problemas listados aqui http://cyrille.rossant.net/moving-away-hdf5/ Você pode me apontar para um formato como HDF5 com - Bom suporte para gravações paralelas - Suporte para acesso em blocos de grandes …

15 data-storage 

TL, DR Qual é a melhor prática aceita nos círculos científicos da computação para armazenar grandes quantidades de dados hierarquicamente estruturados? Por exemplo, o SQL não funciona bem com grandes matrizes esparsas. Existe uma boa ferramenta disponível para estruturar, armazenar e analisar esse tipo de dados? O que os caras …

13 data-management  data-storage  data-analysis 

Não estou familiarizado com o formato de arquivo usado no HDF5, mas gostaria de saber se os arquivos HDF5 são adequados para o controle de revisão com o git (ou, por exemplo, Mercurial ou Subversion)? Acho que o que quero dizer é: os arquivos HDF5 são adequados para diferenças baseadas …

13 data-management  data-storage