Melhor maneira de simplesmente armazenar dados para análise estatística em R [fechado]

Estou usando arquivos de texto para armazenar meus dados para o R sem problemas há algum tempo. Porém, para um projeto recente, os tamanhos dos arquivos estão ficando grandes demais para serem manipulados pelos arquivos de texto bruto. Qual é a melhor alternativa simples?

A abordagem R padrão é usar savee load. Se você executar o saveseu quadro de dados após importá-lo e anotá-lo, poderá especificar compress=TRUEe ficará surpreso com a compactação e o loadtempo rápido . Isso funciona especialmente bem se o tamanho do objeto for menor que cerca de 400 MB. Caso contrário, confira algumas das sugestões acima, ou o poderoso ffpacote em R.

A Hmiscembalagem possui pequenos invólucros Savee Loadtorna o que foi exposto ainda mais simples:

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

Dê uma olhada nos bancos de dados SQLite3. Cada banco de dados é um arquivo, portanto, não é necessário configurar um servidor de banco de dados.

Para criar um banco de dados:

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

Para uso com R, https://gist.github.com/lynaghk/1062939

Há várias opções genéricas.

• Você pode comprimir o texto.
• Você pode ficar binário no texto, não escrever em ASCII

Uma ótima compactação depende dos dados.

Meu palpite (e você não especificou, então devo adivinhar) é que você deseja armazenar dados semelhantes a planilhas em algo diferente de csv (delimitado por vírgulas).

Um dos meus formatos favoritos (eu amo o MatLab) é o hdf.

Aqui estão informações relacionadas ao R sobre o HDF:

• acessado através dos pacotes hdf5, h5r, rhdf5 do biocondutor, RNetCDF, ncdf e ncdf4
• http://www.hdfgroup.org/HDF5/whatishdf5.html

É um formato de armazenamento de dados de supercomputação de alta densidade. Pode ser muito rápido e eficiente. Também é (sem surpresa) mais denso que o texto compactado.

Agora, as funções padrão de leitura de arquivos no R leem automaticamente os arquivos compactados com gz. Portanto, basta executar a compactação gzip simples nos seus dados e ler como sempre, como se fosse texto simples.

read.table('myfile.gz')