Gerenciamento de memória R / não pode alocar vetor de tamanho n Mb

Estou com problemas ao tentar usar objetos grandes em R. Por exemplo:

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

Entendo que isso esteja relacionado à dificuldade de obter blocos contíguos de memória ( daqui ):

As mensagens de erro iniciadas não podem alocar vetor de tamanho indicam uma falha na obtenção de memória, porque o tamanho excedeu o limite de espaço de endereço para um processo ou, mais provavelmente, porque o sistema não conseguiu fornecer a memória. Observe que em uma compilação de 32 bits, pode haver bastante memória livre disponível, mas não um bloco contíguo de espaço de endereço grande o suficiente para mapear.

Como posso resolver isso? Minha principal dificuldade é que chego a um determinado ponto do meu script e R não pode alocar 200-300 Mb para um objeto ... Na verdade, não posso pré-alocar o bloco porque preciso da memória para outro processamento. Isso acontece mesmo quando eu removo objetos desnecessariamente desnecessariamente.

EDIT: Sim, desculpe: Windows XP SP3, 4Gb RAM, R 2.12.0:

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

Considere se você realmente precisa de todos esses dados explicitamente ou a matriz pode ser esparsa? Existe um bom suporte no R (veja o Matrixpacote para, por exemplo) para matrizes esparsas.

Mantenha todos os outros processos e objetos em R no mínimo quando precisar criar objetos desse tamanho. Use gc()para limpar a memória agora não utilizada ou, melhor ainda, crie o objeto necessário em uma sessão .

Se o exposto acima não puder ajudar, obtenha uma máquina de 64 bits com tanta RAM quanto você puder pagar e instale a R. de 64 bits.

Se você não puder fazer isso, existem muitos serviços online para computação remota.

Se você não puder fazer isso, as ferramentas de mapeamento de memória, como o pacote ff(ou bigmemorycomo Sascha menciona), ajudarão a criar uma nova solução. Na minha experiência limitada, ffestá o pacote mais avançado, mas você deve ler o High Performance Computingtópico em Exibições de tarefas do CRAN.

Para usuários do Windows, o seguinte me ajudou bastante a entender algumas limitações de memória:

• antes de abrir o R, abra o Windows Resource Monitor (Ctrl-Alt-Delete / Iniciar Gerenciador de Tarefas / guia Desempenho / clique no botão inferior 'Monitor de Recursos' / guia Memória)
• você verá quanta memória RAM nós já utilizamos antes de abrir o R ​​e por quais aplicativos. No meu caso, 1,6 GB do total de 4 GB são usados. Então, só conseguirei 2,4 GB para R, mas agora vem o pior ...
• abra R e crie um conjunto de dados de 1,5 GB e reduza seu tamanho para 0,5 GB. O Monitor de Recursos mostra que minha RAM é usada em quase 95%.
• usar gc()para fazer coleta de lixo => funciona, eu posso ver o uso da memória descer para 2 GB

Conselhos adicionais que funcionam na minha máquina:

• prepare os recursos, salve como um arquivo RData, feche R, abra novamente R e carregue os recursos de trem. O Gerenciador de recursos normalmente mostra um uso mais baixo da memória, o que significa que mesmo o gc () não recupera toda a memória possível e o R / abrir / reabrir funciona melhor para começar com o máximo de memória disponível .
• o outro truque é carregar apenas o conjunto de trem para treinamento (não carregue o conjunto de teste, que normalmente pode ser metade do tamanho do conjunto de trem). A fase de treinamento pode usar a memória ao máximo (100%), portanto, qualquer coisa disponível é útil. Tudo isso é necessário com um grão de sal enquanto estou experimentando os limites de memória R.

Aqui está uma apresentação sobre esse tópico que você pode achar interessante:

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Eu mesmo não tentei as coisas discutidas, mas o bigmemorypacote parece muito útil

A maneira mais simples de contornar essa limitação é alternar para 64 bits R.

Encontrei um problema semelhante e usei 2 unidades flash como 'ReadyBoost'. As duas unidades proporcionaram um aumento adicional de 8 GB de memória (para cache) e solucionaram o problema e também aumentaram a velocidade do sistema como um todo. Para usar o Readyboost, clique com o botão direito do mouse na unidade, vá para propriedades e selecione 'ReadyBoost' e selecione o botão de opção 'usar este dispositivo' e clique em Aplicar ou em OK para configurar.

Eu segui a página de ajuda do memor.limit e descobri que no meu computador o R, por padrão, pode usar até 1,5 GB de RAM e que o usuário pode aumentar esse limite. Usando o código a seguir,

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

me ajudou a resolver meu problema.

Se você estiver executando seu script no ambiente linux, poderá usar este comando:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

e o servidor alocará a memória solicitada para você (de acordo com os limites do servidor, mas com um bom servidor - arquivos enormes podem ser usados)

O método salvar / carregar mencionado acima funciona para mim. Não sei como gc()desfragmentar a memória, mas isso parece funcionar.

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")