Perguntas com a marcação «large-files»

Digamos que eu tenha um arquivo de texto enorme (> 2 GB) e eu só quero catas linhas Xpara Y(por exemplo 57.890.000-57.890.010). Pelo que entendi, posso fazer isso headentrando em tailcontato ou vice-versa, ou seja, head -A /path/to/file | tail -B ou alternativamente tail -C /path/to/file | head -D onde …

132 tail  cat  large-files  head 

Eu tenho um arquivo de texto enorme (70 GB), uma linha , e quero substituir uma string (token) nele. Quero substituir o token <unk>por outro fictício ( problema de luva ). Eu tentei sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new mas o arquivo de saída corpus.txt.newpossui zero bytes! Eu também …

126 text-processing  sed  large-files 

Um enorme arquivo de texto (com até 2 GiB) contém cerca de 100 duplicatas exatas de cada linha (inútil no meu caso, pois o arquivo é uma tabela de dados semelhante a CSV). O que eu preciso é remover todas as repetições enquanto (de preferência, mas isso pode ser sacrificado …

126 files  text-processing  large-files 

Eu tenho um arquivo bastante grande (35Gb) e gostaria de filtrar esse arquivo in situ (ou seja, não tenho espaço em disco suficiente para outro arquivo), especificamente quero grep e ignorar alguns padrões - existe uma maneira de fazer isso sem usar outro arquivo? Digamos que eu queira filtrar todas …

54 text-processing  grep  large-files 

Eu tenho dois arquivos grandes (6 GB cada). Eles não são classificados, com alimentações de linha ( \n) como separadores. Como posso diferenciá-los? Deve demorar menos de 24h.

32 performance  diff  large-files 

Eu tentei com o SCP, mas diz "Tamanho do arquivo negativo". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Também tentei usar o SFTP, funcionou bem até que 2 GB do arquivo foram transferidos e parou: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < …

27 scp  sftp  large-files 

Eu tenho um arquivo de texto de 25 GB que precisa de uma string substituída em apenas algumas linhas. Posso usar com sedsucesso, mas leva muito tempo para ser executado. sed -i 's|old text|new text|g' gigantic_file.sql Existe uma maneira mais rápida de fazer isso?

25 sed  replace  large-files 

Eu tenho uma ext4partição de 900 GB em um disco rígido (magnético) que não possui defeitos nem setores defeituosos. A partição está completamente vazia, exceto por um lost+founddiretório vazio . A partição foi formatada usando parâmetros padrão, exceto que eu defina o número de blocos reservados do sistema de arquivos …

19 filesystems  ext4  large-files 

Eu tenho um diretório com cerca de 100000 arquivos pequenos (cada arquivo é de 1 a 3 linhas, cada arquivo é um arquivo de texto). Em tamanho, o diretório não é muito grande (<2 GB). Esses dados residem em um servidor NFS administrado profissionalmente. O servidor executa o Linux. Eu …

19 filesystems  large-files 

Eu tenho alguns arquivos com tamanho> 1 GB cada. Preciso remover os últimos bytes dos arquivos. Como eu posso fazer isso? Prefiro editar o arquivo no local para economizar espaço em disco. Estou no HP-UX.

18 files  editors  hp-ux  large-files 

É útil usar o sinalizador -T largefile na criação de um sistema de arquivos para uma partição com arquivos grandes como vídeo e áudio no formato flac? Testei a mesma partição com esse sinalizador e sem ele, e usando tune2fs -l [partition] , verifiquei "Recursos do sistema de arquivos" que …

17 filesystems  ext4  ext3  large-files  ext2 

No mesmo espírito que essa outra pergunta: linha X para linha Y em um arquivo enorme : Existe uma maneira de abrir no Emacs (e mostrar em um buffer) um determinado conjunto de linhas (por exemplo, todas as linhas entre linhas Xe Y) a partir de um grande arquivo de …

10 emacs  large-files 

Eu tenho um arquivo de texto de 250 MB, tudo em uma linha. Neste arquivo, quero substituir acaracteres por bcaracteres: sed -e "s/a/b/g" < one-line-250-mb.txt Falha com: sed: couldn't re-allocate memory Parece-me que esse tipo de tarefa pode ser executada em linha sem alocar muita memória. Existe uma ferramenta melhor …

10 text-processing  sed  performance  large-files  out-of-memory 

Eu tenho ~ 30k arquivos. Cada arquivo contém ~ 100k linhas. Uma linha não contém espaços. As linhas em um arquivo individual são classificadas e duplicadas gratuitamente. Meu objetivo: quero encontrar todas as linhas duplicadas em dois ou mais arquivos e também os nomes dos arquivos que continham entradas duplicadas. …

9 shell-script  text-processing  performance  large-files  deduplication 

Preciso visualizar uma imagem png grande (50000x40000 px) no Linux. Infelizmente, a maioria das ferramentas (eog, convert etc.) trava ou falha com a observação de pouca memória. Existe uma maneira de visualizar esta imagem (eu preferiria ver a imagem redimensionada e os detalhes)?

9 images  large-files