Criando um arquivo de tamanho grande em menos tempo

18

Eu quero criar um arquivo grande ~ 10G preenchido com zeros e valores aleatórios. Eu tentei usar:

dd if=/dev/urandom of=10Gfile bs=5G count=10

Ele cria um arquivo de cerca de 2 GB e sai com o status de saída '0'. Eu não entendo o porquê?

Eu também tentei criar arquivo usando:

head -c 10G </dev/urandom >myfile

Demora cerca de 28 a 30 minutos para criá-lo. Mas eu quero que seja criado mais rápido. Alguém tem uma solução?

Também desejo criar vários arquivos com o mesmo padrão aleatório (pseudo) para comparação. Alguém sabe uma maneira de fazer isso?

files dd

— skane
fonte

Bem-vindo ao AskUbuntu! Você provavelmente está recebendo um erro dddevido ao tamanho do bloco. Você pode olhar para este post stackoverflow.com/questions/6161823/…, que contém algumas boas respostas sobre como calcular o melhor tamanho de bloco, além de alguns scripts / programas de usuário e outras sugestões de uso dd.

— No Time

1

Também dê uma olhada no stackoverflow.com/questions/257844/…

— muru

12

Que tal usar fallocate, essa ferramenta nos permite pré-alocar espaço para um arquivo (se o sistema de arquivos suportar esse recurso). Por exemplo, alocando 5 GB de dados em um arquivo chamado 'exemplo', é possível:

fallocate -l 5G example

Isso é muito mais rápido que o dd e alocará o espaço muito rapidamente.

— Colin Ian King
fonte

Esse arquivo contém dados aleatórios ou o que aconteceu no espaço em disco alocado?

— 26616 cprn

Ele conterá todos os zeros. Basicamente, o espaço é pré-alocado e, se você não modificar os dados, presume-se que seja zero.

— Colin Ian King

Como isso pode ser mais rápido que o dumping /dev/zero?

— Cprn

1

É muito rápido, porque é uma chamada do sistema que bloqueia a pré-localização (por exemplo, reserva o espaço, mas faz o mínimo de E / S), enquanto que a transferência de / dev / zero para um arquivo envolve uma carga de leitura / gravação.

— Colin Ian King

Estou aumentando este. Uma última pergunta, porém ... eu estava usando truncateno passado e descobri que ele não aloca fisicamente o arquivo no dispositivo e apenas cria um arquivo grande e arbitrário até ser acessado, independentemente do espaço disponível. Tem certeza de que não é esse o caso fallocate? Gostaria de verificar isso, mas eu estou em um móvel ...

— CPRN

9

Você pode usar ddpara criar um arquivo constituído apenas por zeros. Exemplo:

dd if=/dev/zero of=zeros.img count=1 bs=1 seek=$((10 * 1024 * 1024 * 1024 - 1))

Isso é muito rápido, porque apenas um byte é realmente gravado no disco físico. No entanto, alguns sistemas de arquivos não suportam isso.

Se você deseja criar um arquivo contendo conteúdo pseudo-aleatório, execute:

dd if=/dev/urandom of=random.img count=1024 bs=10M

Eu sugiro que você use 10M como tamanho do buffer ( bs). Isso ocorre porque 10M não é muito grande, mas ainda oferece um bom tamanho de buffer. Deve ser bem rápido, mas sempre depende da velocidade do disco e do poder de processamento.

— xiaodongjie
fonte

5

Usando o dd, isso deve criar um arquivo de 10 GB preenchido com dados aleatórios:

dd if=/dev/urandom of=test1 bs=1M count=10240

count está em megabytes.

Fonte: stackoverflow - Como criar um arquivo com um determinado tamanho no Linux?

— Alaa Ali
fonte

Eu apenas tentei dd if=/dev/urandom of=10Gfile bs=500M count=20, o que me deu 10237226010 bytes em menos de 20 minutos.

— Jos

1

Respondendo à primeira parte da sua pergunta:

Tentar escrever um buffer de 5 GB por vez não é uma boa ideia, pois seu kernel provavelmente não suporta isso. De qualquer forma, não lhe dará nenhum benefício de desempenho. Escrever 1 milhão de cada vez é um bom máximo.

— cprn
fonte

0

Esta pergunta foi aberta há 5 anos. Eu apenas tropecei nisso e queria adicionar minhas descobertas.

Se você simplesmente usar

dd if=/dev/urandom of=random.img count=1024 bs=10M

funcionará significativamente mais rápido, conforme explicado por xiaodongjie. Mas você pode torná-lo ainda mais rápido usando eatmydatacomo

eatmydata dd if=/dev/urandom of=random.img count=1024 bs=10M

O que eatmydatafaz é desativar o fsync, tornando o disco mais rápido.

Você pode ler mais sobre isso em https://flamingspork.com/projects/libeatmydata/ .

— GMishx
fonte

1

A maneira como vejo ddé rápida o suficiente e é chamada libEAT-MY-DATA por um motivo.

— karel