Como criar um arquivo grande no UNIX?

Eu encontrei uma maneira no Windows de fazer isso

echo "This is just a sample line appended  to create a big file. " > dummy.txt
for /L %i in (1,1,21) do type dummy.txt >> dummy.txt

http://www.windows-commandline.com/how-to-create-large-dummy-file/

Existe uma maneira no UNIX de copiar um arquivo, anexar e depois repetir o processo? Algo como for .. cat file1.txt > file1.txt?

yes "Some text" | head -n 100000 > large-file

Com csh/ tcsh:

repeat 10000 echo some test > large-file

Com zsh:

{repeat 10000 echo some test} > large-file

Nos sistemas GNU, consulte também:

seq 100000 > large-file

Ou:

truncate -s 10T large-file

(cria um arquivo esparso de 10TiB (muito grande, mas não ocupa espaço no disco)) e as outras alternativas discutidas em "Criar um arquivo de teste com lotes de zero bytes" .

Fazer cat file >> fileseria uma má ideia.

Primeiro, ele não funciona com algumas catimplementações que se recusam a ler arquivos iguais ao seu arquivo de saída. Mas mesmo se você o contornar cat file | cat >> file, se filefor maior que cato buffer interno, isso causaria cata execução em um loop infinito, pois acabaria lendo os dados que ele escreveu anteriormente.

Em sistemas de arquivos apoiados por um disco rígido rotacional, também seria bastante ineficiente (depois de atingir um tamanho maior do que o que possivelmente seria armazenado em cache na memória), pois a unidade precisaria ir e voltar entre o local em que os dados foram lidos, e que onde escrevê-lo.

Você pode criar um arquivo grande no Solaris usando:

mkfile 10g /path/to/file

Outra maneira que funciona no Solaris (e Linux):

truncate -s 10g /path/to file

Também é possível usar:

dd if=/dev/zero of=/path/to/file bs=1048576 count=10240

A maneira mais rápida possível de criar um arquivo grande em um sistema Linux é fallocate:

sudo fallocate -l 2G bigfile

fallocatemanipula o sistema de arquivos e, na verdade, não grava nos setores de dados por padrão e, como tal, é extremamente rápido. A desvantagem é que ela deve ser executada como raiz.

Executando-o sucessivamente em um loop, você pode preencher o maior dos sistemas de arquivos em questão de segundos.

A partir de man fallocate

fallocate é usado para manipular o espaço em disco alocado para um arquivo, para desalocá-lo ou pré-alocá-lo.
Para sistemas de arquivos que suportam a chamada do sistema fallocate, a pré-alocação é feita rapidamente alocando blocos e marcando-os como não inicializados, não exigindo E / S para os blocos de dados. Isso é muito mais rápido do que criar um arquivo preenchendo-o com zeros.
Suportado para XFS (desde o Linux 2.6.38), ext4 (desde o Linux 3.0), Btrfs (desde o Linux 3.7) e tmpfs (desde o Linux 3.5).

Isso continuará até você CTRL-C:

yes This is stuff that I want to put into my file... >> dummy.txt

Tenha cuidado, pois você pode obter centenas de milhares de linhas / segundo ...

De man yes:

yes - output a string repeatedly until killed

Se eu entendi direito, você está procurando algo como:

echo "test line" > file;
for i in {1..21}; do echo "test line" >> file; done

Isso criará um arquivo com 22 repetições da "linha de teste". Se você deseja um tamanho de arquivo específico, pode usar algo assim (no Linux). 1024 é um kilobyte:

while [ $(stat -c "%s" file) -le 1024 ]; do echo "test line" >> file; done

Pessoalmente, quando quero criar um arquivo grande, uso dois arquivos e coloco um no outro. Você pode repetir o processo até atingir o tamanho desejado (1 MB aqui):

echo "test line" > file;
while [ $(stat -c "%s" file) -le 1048576 ]; do 
    cat file >> newfile
    cat newfile >> file
done

Observe que essa solução geralmente excede o tamanho desejado, porque se o arquivo estiver abaixo do limite, tudo será novamente nele.

Por fim, se tudo o que você deseja é um arquivo do tamanho desejado e não precisa que ele realmente contenha nada, você pode usar truncate:

truncate -s 1M file

Ao canalizar o conteúdo de /dev/urandompara headvocê pode redirecionar a saída para um arquivo, portanto:

 cat /dev/urandom | head --bytes=100 >> foo.bar

Fornecerá um arquivo com 100 bytes de lixo.

echo "This is just a sample line appended  to create a big file. " > dummy.txt
i=1
while [ $i -le 21 ]
do
  cat dummy.txt >> bigfile
  cat bigfile > dummy.txt
  (( i++ ))
done

mesmo efeito do script do Windows, mas no bash, você não pode concatenar um arquivo diretamente para si mesmo.