Como posso randomizar as linhas em um arquivo usando ferramentas padrão no Red Hat Linux?

Como posso randomizar as linhas em um arquivo usando ferramentas padrão no Red Hat Linux?

Eu não tenho o shufcomando, então estou procurando por algo como um perlou awkuma linha que realize a mesma tarefa.

E você ganha uma linha de Perl!

perl -MList::Util -e 'print List::Util::shuffle <>'

Ele usa um módulo, mas o módulo faz parte da distribuição de código Perl. Se isso não for bom o suficiente, você pode considerar lançar o seu próprio.

Tentei usar isso com o -isinalizador ("editar no local") para que ele edite o arquivo. A documentação sugere que deveria funcionar, mas não funciona. Ele ainda exibe o arquivo embaralhado em stdout, mas desta vez exclui o original. Eu sugiro que você não use.

Considere um script de shell:

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

Não testado, mas espero que funcione.

Hum, não vamos esquecer

sort --random-sort

shuf é a melhor maneira.

sort -Ré dolorosamente lento. Eu apenas tentei classificar o arquivo de 5 GB. Desisti após 2,5 horas. Então shufresolveu em um minuto.

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

Leia o arquivo, prefixe cada linha com um número aleatório, classifique o arquivo com esses prefixos aleatórios e corte os prefixos depois. One-liner que deve funcionar em qualquer shell semi-moderno.

EDITAR: incorporou as observações de Richard Hansen.

Um one-liner para python:

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

E para imprimir apenas uma única linha aleatória:

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

Mas veja este post para as desvantagens do python random.shuffle(). Não funcionará bem com muitos (mais de 2080) elementos.

Relacionado à resposta de Jim:

Meu ~/.bashrccontém o seguinte:

unsort ()
{
    LC_ALL=C sort -R "$@"
}

Com GNU coreutils's sort, -R= --random-sort, que gera um hash aleatório de cada linha e classifica por ele. O hash aleatório não seria realmente usado em algumas localidades em algumas versões mais antigas (com erros), fazendo com que retornasse a saída classificada normal, que é o motivo pelo qual eu configurei LC_ALL=C.

Relacionado à resposta de Chris:

perl -MList::Util=shuffle -e'print shuffle<>'

é uma linha ligeiramente mais curta. ( -Mmodule=a,b,cé uma abreviação de -e 'use module qw(a b c);'.)

A razão de dar a ele um simples -inão funciona para embaralhar no local é porque Perl espera que printaconteça no mesmo loop em que o arquivo está sendo lido, e print shuffle <>não sai até que todos os arquivos de entrada tenham sido lidos e fechados.

Como uma solução alternativa mais curta,

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

irá embaralhar os arquivos no local. ( -nsignifica "envolver o código em um while (<>) {...}loop; BEGIN{undef$/}faz o Perl operar em arquivos por vez em vez de linhas por vez, e split/^/mé necessário porque $_=<>foi feito implicitamente com um arquivo inteiro em vez de linhas.)

Quando eu instalo coreutils com homebrew

brew install coreutils

shuftorna-se disponível como n.

Mac OS X com DarwinPorts:

sudo port install unsort
cat $file | unsort | ...

O FreeBSD tem seu próprio utilitário aleatório:

cat $file | random | ...

Está em / usr / games / random, portanto, se você não instalou os jogos, está sem sorte.

Você pode considerar a instalação de portas como textproc / rand ou textproc / msort. Eles podem estar disponíveis no Linux e / ou Mac OS X, se a portabilidade for uma preocupação.

No OSX, baixando o mais recente de http://ftp.gnu.org/gnu/coreutils/ e algo como

./configure make sudo make install

... deve fornecer a você / usr / local / bin / sort --random-sort

sem bagunçar / usr / bin / sort

Ou obtenha-o no MacPorts:

$ sudo port install coreutils

e / ou

$ /opt/local//libexec/gnubin/sort --random-sort