O que é uma maneira fácil de ler linhas aleatórias de um arquivo na linha de comando do Unix?

O que é uma maneira fácil de ler linhas aleatórias de um arquivo na linha de comando do Unix?

Você pode usar shuf:

shuf -n 1 $FILE

Há também um utilitário chamado rl. No Debian, está no randomize-linespacote que faz exatamente o que você deseja, embora não esteja disponível em todas as distros. Na sua página inicial, ele recomenda o uso shuf(em vez disso, que não existia quando foi criado). shuffaz parte dos GNU coreutils, rlnão é.

rl -c 1 $FILE

Outra alternativa:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(Eu gosto da abordagem shuf acima ainda melhor - eu nem sabia que existia e nunca teria encontrado essa ferramenta sozinha)

Isto é simples.

cat file.txt | shuf -n 1

Concedido que isso é apenas um pouco mais lento que o "shuf -n 1 file.txt" por si só.

perlfaq5: Como seleciono uma linha aleatória de um arquivo? Aqui está um algoritmo de amostragem de reservatório do Camel Book:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Isso tem uma vantagem significativa no espaço em relação à leitura do arquivo inteiro. Você pode encontrar uma prova desse método em The Art of Computer Programming, Volume 2, Seção 3.4.2, de Donald E. Knuth.

usando um script bash:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Linha de bash única:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Pequeno problema: nome de arquivo duplicado.

Aqui está um script Python simples que fará o trabalho:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Uso:

python randline.py file_to_get_random_line_from

Outra maneira de usar ' awk '

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

Uma solução que também funciona no MacOSX e também deve funcionar no Linux (?):

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Onde:

• N é o número de linhas aleatórias que você deseja

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> salve os números de linha escritos file1e imprima a linha correspondente emfile2

• jot -r $N 1 $(wc -l < $file) -> desenhar N números aleatoriamente ( -r) no intervalo (1, number_of_line_in_file)com jot. A substituição do processo <()fará com que pareça um arquivo para o intérprete, portanto, file1no exemplo anterior.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

Aqui está o que eu descobri, pois meu Mac OS não usa todas as respostas fáceis. Usei o comando jot para gerar um número, pois as soluções variáveis ​​$ RANDOM não parecem ser muito aleatórias no meu teste. Ao testar minha solução, tive uma grande variação nas soluções fornecidas na saída.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

O eco da variável é obter um visual do número aleatório gerado.

Usando apenas vanilla sed e awk, e sem usar $ RANDOM, um "one-liner" simples, eficiente em termos de espaço e razoavelmente rápido para selecionar uma única linha pseudo-aleatoriamente de um arquivo chamado FILENAME é o seguinte:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Isso funciona mesmo que FILENAME esteja vazio, caso em que nenhuma linha é emitida.)

Uma possível vantagem dessa abordagem é que ela chama apenas rand () uma vez.

Como apontado por @AdamKatz nos comentários, outra possibilidade seria chamar rand () para cada linha:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(Uma simples prova de correção pode ser dada com base na indução.)

Advertência sobre rand()

"Na maioria das implementações do awk, incluindo gawk, rand () começa a gerar números a partir do mesmo número inicial, ou semente, sempre que você executa o awk."

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html