Pesquisar com eficiência o arquivo classificado

Eu tenho um arquivo grande contendo uma string em cada linha. Eu gostaria de poder determinar rapidamente se uma string está no arquivo. Idealmente, isso seria feito usando um algoritmo binário do tipo chop.

Alguns pesquisadores do Google revelaram o lookcomando com a -bbandeira que promete localizar e gerar todas as strings que começam com um determinado prefixo usando um algoritmo de pesquisa binária. Infelizmente, ele não parece funcionar corretamente e retorna resultados nulos para as seqüências que eu sei que estão no arquivo (elas são retornadas corretamente pela greppesquisa equivalente ).

Alguém conhece outro utilitário ou estratégia para pesquisar esse arquivo com eficiência?

Há uma diferença essencial entre grepe look:

Salvo indicação explícita em contrário, grepele encontrará padrões mesmo em algum lugar dentro das linhas. Para lookos estados da página de manual:

look - exibe linhas que começam com uma determinada string

Não estou usando com lookmuita frequência, mas funcionou bem em um exemplo trivial que acabei de tentar.

Talvez uma resposta um pouco tarde:

Sgrep irá ajudá-lo.

O Sgrep (grep classificado) procura nos arquivos de entrada classificados as linhas que correspondem a uma chave de pesquisa e gera as linhas correspondentes. Ao pesquisar arquivos grandes, o sgrep é muito mais rápido que o grep tradicional do Unix, mas com restrições significativas.

• Todos os arquivos de entrada devem ser classificados como arquivos regulares.
• A chave de classificação deve começar no início da linha.
• A chave de pesquisa corresponde apenas ao início da linha.
• Não há suporte para expressões regulares.

Você pode fazer o download da fonte aqui: https://sourceforge.net/projects/sgrep/?source=typ_redirect

e os documentos aqui: http://sgrep.sourceforge.net/

Outra maneira:

Não sei qual é o tamanho do arquivo.Talvez você deva tentar em paralelo:

/programming/9066609/fastest-possible-grep

Eu sempre faço grep com arquivos com tamanho> 100 GB, funciona bem.

Você pode fazer o hash do arquivo em pedaços e depois fazer o grep exatamente o que você deseja:

for line in $(cat /usr/share/dict/american-english | tr '[:upper:]' '[:lower:]' | sort | uniq)
do
    prefix=$(echo $line | md5sum - | cut -c 1-2)
    mkdir -p $prefix
    echo $line | gzip >> $prefix/subwords
done

a pesquisa ficaria assim:

    prefix=$(echo $word | md5sum - | cut -c 1-2)
    zgrep -m 1 -w word $prefix/subwords

Isso faz duas coisas:

1. ler e gravar arquivos compactados. Geralmente é mais rápido colocar a carga na CPU (muito rápido) em vez do disco (muito lento)
2. hash para obter uma distribuição aproximadamente igual, você pode usar um hash mais curto ou mais longo, conforme desejar, a fim de reduzir o tamanho de cada peça (mas eu recomendo o uso de subdiretórios aninhados, se o fizer)

O sgrep pode funcionar para você:

sudo apt-get install sgrep
sgrep -l '"needle"' haystack.txt

A página do projeto http://sgrep.sourceforge.net/ diz:

O Sgrep usa um algoritmo de busca binária, que é muito rápido, mas requer entrada classificada.

Para inserção, no entanto, acho que não há solução melhor do que usar um banco de dados: /programming/10658380/shell-one-liner-to-add-a-line-to-a-sorted-file/ 33859372 # 33859372

Se você quiser muito rápido (O (1) rápido), poderá criar um conjunto de hash para analisar. Não consegui encontrar uma implementação que me permitisse armazenar um conjunto de hash pré-criado em um arquivo e sondá-lo sem ter que ler o arquivo inteiro na memória, então rolei o meu .

Crie o conjunto de hash ( -b/ --build):

./hashset.py --build string-list.txt strings.pyhashset

Teste o conjunto de hash ( -p/ --probe):

./hashset.py --probe strings.pyhashset \
    'Is this string in my string list?' 'What about this one?'

… Ou com uma string para procurar na entrada padrão:

printf '%s\n' 'Is this string in my string list?' 'What about this one?' |
./hashset.py --probe strings.pyhashset

Você pode silenciar a saída --probecom a opção -q/ --quietse estiver interessado apenas no status de saída:

if ./hashset.py --quiet --probe strings.pyhashset ...; then
    echo 'Found'
else
    echo 'Not found'
fi

Para mais opções, consulte a descrição de uso acessível por meio da opção -h/ --helpou do READMEarquivo que o acompanha .