Substituir sequência contendo nova linha em um arquivo enorme

Alguém conhece uma ferramenta não baseada em linha para pesquisar / substituir "binariamente" cadeias de caracteres de maneira um pouco eficiente em termos de memória? Veja esta pergunta também.

Eu tenho um arquivo de texto de + 2 GB que gostaria de processar semelhante ao que isso parece fazer:

sed -e 's/>\n/>/g'

Isso significa que eu quero remover todas as novas linhas que ocorrem depois de um >, mas não em nenhum outro lugar, para que isso exclua tr -d.

Este comando (que obtive da resposta de uma pergunta semelhante ) falha com couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Então, existem outros métodos sem recorrer a C? Eu odeio perl, mas estou disposto a fazer uma exceção neste caso :-)

Não tenho certeza de nenhum caractere que não ocorra nos dados; portanto, substituir temporariamente \npor outro é algo que eu gostaria de evitar, se possível.

Alguma boa ideia, alguém?

Isso realmente é trivial no Perl, você não deve odiar!

perl -i.bak -pe 's/>\n/>/' file

Explicação

• -i: edite o arquivo no local e crie um backup do original chamado file.bak. Se você não quiser um backup, use-o perl -i -pe.
• -pe: leia o arquivo de entrada linha por linha e imprima cada linha após aplicar o script fornecido como -e.
• s/>\n/>/: a substituição, assim como sed.

E aqui está uma awkabordagem:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

Uma perlsolução:

$ perl -pe 's/(?<=>)\n//'

Explicação

• s/// é usado para substituição de string.
• (?<=>) é lookbehind padrão.
• \n corresponde à nova linha.

Todo o padrão significa remover todas as novas linhas que têm >antes.

Que tal agora:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Para o GNU sed, você também pode tentar adicionar a opção -u( --unbuffered) conforme a pergunta. O GNU sed também está satisfeito com isso como uma linha simples:

sed ':loop />$/ { N; s/\n//; b loop }' file

Você deve poder usar sedcom o Ncomando, mas o truque será excluir uma linha do espaço do padrão cada vez que adicionar outra (para que o espaço do padrão sempre contenha apenas 2 linhas consecutivas, em vez de tentar ler a totalidade arquivo) - tente

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDIT: depois de reler Famous Sed One-Liners de Peteris Krumins Explained Eu acredito que uma sedsolução melhor seria

sed -e :a -e '/>$/N; s/\n//; ta'

que anexa apenas a linha a seguir no caso de já ter feito uma >correspondência no final e deve retornar condicionalmente para lidar com o caso de linhas correspondentes consecutivas (é o número 39 de Krumin) . Anexe uma linha à próxima se terminar com uma barra invertida "\" exatamente, exceto a substituição de >por \como o caractere de junção e o fato de que o caractere de junção é retido na saída).

sednão fornece uma maneira de emitir saída sem uma nova linha final. Sua abordagem usando Nfundamentalmente funciona, mas armazena linhas incompletas na memória e, portanto, pode falhar se as linhas ficarem muito longas (implantações de sed geralmente não são projetadas para lidar com linhas extremamente longas).

Você pode usar o awk.

awk '{if (/<$/) printf "%s", $0; else print}'

Uma abordagem alternativa é usar trpara trocar o caractere de nova linha por um caractere "chato" e que ocorre com frequência. O espaço pode funcionar aqui - escolha um caractere que tende a aparecer em todas as linhas ou pelo menos em uma grande proporção de linhas nos seus dados.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

que tal usar ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(via http://wiki.bash-hackers.org/howto/edit-ed )

Acabei usando gsar como descrito nesta resposta assim:

gsar -F '-s>:x0A' '-r>'

Existem várias maneiras de fazer isso, e a maioria aqui é realmente boa, mas acho que essa é a minha favorita:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Ou até:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'