Como excluir de um arquivo de texto todas as linhas que contêm uma sequência específica?

Como eu usaria o sed para excluir todas as linhas em um arquivo de texto que contenham uma sequência específica?

Para remover a linha e imprimir a saída com a saída padrão:

sed '/pattern to match/d' ./infile

Para modificar diretamente o arquivo - não funciona com o BSD sed:

sed -i '/pattern to match/d' ./infile

O mesmo, mas para o BSD sed (Mac OS X e FreeBSD) - não funciona com o GNU sed:

sed -i '' '/pattern to match/d' ./infile

Para modificar diretamente o arquivo (e criar um backup) - funciona com BSD e GNU sed:

sed -i.bak '/pattern to match/d' ./infile

Existem muitas outras maneiras de excluir linhas com sequência específica, além de sed :

AWK

awk '!/pattern/' file > temp && mv temp file

Ruby (1.9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell (bash 3.2 e posterior)

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

E, é claro sed(imprimir o inverso é mais rápido que a exclusão real):

sed -n '/pattern/!p' file

Você pode usar o sed para substituir as linhas no lugar de um arquivo. No entanto, parece ser muito mais lento do que usar grep para o inverso em um segundo arquivo e depois mover o segundo arquivo sobre o original.

por exemplo

sed -i '/pattern/d' filename      

ou

grep -v "pattern" filename > filename2; mv filename2 filename

O primeiro comando demora três vezes mais na minha máquina.

A maneira mais fácil de fazer isso, com o GNU sed:

sed --in-place '/some string here/d' yourfile

Você pode considerar o uso ex(que é um editor padrão baseado em comandos do Unix):

ex +g/match/d -cwq file

Onde:

• +executa o comando Ex ( man ex), o mesmo -cque o executa wq(gravar e sair)
• g/match/d- Comando Ex para excluir linhas com dados match, consulte: Potência de g

O exemplo acima é um método compatível com POSIX para edição in-loco de um arquivo, de acordo com esta publicação, nas especificações exUnix.SE e POSIX .

A diferença sedé que:

sedé um editor ED do S tream , não um editor de arquivos. ^BashFAQ

A menos que você goste de código não transportável, sobrecarga de E / S e outros efeitos colaterais ruins. Então, basicamente, alguns parâmetros (como no local / -i) são extensões não padrão do FreeBSD e podem não estar disponíveis em outros sistemas operacionais.

Eu estava lutando com isso no Mac. Além disso, eu precisava fazer isso usando substituição de variável.

Então eu usei:

sed -i '' "/$pattern/d" $file

onde $fileé o arquivo onde a exclusão é necessária e $patterné o padrão a ser correspondido para exclusão.

Eu escolhi o ''deste comentário .

O que deve ser observado aqui é o uso de aspas duplas em "/$pattern/d". A variável não funciona quando usamos aspas simples.

Fiz uma pequena referência com um arquivo que contém aproximadamente 345.000 linhas. O caminho com grepparece ser cerca de 15 vezes mais rápido que o sedmétodo neste caso.

Eu tentei com e sem a configuração LC_ALL = C, não parece alterar significativamente os tempos. A cadeia de pesquisa (CDGA_00004.pdbqt.gz.tar) está em algum lugar no meio do arquivo.

Aqui estão os comandos e os horários:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

Você também pode usar isso:

 grep -v 'pattern' filename

Aqui -vserá impresso apenas outro que não o seu padrão (isso significa correspondência invertida).

Para obter um resultado semelhante no local, grepvocê pode fazer o seguinte:

echo "$(grep -v "pattern" filename)" >filename

SED:

• '/James\|John/d'
• -n '/James\|John/!p'

AWK:

• '!/James|John/'
• /James|John/ {next;} {print}

GREP:

• -v 'James\|John'

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

O primeiro comando edita o (s) arquivo (s) no local (-i).

O segundo comando faz a mesma coisa, mas mantém uma cópia ou backup dos arquivos originais, adicionando .bk aos nomes dos arquivos (.bk pode ser alterado para qualquer coisa).

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

Caso alguém queira fazer isso para correspondências exatas de strings, você pode usar a -wflag em grep - w para todo. Ou seja, por exemplo, se você deseja excluir as linhas que têm o número 11, mas mantenha as linhas com o número 111:

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

Também funciona com o -fsinalizador se você deseja excluir vários padrões exatos ao mesmo tempo. Se "lista negra" for um arquivo com vários padrões em cada linha que você deseja excluir de "arquivo":

grep -w -v -f blacklist file

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

para mostrar o texto tratado no console

cat filename | sed '/text to remove/d' 

salvar texto tratado em um arquivo

cat filename | sed '/text to remove/d' > newfile

anexar informações de texto tratadas a um arquivo existente

cat filename | sed '/text to remove/d' >> newfile

para tratar o texto já tratado, neste caso, remova mais linhas do que foi removido

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

o | moretexto será exibido em pedaços de uma página por vez.

Você pode usar o bom e velho edpara editar um arquivo de maneira semelhante à resposta usada ex. A grande diferença nesse caso é que edrecebe seus comandos por meio da entrada padrão, não como argumentos de linha de comando como expode. Ao usá-lo em um script, a maneira usual de acomodar isso é usar printfpara canalizar comandos para ele:

printf "%s\n" "g/pattern/d" w | ed -s filename

ou com um heredoc:

ed -s filename <<EOF
g/pattern/d
w
EOF