Como obter a parte de um arquivo após a primeira linha que corresponde a uma expressão regular?

Eu tenho um arquivo com cerca de 1000 linhas. Quero a parte do meu arquivo após a linha que corresponde à minha declaração grep.

Isso é:

$ cat file | grep 'TERMINATE'     # It is found on line 534

Então, quero o arquivo da linha 535 à linha 1000 para processamento adicional.

Como eu posso fazer isso?

A seguir, imprimirá a linha correspondente TERMINATEaté o final do arquivo:

sed -n -e '/TERMINATE/,$p'

Explicado: -n desativa o comportamento padrão sedde imprimir cada linha depois de executar seu script, -eindicar um script para sed, /TERMINATE/,$é uma seleção de intervalo de endereço (linha), o que significa que a primeira linha corresponde à TERMINATEexpressão regular (como grep) no final do arquivo ( $) , e pé o comando de impressão que imprime a linha atual.

Isso será impresso a partir da linha que segue a linha correspondente TERMINATEaté o final do arquivo:
(de APÓS a linha correspondente a EOF, NÃO incluindo a linha correspondente)

sed -e '1,/TERMINATE/d'

Explicado: 1,/TERMINATE/ é uma seleção de faixa de endereço (linha) que significa a primeira linha da entrada da 1ª linha correspondente à TERMINATEexpressão regular e dé o comando delete que exclui a linha atual e pula para a próxima linha. Como sedo comportamento padrão é imprimir as linhas, ele imprimirá as linhas após TERMINATE o final da entrada.

Editar:

Se você deseja as linhas antes TERMINATE:

sed -e '/TERMINATE/,$d'

E se você deseja as duas linhas antes e depois TERMINATEem 2 arquivos diferentes em uma única passagem:

sed -e '1,/TERMINATE/w before
/TERMINATE/,$w after' file

Os arquivos antes e depois conterão a linha com terminação, para processar cada um que você precisa usar:

head -n -1 before
tail -n +2 after

Edit2:

Se você não desejar codificar os nomes de arquivos no script sed, poderá:

before=before.txt
after=after.txt
sed -e "1,/TERMINATE/w $before
/TERMINATE/,\$w $after" file

Mas então você precisa escapar do $significado da última linha para que o shell não tente expandir a $wvariável (observe que agora usamos aspas duplas ao redor do script em vez de aspas simples).

Esqueci de dizer que a nova linha é importante após os nomes dos arquivos no script, para que o sed saiba que os nomes dos arquivos terminam.

Edição: 2016-0530

Sébastien Clément perguntou: "Como você substituiria o código fixo TERMINATEpor uma variável?"

Você faria uma variável para o texto correspondente e, em seguida, faria da mesma maneira que no exemplo anterior:

matchtext=TERMINATE
before=before.txt
after=after.txt
sed -e "1,/$matchtext/w $before
/$matchtext/,\$w $after" file

para usar uma variável para o texto correspondente com os exemplos anteriores:

## Print the line containing the matching text, till the end of the file:
## (from the matching line to EOF, including the matching line)
matchtext=TERMINATE
sed -n -e "/$matchtext/,\$p"

## Print from the line that follows the line containing the 
## matching text, till the end of the file:
## (from AFTER the matching line to EOF, NOT including the matching line)
matchtext=TERMINATE
sed -e "1,/$matchtext/d"

## Print all the lines before the line containing the matching text:
## (from line-1 to BEFORE the matching line, NOT including the matching line)
matchtext=TERMINATE
sed -e "/$matchtext/,\$d"

Os pontos importantes sobre a substituição de texto por variáveis ​​nesses casos são:

1. Variáveis ​​( $variablename) incluídas em single quotes[ '] não serão "expandidas", mas variáveis ​​dentro de double quotes[ "] serão. Portanto, você deve alterar todos os single quotespara double quotesse eles contiverem texto que você deseja substituir por uma variável.
2. As sedfaixas também conter um $e são imediatamente seguidos por uma letra como: $p, $d, $w. Eles também irá olhar como variáveis a serem expandidas, então você tem que escapar esses $caracteres com uma barra invertida [ \] como: \$p, \$d, \$w.

Como uma aproximação simples, você pode usar

grep -A100000 TERMINATE file

que cumprimenta TERMINATE e gera até 100000 linhas após essa linha.

Da página do manual

-A NUM, --after-context=NUM

Imprima NUM linhas do contexto à direita após as linhas correspondentes. Coloca uma linha que contém um separador de grupo (-) entre grupos contíguos de correspondências. Com a opção -o ou --only-matching, isso não tem efeito e um aviso é dado.

Uma ferramenta para usar aqui é awk:

cat file | awk 'BEGIN{ found=0} /TERMINATE/{found=1}  {if (found) print }'

Como é que isso funciona:

1. Definimos a variável 'encontrada' como zero, avaliando false
2. se uma correspondência para 'TERMINATE' for encontrada com a expressão regular, a definiremos como uma.
3. Se a nossa variável 'found' for avaliada como True, imprima :)

As outras soluções podem consumir muita memória se você as usar em arquivos muito grandes.

Se entendi sua pergunta corretamente, você deseja as linhas depois TERMINATE , sem incluir a TERMINATElinha. awkpode fazer isso de uma maneira simples:

awk '{if(found) print} /TERMINATE/{found=1}' your_file

Explicação:

1. Embora não seja uma prática recomendada, você pode confiar no fato de que todos os vars assumem o padrão 0 ou a sequência vazia, se não definida. Então a primeira expressão (if(found) print ) não imprimirá nada para começar.
2. Após a impressão, verificamos se esta é a linha de partida (que não deve ser incluída).

Isso imprimirá todas as linhas após a TERMINATElinha.

Generalização:

• Você tem um arquivo com start - e finais -lines e desejar que as linhas entre as linhas excluindo o início - e finais -lines.
• As linhas inicial e final podem ser definidas por uma expressão regular correspondente à linha.

Exemplo:

$ cat ex_file.txt 
not this line
second line
START
A good line to include
And this line
Yep
END
Nope more
...
never ever
$ awk '/END/{found=0} {if(found) print} /START/{found=1}' ex_file.txt 
A good line to include
And this line
Yep
$

Explicação:

1. Se a linha final for encontrada, nenhuma impressão deverá ser feita. Observe que essa verificação é feita antes da impressão real para excluir o final linha do resultado.
2. Imprima a linha atual se foundestiver definida.
3. Se a linha inicial for encontrada, defina found=1para que as seguintes linhas sejam impressas. Observe que essa verificação é feita após a impressão real para excluir a linha de partida do resultado.

Notas:

• O código baseia-se no fato de que todos os awk-vars assumem o padrão 0 ou a sequência vazia, se não definida. Isso é válido, mas pode não ser uma prática recomendada, portanto, você pode adicionar umBEGIN{found=0} ao início da expressão awk.
• Se forem encontrados vários blocos de início e fim , todos serão impressos.

Use a expansão de parâmetros do bash como a seguir:

content=$(cat file)
echo "${content#*TERMINATE}"

grep -Um arquivo 10000000 'TERMINATE'

• é muito, muito mais rápido que o sed, especialmente trabalhando em arquivos realmente grandes. Ele trabalha com até 10 milhões de linhas (ou o que você colocar), para não prejudicar o tamanho suficiente para lidar com qualquer coisa que você atingir.

Existem várias maneiras de fazer isso com sedou awk:

sed -n '/TERMINATE/,$p' file

Isso procura TERMINATEno seu arquivo e é impresso a partir dessa linha até o final do arquivo.

awk '/TERMINATE/,0' file

Esse é exatamente o mesmo comportamento que sed .

Caso você saiba o número da linha a partir da qual deseja iniciar a impressão, é possível especificá-la juntamente com NR(número do registro, que eventualmente indica o número da linha):

awk 'NR>=535' file

Exemplo

$ seq 10 > a        #generate a file with one number per line, from 1 to 10
$ sed -n '/7/,$p' a
7
8
9
10
$ awk '/7/,0' a
7
8
9
10
$ awk 'NR>=7' a
7
8
9
10

Se, por qualquer motivo, você desejar evitar o uso do sed, o seguinte imprimirá a linha correspondente TERMINATEaté o final do arquivo:

tail -n "+$(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)" file

e o seguinte será impresso a partir da seguinte linha correspondente TERMINATEaté o final do arquivo:

tail -n "+$(($(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)+1))" file

São necessários dois processos para fazer o que o sed pode fazer em um processo e, se o arquivo mudar entre a execução do grep e do tail, o resultado pode ser incoerente, por isso recomendo o uso do sed. Além disso, se o arquivo não contiver TERMINATE, o 1º comando falhará.

Alternativas à excelente sedresposta de jfgagne e que não incluem a linha correspondente:

• awk '/TERMINATE/ {y=1;next} y'( https://stackoverflow.com/a/18166628 )
• awk '/TERMINATE/ ? c++ : c'( https://stackoverflow.com/a/23984891 )
• perl -ne 'print unless 1 .. /TERMINATE/'( https://stackoverflow.com/a/18167194 )

Esta poderia ser uma maneira de fazê-lo. Se você souber qual linha do arquivo possui sua palavra grep e quantas linhas possui no seu arquivo:

grep -A466 'TERMINATE' arquivo

sed é uma ferramenta muito melhor para o trabalho: sed -n '/ re /, $ p' file

onde re é regexp.

Outra opção é o sinalizador - após o contexto do grep. Você precisa passar um número para finalizar, usando wc no arquivo deve fornecer o valor certo para parar em. Combine isso com -n e sua expressão de correspondência.

Eles imprimirão todas as linhas da última linha encontrada "TERMINATE" até o final do arquivo:

LINE_NUMBER=`grep -o -n TERMINATE $OSCAM_LOG|tail -n 1|sed "s/:/ \\'/g"|awk -F" " '{print $1}'`
tail -n +$LINE_NUMBER $YOUR_FILE_NAME