Como usar o sed / grep para extrair texto entre duas palavras?

Estou tentando gerar uma string que contém tudo entre duas palavras de uma string:

entrada:

"Here is a String"

resultado:

"is a"

Usando:

sed -n '/Here/,/String/p'

inclui os pontos de extremidade, mas não quero incluí-los.

sed -e 's/Here\(.*\)String/\1/'

O GNU grep também pode suportar um olhar positivo e negativo positivo: para o seu caso, o comando seria:

echo "Here is a string" | grep -o -P '(?<=Here).*(?=string)'

Se houver várias ocorrências de Heree string, você poderá escolher se deseja corresponder da primeira Heree da última stringou individualmente. Em termos de regex, é chamado de correspondência gananciosa (primeiro caso) ou correspondência não gananciosa (segundo caso)

$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*(?=string)' # Greedy match
 is a string, and Here is another 
$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*?(?=string)' # Non-greedy match (Notice the '?' after '*' in .*)
 is a 
 is another 

A resposta aceita não remove o texto que poderia ser antes Hereou depois String. Isso vai:

sed -e 's/.*Here\(.*\)String.*/\1/'

A principal diferença é a adição de .*imediatamente antes Heree depois String.

Você pode retirar as strings apenas no Bash :

$ foo="Here is a String"
$ foo=${foo##*Here }
$ echo "$foo"
is a String
$ foo=${foo%% String*}
$ echo "$foo"
is a
$

E se você tem um GNU grep que inclui PCRE , pode usar uma asserção de largura zero:

$ echo "Here is a String" | grep -Po '(?<=(Here )).*(?= String)'
is a

Através do GNU awk,

$ echo "Here is a string" | awk -v FS="(Here|string)" '{print $2}'
 is a 

O grep com -P( perl-regexp ) suporta os parâmetros \K, o que ajuda a descartar os caracteres correspondidos anteriormente. No nosso caso, a string correspondida anteriormente foi Heredescartada da saída final.

$ echo "Here is a string" | grep -oP 'Here\K.*(?=string)'
 is a 
$ echo "Here is a string" | grep -oP 'Here\K(?:(?!string).)*'
 is a 

Se você deseja que a saída seja is a, tente o seguinte,

$ echo "Here is a string" | grep -oP 'Here\s*\K.*(?=\s+string)'
is a
$ echo "Here is a string" | grep -oP 'Here\s*\K(?:(?!\s+string).)*'
is a

Se você possui um arquivo longo com muitas ocorrências de várias linhas, é útil imprimir primeiro as linhas numéricas:

cat -n file | sed -n '/Here/,/String/p'

Isso pode funcionar para você (GNU sed):

sed '/Here/!d;s//&\n/;s/.*\n//;:a;/String/bb;$!{n;ba};:b;s//\n&/;P;D' file 

Isso apresenta cada representação do texto entre dois marcadores (nesta instância Heree String) em uma nova linha e preserva as novas linhas dentro do texto.

Todas as soluções acima apresentam deficiências onde a última sequência de pesquisa é repetida em outro local da sequência. Eu achei melhor escrever uma função bash.

    function str_str {
      local str
      str="${1#*${2}}"
      str="${str%%$3*}"
      echo -n "$str"
    }

    # test it ...
    mystr="this is a string"
    str_str "$mystr" "this " " string"

Você pode usar dois comandos s

$ echo "Here is a String" | sed 's/.*Here//; s/String.*//'
 is a 

Também funciona

$ echo "Here is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a

$ echo "Here is a StringHere is a StringHere is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a 

Para entender o sedcomando, precisamos construí-lo passo a passo.

Aqui está o seu texto original

user@linux:~$ echo "Here is a String"
Here is a String
user@linux:~$ 

Vamos tentar remover a Herestring com a sopção ubstition emsed

user@linux:~$ echo "Here is a String" | sed 's/Here //'
is a String
user@linux:~$ 

Neste ponto, acredito que você seria capaz de remover Stringtambém

user@linux:~$ echo "Here is a String" | sed 's/String//'
Here is a
user@linux:~$ 

Mas este não é o resultado desejado.

Para combinar dois comandos sed, use a -eopção

user@linux:~$ echo "Here is a String" | sed -e 's/Here //' -e 's/String//'
is a
user@linux:~$ 

Espero que isto ajude

Você pode usar \1(consulte http://www.grymoire.com/Unix/Sed.html#uh-4 ):

echo "Hello is a String" | sed 's/Hello\(.*\)String/\1/g'

O conteúdo que está dentro dos colchetes será armazenado como \1.

Problema. Minhas mensagens de correio de garras armazenadas são agrupadas da seguinte maneira e estou tentando extrair as linhas de assunto:

Subject: [SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular
 link in major cell growth pathway: Findings point to new potential
 therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is
 Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as
 a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway
 identified [Lysosomal amino acid transporter SLC38A9 signals arginine
 sufficiency to mTORC1]]
Message-ID: <20171019190902.18741771@VictoriasJourney.com>

Por A2 neste tópico, como usar o sed / grep para extrair texto entre duas palavras? a primeira expressão, abaixo, "funciona", desde que o texto correspondente não contenha uma nova linha:

grep -o -P '(?<=Subject: ).*(?=molecular)' corpus/01

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key

No entanto, apesar de tentar várias variantes ( .+?; /s; ...), não consegui fazê-las funcionar:

grep -o -P '(?<=Subject: ).*(?=link)' corpus/01
grep -o -P '(?<=Subject: ).*(?=therapeutic)' corpus/01
etc.

Solução 1.

Por extrair texto entre duas strings em linhas diferentes

sed -n '/Subject: /{:a;N;/Message-ID:/!ba; s/\n/ /g; s/\s\s*/ /g; s/.*Subject: \|Message-ID:.*//g;p}' corpus/01

que dá

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]                              

Solução 2. *

Por Como posso substituir uma nova linha (\ n) usando sed?

sed ':a;N;$!ba;s/\n/ /g' corpus/01

substituirá as novas linhas por um espaço.

Encadeando isso com A2 em Como usar o sed / grep para extrair texto entre duas palavras? , Nós temos:

sed ':a;N;$!ba;s/\n/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

que dá

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular  link in major cell growth pathway: Findings point to new potential  therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is  Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as  a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway  identified [Lysosomal amino acid transporter SLC38A9 signals arginine  sufficiency to mTORC1]] 

Essa variante remove espaços duplos:

sed ':a;N;$!ba;s/\n/ /g; s/\s\s*/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

dando

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]