Como usar o grep e recortar o script para obter URLs de sites de um arquivo HTML

Estou tentando usar grep e recortar para extrair URLs de um arquivo HTML. Os links são parecidos com:

<a href="http://examplewebsite.com/">

Outros sites têm .net, .govmas eu suponho que eu poderia fazer o corte fora do ponto certo antes >. Então, eu sei que posso usar grep e cut de alguma forma para cortar tudo antes de http e depois de .com, mas estou preso há um tempo.

Como eu disse no meu comentário, geralmente não é uma boa ideia analisar HTML com Expressões regulares, mas às vezes você pode se safar se o HTML que estiver analisando for bem-comportado.

Para obter apenas URLs que estão no hrefatributo de <a>elementos, acho mais fácil fazê-lo em vários estágios. A partir dos seus comentários, parece que você deseja apenas o domínio de nível superior, não o URL completo. Nesse caso, você pode usar algo como isto:

grep -Eoi '<a [^>]+>' source.html |
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

onde source.htmlé o arquivo que contém o código HTML para analisar.

Este código imprimirá todos os URLs de nível superior que ocorrem como hrefatributo de qualquer <a>elemento em cada linha. A -iopção para o primeiro grepcomando é garantir que ele funcione nos elementos <a>e <A>. Eu acho que você também pode dar -iao segundo greppara capturar HREFatributos em maiúsculas , OTOH, eu prefiro ignorar HTML quebrado. :)

Para processar o conteúdo de http://google.com/

wget -qO- http://google.com/ |
grep -Eoi '<a [^>]+>' | 
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

saída

http://www.google.com.au
http://maps.google.com.au
https://play.google.com
http://www.youtube.com
http://news.google.com.au
https://mail.google.com
https://drive.google.com
http://www.google.com.au
http://www.google.com.au
https://accounts.google.com
http://www.google.com.au
https://www.google.com
https://plus.google.com
http://www.google.com.au

Minha saída é um pouco diferente dos outros exemplos, pois sou redirecionado para a página australiana do Google.

Não tenho certeza se você está limitado em ferramentas:

Mas regex pode não ser o melhor caminho a percorrer, como mencionado, mas aqui está um exemplo que reuni:

cat urls.html | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u

• grep -E: é o mesmo que egrep
• grep -o: gera apenas o que foi recebido
• (http | https): é um / ou
• az: é tudo em minúsculas
• AZ: é todo o caso
• . : é ponto
• \?: é ?
• *: repete o grupo [...]
• uniq: remove todas as duplicatas

Saída:

bob@bob-NE722:~s$  wget -qO- https://stackoverflow.com/ | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u
https://stackauth.com
https://meta.stackoverflow.com
https://cdn.sstatic.net/Img/svg-icons
https://stackoverflow.com
https://www.stackoverflowbusiness.com/talent
https://www.stackoverflowbusiness.com/advertising
https://stackoverflow.com/users/login?ssrc=head
https://stackoverflow.com/users/signup?ssrc=head
https://stackoverflow.com
https://stackoverflow.com/help
https://chat.stackoverflow.com
https://meta.stackoverflow.com
...

Você também pode adicionar \dpara capturar outros tipos de números.

Se o seu grep suportar as expressões regulares Perl:

grep -Po '(?<=href=")[^"]*(?=")'

• (?<=href=")e (?=")são expressões de busca para o hrefatributo. Isso precisa da -Popção.
• -o imprime o texto correspondente.

Por exemplo:

$ curl -sL https://www.google.com | grep -Po '(?<=href=")[^"]*(?=")'
/search?
https://www.google.co.in/imghp?hl=en&tab=wi
https://maps.google.co.in/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?gl=IN&tab=w1
https://news.google.co.in/nwshp?hl=en&tab=wn
...

Como de costume, não há garantia de que sejam URIs válidos ou que o HTML que você está analisando seja válido.

Como alternativa não regex , use pup :

pup 'a[href] attr{href}' < yourfile.html

Encontrará todos os aelementos que possuem um hrefatributo e exibirá o valor do hrefatributo.

Para instalar pup, você precisa do Go (uma linguagem de programação):

sudo apt-get install golang
sudo go get github.com/ericchiang/pup

A vantagem desta solução é que ela não depende do HTML estar formatado corretamente .

Eu encontrei uma solução aqui que é IMHO muito mais simples e potencialmente mais rápida do que o que foi proposto aqui. Eu ajustei um pouco para suportar arquivos https. Mas a versão TD; TR é ...

PS: Você pode substituir o URL do site por um caminho para um arquivo e ele funcionará da mesma maneira.

lynx -dump -listonly -nonumbers "http://www.goggle.com" > links.txt

lynx -dump -listonly -nonumbers "some-file.html" > links.txt

Se você quiser apenas ver os links em vez de colocá-los em um arquivo, tente fazer isso ...

lynx -dump -listonly -nonumbers "http://www.google.com"

lynx -dump -listonly -nonumbers "some-file.html"

O resultado será semelhante ao seguinte ...

http://www.google.ca/imghp?hl=en&tab=wi
http://maps.google.ca/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?gl=CA&tab=w1
http://news.google.ca/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
https://www.google.ca/intl/en/options/
http://www.google.ca/history/optout?hl=en
...
etc.

Para o meu caso de uso, isso funcionou bem. Mas cuidado com o fato de que hoje em dia, as pessoas adicionam links como src = "// blah.tld" para o CDN URI das bibliotecas. Eu não queria ver aqueles nos links recuperados.

Não é necessário tentar verificar href ou outras fontes quanto a links, porque "lynx -dump" extrai por padrão todos os links clicáveis ​​de uma determinada página. Portanto, a única coisa que você precisa fazer depois disso é analisar o resultado do "lynx -dump" usando o grep para obter uma versão bruta mais limpa do mesmo resultado.

wget -qO- google.com |
tr \" \\n | grep https\*://

... provavelmente faria muito bem. Como está escrito, ele imprime:

http://schema.org/WebPage
http://www.google.com/imghp?hl=en&tab=wi
http://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?tab=w1
http://news.google.com/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
http://www.google.com/intl/en/options/
http://www.google.com/history/optout?hl=en
https://accounts.google.com/ServiceLogin?hl=en&continue=http://www.google.com/
https://www.google.com/culturalinstitute/project/the-holocaust?utm_source=google&utm_medium=hppromo&utm_campaign=auschwitz_q1&utm_content=desktop
https://plus.google.com/116899029375914044550

Se for importante que você corresponda apenas a links e dentre esses domínios de nível superior, você pode:

wget -qO- google.com |
sed '/\n/P;//!s|<a[^>]*\(https*://[^/"]*\)|\n\1\n|;D'

... ou algo parecido - embora, para alguns seds, seja necessário substituir um \ncaractere literal de linha por cada um dos dois últimos ns.

Conforme escrito, o comando acima é impresso:

http://www.google.com
http://maps.google.com
https://play.google.com
http://www.youtube.com
http://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
http://www.google.com
http://www.google.com
https://www.google.com
https://plus.google.com

... e em ambos os casos (mas provavelmente com mais utilidade com o último), você pode aplicar um |sort -ufiltro até o final para obter a lista sorte eliminar duplicatas.

Mais curto

grep -r http . --color

echo "<a href="http://examplewebsite.com/">"|sed -r 's:<.*"::g'|sed 's:/">$::g'