TypeError: não é possível usar um padrão de string em um objeto semelhante a bytes em re.findall ()

108

Estou tentando aprender como buscar urls automaticamente em uma página. No código a seguir, estou tentando obter o título da página da web:

import urllib.request
import re

url = "http://www.google.com"
regex = r'<title>(,+?)</title>'
pattern  = re.compile(regex)

with urllib.request.urlopen(url) as response:
   html = response.read()

title = re.findall(pattern, html)
print(title)

E recebo este erro inesperado:

Traceback (most recent call last):
  File "path\to\file\Crawler.py", line 11, in <module>
    title = re.findall(pattern, html)
  File "C:\Python33\lib\re.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

O que estou fazendo de errado?

python python-3.x web-crawler

— Inspired_Blue
fonte

1

possível duplicata de Convert bytes to a string Python

— mosquito

161

Você deseja converter html (um objeto semelhante a um byte) em uma string usando .decode, por exemplo html = response.read().decode('utf-8').

Consulte Converter bytes em uma string Python

— rochoso
fonte

Isso resolveu o erro, TypeError: cannot use a string pattern on a bytes-like objectmas depois recebi erros como UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb2 in position 1: invalid start byte. .decode("utf-8", "ignore")

— Corrigi-o

"ignore" ignora. Se é isso que você quer, então está tudo bem. No entanto, às vezes esse tipo de problema esconde um problema mais profundo, por exemplo, que a coisa que você deseja decodificar realmente não é decodificável ou deveria ser, por exemplo, texto compactado ou criptografado. Ou pode precisar de alguma outra codificação como utf-16. Caveat emptor.

— rochoso

28

O problema é que sua regex é uma string, mas htmlé bytes :

>>> type(html)
<class 'bytes'>

Como o python não sabe como esses bytes são codificados, ele lança uma exceção quando você tenta usar um regex de string neles.

Você pode converter decodeos bytes em uma string:

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

Ou use um regex de bytes:

regex = rb'<title>(,+?)</title>'
#        ^

Neste contexto específico, você pode obter a codificação dos cabeçalhos de resposta:

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

Veja a urlopendocumentação para mais detalhes.

— Aran-Fey
fonte