Perguntas com a marcação «beautifulsoup»

Estou tendo problemas para lidar com caracteres unicode do texto buscado em diferentes páginas da web (em sites diferentes). Estou usando o BeautifulSoup. O problema é que o erro nem sempre é reproduzível; às vezes funciona com algumas páginas e, às vezes, vomita jogando a UnicodeEncodeError. Eu tentei praticamente tudo …

1298 python  unicode  beautifulsoup  python-2.x  python-unicode 

Estou tendo problemas para analisar elementos HTML com o atributo "class" usando Beautifulsoup. O código fica assim soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div Eu recebo um erro na mesma linha "depois" do script terminar. File "./beautifulcoding.py", line 130, in getlanguage …

386 python  html  web-scraping  beautifulsoup 

... soup = BeautifulSoup(html, "lxml") File "/Library/Python/2.7/site-packages/bs4/__init__.py", line 152, in __init__ % ",".join(features)) bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? As saídas acima no meu terminal. Estou no Mac OS 10.7.x. Eu tenho o Python 2.7.1 e …

224 python  python-2.7  beautifulsoup  lxml 

Estou tentando raspar um site, mas isso gera um erro. Estou usando o seguinte código: import urllib.request from bs4 import BeautifulSoup get = urllib.request.urlopen("https://www.website.com/") html = get.read() soup = BeautifulSoup(html) print(soup) E estou recebendo o seguinte erro: File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode …

205 python  beautifulsoup  urllib 

TypeError: é necessário um objeto semelhante a bytes, não 'str' ficando acima do erro ao executar o código python abaixo para salvar os dados da tabela HTML no arquivo CSV. não sei como obter rideup.pls me ajudar. import csv import requests from bs4 import BeautifulSoup url='http://www.mapsofindia.com/districts-india/' response=requests.get(url) html=response.content soup=BeautifulSoup(html,'html.parser') table=soup.find('table', …

173 csv  python-3.x  beautifulsoup  html-table 

soup.find("tagName", { "id" : "articlebody" }) Por que isso NÃO retorna as <div id="articlebody"> ... </div>tags e outras coisas no meio? Não retorna nada. E eu sei de fato que existe, porque eu estou olhando direto para ele soup.prettify() soup.find("div", { "id" : "articlebody" }) também não funciona. ( EDIT: …

147 python  beautifulsoup 

Como recuperar os links de uma página da Web e copiar o endereço de URL dos links usando Python?

141 python  web-scraping  hyperlink  beautifulsoup 

Estou trabalhando em Python e usando o Flask. Quando executo meu arquivo Python principal no meu computador, ele funciona perfeitamente, mas quando eu ativo o venv e executo o arquivo Flask Python no terminal, ele diz que meu arquivo Python principal tem "No Module Named bs4". Quaisquer comentários ou conselhos …

138 python  beautifulsoup  flask  importerror 

Quero criar um site que mostre a comparação entre o preço do produto amazon e e-bay. Qual destes funcionará melhor e por quê? Estou familiarizado com o BeautifulSoup, mas não com o rastreador Scrapy .

134 python  beautifulsoup  scrapy  web-crawler 

Basicamente, quero usar o BeautifulSoup para capturar estritamente o texto visível em uma página da web. Por exemplo, esta página é meu caso de teste. E quero principalmente obter o texto do corpo (artigo) e talvez até alguns nomes de guias aqui e ali. Eu tentei a sugestão nesta pergunta …

124 python  text  beautifulsoup  html-content-extraction 

Quero obter todas as <a>tags que são filhas de <li>: <div> <li class="test"> <a>link1</a> <ul> <li> <a>link2</a> </li> </ul> </li> </div> Eu sei como encontrar um elemento com uma classe particular como este: soup.find("li", { "class" : "test" }) Mas não sei como encontrar todos <a>os filhos de, <li class=test>mas …

114 python  html  beautifulsoup 

Estou tentando extrair o conteúdo de um único atributo "valor" em uma tag "entrada" específica em uma página da web. Eu uso o seguinte código: import urllib f = urllib.urlopen("http://58.68.130.147") s = f.read() f.close() from BeautifulSoup import BeautifulStoneSoup soup = BeautifulStoneSoup(s) inputTag = soup.findAll(attrs={"name" : "stainfo"}) output = inputTag['value'] print …

110 python  parsing  attributes  beautifulsoup 

Estou usando o BeautifulSoup para copiar um url e tenho o seguinte código import urllib import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html" req = urllib2.Request(url) response = urllib2.urlopen(req) the_page = response.read() soup = BeautifulSoup(the_page) soup.findAll('td',attrs={'class':'empformbody'}) Agora, no código acima, podemos usar findAllpara obter tags e informações relacionadas a …

105 python  xpath  beautifulsoup  urllib 

Eu quero imprimir um valor de atributo com base em seu nome, por exemplo <META NAME="City" content="Austin"> Eu quero fazer algo assim soup = BeautifulSoup(f) //f is some HTML containing the above meta tag for meta_tag in soup('meta'): if meta_tag['name'] == 'City': print meta_tag['content'] O código acima fornece um KeyError: …

91 python  beautifulsoup 

As tags de script e todo o seu conteúdo podem ser removidos do HTML com o BeautifulSoup, ou devo usar Expressões regulares ou outra coisa?

90 python  html  beautifulsoup