Perguntas com a marcação «scrapy»

Fechadas. Esta pergunta não atende às diretrizes de estouro de pilha . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Stack Overflow. Fechado há 5 anos . Estou tentando colocar uma lista de possíveis soluções para testes automáticos …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

Quero instalar o Lxml para poder instalar o Scrapy. Quando atualizei meu Mac hoje, ele não me permitiu reinstalar o lxml, recebo o seguinte erro: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. error: command 'cc' failed with exit status …

234 python  xcode  macos  scrapy  lxml 

Estou tentando instalar o framework Scrapy Python no OSX 10.11 (El Capitan) via pip. O script de instalação baixa os módulos necessários e, em algum momento, retorna o seguinte erro: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' Tentei desativar o recurso sem raiz no OSX 10.11 com o comando: sudo …

206 python  macos  python-2.7  scrapy 

Eu recentemente aprendi Python e estou mergulhando minha mão na construção de um raspador de web. Não é nada extravagante; seu único objetivo é obter os dados de um site de apostas e colocá-los no Excel. A maioria dos problemas é solucionável e estou tendo uma boa bagunça. No entanto, …

145 javascript  python  ajax  screen-scraping  scrapy 

Quero criar um site que mostre a comparação entre o preço do produto amazon e e-bay. Qual destes funcionará melhor e por quê? Estou familiarizado com o BeautifulSoup, mas não com o rastreador Scrapy .

134 python  beautifulsoup  scrapy  web-crawler 

Estou tentando passar um argumento definido pelo usuário para um scrapy's spider. Alguém pode sugerir como fazer isso? Eu li sobre um parâmetro em -aalgum lugar, mas não tenho ideia de como usá-lo.

100 python  scrapy  web-crawler 

Estou trabalhando no Scrapy 0.20 com Python 2.7. Descobri que o PyCharm tem um bom depurador Python. Eu quero testar minhas aranhas Scrapy usando isso. Alguém sabe fazer isso por favor? O que eu tentei Na verdade, tentei executar o spider como um script. Como resultado, criei esse script. Então, …

97 python  debugging  python-2.7  scrapy  pycharm