Como usar o PyCharm para depurar projetos Scrapy

Estou trabalhando no Scrapy 0.20 com Python 2.7. Descobri que o PyCharm tem um bom depurador Python. Eu quero testar minhas aranhas Scrapy usando isso. Alguém sabe fazer isso por favor?

O que eu tentei

File->Setting->Project structure->Add content root.

Mas eu não sei o que mais eu tenho que fazer

O scrapycomando é um script python, o que significa que você pode iniciá-lo de dentro do PyCharm.

Ao examinar o binário scrapy ( which scrapy), você notará que este é na verdade um script Python:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

Isso significa que um comando como scrapy crawl IcecatCrawlertambém pode ser executado assim:python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

Tente encontrar o pacote scrapy.cmdline. No meu caso, o local era aqui:/Library/Python/2.7/site-packages/scrapy/cmdline.py

Crie uma configuração de execução / depuração dentro do PyCharm com esse script como script. Preencha os parâmetros do script com o comando scrapy e spider. Neste caso crawl IcecatCrawler.

Como isso:

Coloque seus pontos de interrupção em qualquer lugar em seu código de rastreamento e ele deve funcionar ™.

Você só precisa fazer isso.

Crie um arquivo Python na pasta do rastreador em seu projeto. Usei main.py.

• Projeto
  • rastejante
    • rastejante
      • Aranhas
      • ...
    • main.py
    • scrapy.cfg

Dentro do seu main.py coloque este código abaixo.

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

E você precisa criar uma "Configuração de execução" para executar o main.py.

Fazendo isso, se você colocar um ponto de interrupção em seu código, ele irá parar por aí.

A partir de 2018.1 isso se tornou muito mais fácil. Agora você pode selecionar Module nameno seu projeto Run/Debug Configuration. Defina como scrapy.cmdlinee Working directorycomo o diretório raiz do projeto scrapy (aquele com settings.pyele).

Igual a:

Agora você pode adicionar pontos de interrupção para depurar seu código.

Estou executando o scrapy em um virtualenv com Python 3.5.0 e definindo o parâmetro "script" para /path_to_project_env/env/bin/scrapyresolver o problema para mim.

idéia intellij também funciona.

crie main.py :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

mostre abaixo:

Para adicionar um pouco à resposta aceita, depois de quase uma hora descobri que tinha que selecionar a configuração de execução correta na lista suspensa (perto do centro da barra de ferramentas do ícone) e, em seguida, clicar no botão Depurar para fazê-lo funcionar. Espero que isto ajude!

Também estou usando o PyCharm, mas não estou usando seus recursos de depuração integrados.

Estou usando para depuração ipdb. Eu configurei um atalho de teclado para inserir import ipdb; ipdb.set_trace()em qualquer linha onde desejo que o ponto de interrupção aconteça.

Então posso digitar npara executar a próxima instrução, spara entrar em uma função, digitar qualquer nome de objeto para ver seu valor, alterar o ambiente de execução, digitar cpara continuar a execução ...

Isso é muito flexível, funciona em ambientes diferentes do PyCharm, onde você não controla o ambiente de execução.

Basta digitar em seu ambiente virtual pip install ipdbe colocar import ipdb; ipdb.set_trace()em uma linha onde deseja que a execução seja interrompida.

De acordo com a documentação https://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

Eu uso este script simples:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()

Estendendo a versão de @Rodrigo da resposta, adicionei este script e agora posso definir o nome da aranha a partir da configuração em vez de alterar a string.

import sys
from scrapy import cmdline

cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())