Como posso ver toda a solicitação HTTP que está sendo enviada pelo meu aplicativo Python?


263

No meu caso, estou usando a requestsbiblioteca para chamar a API do PayPal por HTTPS. Infelizmente, estou recebendo um erro do PayPal, e o suporte ao PayPal não consegue descobrir qual é o erro ou o que está causando isso. Eles querem que eu "forneça toda a solicitação, cabeçalhos incluídos".

Como eu posso fazer isso?

Respostas:


499

Um método simples: habilite o log nas versões recentes dos Pedidos (1.xe superior).

Os pedidos usam a configuração do módulo http.cliente loggingpara controlar a verbosidade do log, conforme descrito aqui .

Demonstração

Código extraído da documentação vinculada:

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

Saída de exemplo

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226

1
Obrigado, @ EmmettJ.Butler =) Embora eu não tenha certeza de que essas informações estavam disponíveis no momento da consulta original.
Inativista

9
Observe que o activationplib não está disponível no Python 3. Para tornar o código portátil, substitua import httplibpor import requests.packages.urllib3.connectionpool as httplibou use six e from six.moves import http_client as httplib.
Jason R. Coombs

No requests2.18.1 e no Python 3, o criador de logs logging.getLogger("requests.packages.urllib3")não existe ou não tem efeito.
Flimm

1
para Python3 ver aqui - docs.python-requests.org/en/latest/api/?highlight=debug from http.client import HTTPConnection
shershen

Infelizmente, as linhas "send:" "reply:" e "header:" não são realmente registradas, mas apenas impressas no stdout. Mas eu quero ter essas informações nos arquivos de log!
Lesnik

145
r = requests.get('https://api.github.com', auth=('user', 'pass'))

ré uma resposta. Possui um atributo de solicitação com as informações necessárias.

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers fornece os cabeçalhos:

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

Então r.request.datatem o corpo como um mapeamento. Você pode converter isso com, urllib.urlencodese eles preferirem:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

dependendo do tipo de resposta, o .dataatributo - pode estar ausente e um .bodyatributo - estará lá.


14
Qual destes me dá "a solicitação inteira, cabeçalhos incluídos"?
Chris B.

1
acrescentou um pouco mais. O que mais você precisa além dos cabeçalhos e do corpo?
Skylar Saveland

8
Não tenho muita certeza do que eles estão procurando. Eu esperava capturar tudo o que havia acontecido por eles, naquele formato exato, byte por byte.
Chris B.

18
Esta é a maneira preferida de fazê-lo no meu caso. Apenas uma nota: a response.requestparece ser uma PreparedRequestno meu caso; não tem .datamas em .bodyvez disso.
Antti Haapala

2
para o URL completo (com os parâmetros querystring) você também pode usar response.url (que é um pouco diferente, em que não éresponse.request...
Chuck van der Linden

7

Você pode usar o HTTP Toolkit para fazer exatamente isso.

É especialmente útil se você precisar fazer isso rapidamente, sem alterações de código: você pode abrir um terminal a partir do HTTP Toolkit, executar qualquer código Python a partir daí, normalmente, e poderá ver o conteúdo completo de todos os HTTP / HTTPS solicitar imediatamente.

Existe uma versão gratuita que pode fazer tudo o que você precisa e é 100% open source.

Eu sou o criador do HTTP Toolkit; Eu mesmo o construí para resolver exatamente o mesmo problema para mim há um tempo! Eu também estava tentando depurar uma integração de pagamento, mas o SDK deles não funcionou, eu não sabia o porquê e precisava saber o que realmente estava acontecendo para corrigi-lo corretamente. É muito frustrante, mas poder ver o tráfego bruto realmente ajuda.


5

Se você estiver usando o Python 2.x, tente instalar um abridor de urllib2 . Isso deve imprimir seus cabeçalhos, embora você possa combinar isso com outros abridores que estiver usando para acessar o HTTPS.

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)

2

A verboseopção de configuração pode permitir que você veja o que deseja. Há um exemplo na documentação .

NOTA: Leia os comentários abaixo: As opções de configuração detalhadas não parecem mais disponíveis.


3
Há sim? Realmente não consigo encontrá-lo.
precisa saber é o seguinte


2
Ah, isso explicaria isso. :) Ainda assim, agora essa pergunta é válida novamente, porque não consegui encontrar uma maneira de imprimir todo o tráfego entre o servidor e o cliente para depuração.
precisa saber é o seguinte

1
Existe uma "nova maneira recomendada" de obter o mesmo efeito que o log detalhado?
cbare

1
Minha resposta demonstra o método correto para solicitações 1.xe superiores.
Inativista
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.