Tendo um script ou mesmo um subsistema de uma aplicação para depuração de protocolo de rede, é desejável ver quais são exatamente os pares solicitação-resposta, incluindo URLs efetivos, cabeçalhos, cargas úteis e o status. E normalmente não é prático instrumentar solicitações individuais em todos os lugares. Ao mesmo tempo, há considerações de desempenho que sugerem o uso de um único (ou poucos especializados) requests.Session, portanto, o seguinte pressupõe que a sugestão seja seguida.
requestssuporta os chamados ganchos de evento (a partir de 2.23, na verdade, só há responseganchos). É basicamente um ouvinte de evento e o evento é emitido antes de retornar o controle de requests.request. Neste momento, a solicitação e a resposta estão totalmente definidas, portanto, podem ser registradas.
import logging
import requests
logger = logging.getLogger('httplogger')
def logRoundtrip(response, *args, **kwargs):
extra = {'req': response.request, 'res': response}
logger.debug('HTTP roundtrip', extra=extra)
session = requests.Session()
session.hooks['response'].append(logRoundtrip)
É basicamente assim que registrar todas as viagens de ida e volta HTTP de uma sessão.
Formatando registros de log de ida e volta de HTTP
Para que o registro acima seja útil, pode haver um formatador de registro especializado que entende reqe resextras nos registros de registro. Pode ser assim:
import textwrap
class HttpFormatter(logging.Formatter):
def _formatHeaders(self, d):
return '\n'.join(f'{k}: {v}' for k, v in d.items())
def formatMessage(self, record):
result = super().formatMessage(record)
if record.name == 'httplogger':
result += textwrap.dedent('''
---------------- request ----------------
{req.method} {req.url}
{reqhdrs}
{req.body}
---------------- response ----------------
{res.status_code} {res.reason} {res.url}
{reshdrs}
{res.text}
''').format(
req=record.req,
res=record.res,
reqhdrs=self._formatHeaders(record.req.headers),
reshdrs=self._formatHeaders(record.res.headers),
)
return result
formatter = HttpFormatter('{asctime} {levelname} {name} {message}', style='{')
handler = logging.StreamHandler()
handler.setFormatter(formatter)
logging.basicConfig(level=logging.DEBUG, handlers=[handler])
Agora, se você fizer algumas solicitações usando o session, como:
session.get('https://httpbin.org/user-agent')
session.get('https://httpbin.org/status/200')
A saída para stderrserá a seguinte.
2020-05-14 22:10:13,224 DEBUG urllib3.connectionpool Starting new HTTPS connection (1): httpbin.org:443
2020-05-14 22:10:13,695 DEBUG urllib3.connectionpool https://httpbin.org:443 "GET /user-agent HTTP/1.1" 200 45
2020-05-14 22:10:13,698 DEBUG httplogger HTTP roundtrip
---------------- request ----------------
GET https://httpbin.org/user-agent
User-Agent: python-requests/2.23.0
Accept-Encoding: gzip, deflate
Accept: */*
Connection: keep-alive
None
---------------- response ----------------
200 OK https://httpbin.org/user-agent
Date: Thu, 14 May 2020 20:10:13 GMT
Content-Type: application/json
Content-Length: 45
Connection: keep-alive
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
{
"user-agent": "python-requests/2.23.0"
}
2020-05-14 22:10:13,814 DEBUG urllib3.connectionpool https://httpbin.org:443 "GET /status/200 HTTP/1.1" 200 0
2020-05-14 22:10:13,818 DEBUG httplogger HTTP roundtrip
---------------- request ----------------
GET https://httpbin.org/status/200
User-Agent: python-requests/2.23.0
Accept-Encoding: gzip, deflate
Accept: */*
Connection: keep-alive
None
---------------- response ----------------
200 OK https://httpbin.org/status/200
Date: Thu, 14 May 2020 20:10:13 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 0
Connection: keep-alive
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
Uma maneira de GUI
Quando você tem muitas consultas, ter uma IU simples e uma maneira de filtrar registros é útil. Vou mostrar como usar o Chronologer para isso (do qual sou o autor).
Primeiro, o gancho foi reescrito para produzir registros que loggingpodem ser serializados durante o envio por fio. Pode ser assim:
def logRoundtrip(response, *args, **kwargs):
extra = {
'req': {
'method': response.request.method,
'url': response.request.url,
'headers': response.request.headers,
'body': response.request.body,
},
'res': {
'code': response.status_code,
'reason': response.reason,
'url': response.url,
'headers': response.headers,
'body': response.text
},
}
logger.debug('HTTP roundtrip', extra=extra)
session = requests.Session()
session.hooks['response'].append(logRoundtrip)
Em segundo lugar, a configuração de registro deve ser adaptada para uso logging.handlers.HTTPHandler(o que o Chronologer entende).
import logging.handlers
chrono = logging.handlers.HTTPHandler(
'localhost:8080', '/api/v1/record', 'POST', credentials=('logger', ''))
handlers = [logging.StreamHandler(), chrono]
logging.basicConfig(level=logging.DEBUG, handlers=handlers)
Finalmente, execute a instância do Chronologer. por exemplo, usando Docker:
docker run --rm -it -p 8080:8080 -v /tmp/db \
-e CHRONOLOGER_STORAGE_DSN=sqlite:////tmp/db/chrono.sqlite \
-e CHRONOLOGER_SECRET=example \
-e CHRONOLOGER_ROLES="basic-reader query-reader writer" \
saaj/chronologer \
python -m chronologer -e production serve -u www-data -g www-data -m
E execute as solicitações novamente:
session.get('https://httpbin.org/user-agent')
session.get('https://httpbin.org/status/200')
O gerenciador de fluxo produzirá:
DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org:443
DEBUG:urllib3.connectionpool:https://httpbin.org:443 "GET /user-agent HTTP/1.1" 200 45
DEBUG:httplogger:HTTP roundtrip
DEBUG:urllib3.connectionpool:https://httpbin.org:443 "GET /status/200 HTTP/1.1" 200 0
DEBUG:httplogger:HTTP roundtrip
Agora, se você abrir http: // localhost: 8080 / (use "logger" para nome de usuário e senha vazia para o pop-up de autenticação básica) e clicar no botão "Abrir", você verá algo como:
