Qual é a maneira mais rápida de obter HTTP HTTP em Python?

Qual é a maneira mais rápida de obter HTTP HTTP em Python se eu souber que o conteúdo será uma string? Estou pesquisando na documentação por uma única linha rápida, como:

contents = url.get("http://example.com/foo/bar")

Mas tudo o que consigo encontrar usando o Google é httplibe urllib- e não consigo encontrar um atalho nessas bibliotecas.

O Python 2.5 padrão possui um atalho de alguma forma, como acima, ou devo escrever uma função url_get?

1. Eu preferiria não capturar a saída do bombardeio para wgetou curl.

Python 3:

import urllib.request
contents = urllib.request.urlopen("http://example.com/foo/bar").read()

Python 2:

import urllib2
contents = urllib2.urlopen("http://example.com/foo/bar").read()

Documentação para urllib.requeste read.

Você pode usar uma biblioteca chamada solicitações .

import requests
r = requests.get("http://example.com/foo/bar")

Isso é bem fácil. Então você pode fazer assim:

>>> print(r.status_code)
>>> print(r.headers)
>>> print(r.content)

Se você deseja que a solução com o Activplib2 seja oneliner, considere instanciar um objeto Http anônimo

import httplib2
resp, content = httplib2.Http().request("http://example.com/foo/bar")

Dê uma olhada no httplib2 , que - ao lado de muitos recursos muito úteis - fornece exatamente o que você deseja.

import httplib2

resp, content = httplib2.Http().request("http://example.com/foo/bar")

Onde o conteúdo seria o corpo da resposta (como uma string) e o resp conteria os cabeçalhos de status e resposta.

No entanto, ele não vem incluído em uma instalação python padrão (mas requer apenas python padrão), mas definitivamente vale a pena conferir.

É simples o suficiente com os poderosos urllib3 biblioteca.

Importe-o assim:

import urllib3

http = urllib3.PoolManager()

E faça uma solicitação como esta:

response = http.request('GET', 'https://example.com')

print(response.data) # Raw data.
print(response.data.decode('utf-8')) # Text.
print(response.status) # Status code.
print(response.headers['Content-Type']) # Content type.

Você também pode adicionar cabeçalhos:

response = http.request('GET', 'https://example.com', headers={
    'key1': 'value1',
    'key2': 'value2'
})

Mais informações podem ser encontradas na documentação do urllib3 .

urllib3é muito mais seguro e fácil de usar do que o módulo urllib.requestou httpmódulos internos e é estável.

A solução do wget para o wget é realmente útil, no entanto, descobri que não imprime o progresso durante o processo de download. É perfeito se você adicionar uma linha após a declaração de impressão no reporthook.

import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Aqui está um script wget no Python:

# From python cookbook, 2nd edition, page 487
import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Sem mais importações necessárias, esta solução funciona (para mim) - também com https:

try:
    import urllib2 as urlreq # Python 2.x
except:
    import urllib.request as urlreq # Python 3.x
req = urlreq.Request("http://example.com/foo/bar")
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36')
urlreq.urlopen(req).read()

Frequentemente, tenho dificuldade em capturar o conteúdo quando não especifico um "User-Agent" nas informações do cabeçalho. Normalmente, os pedidos são cancelados com algo como: urllib2.HTTPError: HTTP Error 403: Forbiddenou urllib.error.HTTPError: HTTP Error 403: Forbidden.

Como também enviar cabeçalhos

Python 3:

import urllib.request
contents = urllib.request.urlopen(urllib.request.Request(
    "https://api.github.com/repos/cirosantilli/linux-kernel-module-cheat/releases/latest",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Python 2:

import urllib2
contents = urllib2.urlopen(urllib2.Request(
    "https://api.github.com",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Se você estiver trabalhando especificamente com APIs HTTP, também há opções mais convenientes, como Nap .

Por exemplo, veja como obter dicas do Github desde 1º de maio de 2014 :

from nap.url import Url
api = Url('https://api.github.com')

gists = api.join('gists')
response = gists.get(params={'since': '2014-05-01T00:00:00Z'})
print(response.json())

Mais exemplos: https://github.com/kimmobrunfeldt/nap#examples

Excelentes soluções Xuan, Theller.

Para que ele funcione com o python 3, faça as seguintes alterações

import sys, urllib.request

def reporthook(a, b, c):
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c))
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print (url, "->", file)
    urllib.request.urlretrieve(url, file, reporthook)
print

Além disso, o URL digitado deve ser precedido por um "http: //", caso contrário, ele retornará um erro de tipo de URL desconhecido.

Para python >= 3.6, você pode usar o dload :

import dload
t = dload.text(url)

Para json:

j = dload.json(url)

Instalar:
pip install dload

Na verdade, em python, podemos ler URLs como arquivos, aqui está um exemplo para ler json da API.

import json

from urllib.request import urlopen

with urlopen(url) as f:

resp = json.load(f)

return resp['some_key']

Se você deseja uma API de nível inferior:

import http.client

conn = http.client.HTTPSConnection('example.com')
conn.request('GET', '/')

resp = conn.getresponse()
content = resp.read()

conn.close()

text = content.decode('utf-8')

print(text)