Como usar o Python para acessar uma página da Web e recuperar cookies para uso posterior?

Quero baixar e analisar a página da Web usando python, mas para acessá-la, preciso de um conjunto de cookies. Portanto, preciso fazer login através de https na página da web primeiro. O momento do login envolve o envio de dois parâmetros POST (nome de usuário, senha) para /login.php. Durante a solicitação de login, desejo recuperar os cookies do cabeçalho da resposta e armazená-los para que eu possa usá-los na solicitação para baixar a página da Web /data.php.

Como eu faria isso em python (de preferência 2,6)? Se possível, eu quero apenas usar módulos internos.

import urllib, urllib2, cookielib

username = 'myuser'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username' : username, 'j_password' : password})
opener.open('http://www.example.com/login.php', login_data)
resp = opener.open('http://www.example.com/hiddenpage.php')
print resp.read()

resp.read()é o html direto da página que você deseja abrir e pode ser usado openerpara exibir qualquer página usando o cookie de sessão.

Aqui está uma versão usando a excelente biblioteca de solicitações :

from requests import session

payload = {
    'action': 'login',
    'username': USERNAME,
    'password': PASSWORD
}

with session() as c:
    c.post('http://example.com/login.php', data=payload)
    response = c.get('http://example.com/protected_page.php')
    print(response.headers)
    print(response.text)