Como eu poderia usar solicitações no assíncio?

Quero executar tarefas de solicitação http paralela asyncio, mas acho que python-requestsisso bloquearia o loop de eventos de asyncio. Encontrei o aiohttp, mas ele não podia fornecer o serviço de solicitação http usando um proxy http.

Então, eu quero saber se há uma maneira de fazer solicitações http assíncronas com a ajuda de asyncio.

Para usar solicitações (ou quaisquer outras bibliotecas de bloqueio) com assíncrono, você pode usar BaseEventLoop.run_in_executor para executar uma função em outro encadeamento e obter resultados para obter o resultado. Por exemplo:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Isso obterá as duas respostas em paralelo.

Com o python 3.5, você pode usar a nova await/ asyncsintaxe:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Veja PEP0492 para mais.

o aiohttp já pode ser usado com o proxy HTTP:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

As respostas acima ainda estão usando as antigas corotinas do estilo Python 3.4. Aqui está o que você escreveria se tivesse o Python 3.5+.

aiohttp suporta proxy http agora

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Atualmente, os pedidos não suportam asyncioe não há planos para fornecer esse suporte. É provável que você possa implementar um "Adaptador de transporte" personalizado (como discutido aqui ) que saiba como usarasyncio .

Se eu me encontrar com algum tempo, é algo que eu realmente poderia investigar, mas não posso prometer nada.

Há um bom caso de loops e rosqueamento async / waitit em um artigo de Pimin Konstantin Kefaloukos Solicitações fáceis de HTTP paralelas com Python e asyncio :

Para minimizar o tempo total de conclusão, podemos aumentar o tamanho do conjunto de encadeamentos para corresponder ao número de solicitações que precisamos fazer. Felizmente, isso é fácil de fazer, como veremos a seguir. A lista de códigos abaixo é um exemplo de como fazer vinte solicitações HTTP assíncronas com um conjunto de threads de vinte threads de trabalho:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())