O trabalho aqui é para raspar uma API um site que começa a partir https://xxx.xxx.xxx/xxx/1.json
de https://xxx.xxx.xxx/xxx/1417749.json
e escrevê-lo exatamente para MongoDB. Para isso, tenho o seguinte código:
client = pymongo.MongoClient("mongodb://127.0.0.1:27017")
db = client["thread1"]
com = db["threadcol"]
start_time = time.time()
write_log = open("logging.log", "a")
min = 1
max = 1417749
for n in range(min, max):
response = requests.get("https:/xx.xxx.xxx/{}.json".format(str(n)))
if response.status_code == 200:
parsed = json.loads(response.text)
inserted = com.insert_one(parsed)
write_log.write(str(n) + "\t" + str(inserted) + "\n")
print(str(n) + "\t" + str(inserted) + "\n")
write_log.close()
Mas está demorando muito tempo para fazer a tarefa. A questão aqui é como posso acelerar esse processo.