2017年10月27日
python爬虫Scrapy及其性能相关
摘要： 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1 import requests 2 3 def fetch_async(url): 4 response = requests.get(url) 5 return response 阅读全文
posted @ 2017-10-27 09:27 星空下的夜 阅读(1288) 评论(0) 推荐(0) 编辑