2018年7月4日
爬虫scrapy
摘要： 性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文
posted @ 2018-07-04 21:02 Carol-z 阅读(147) 评论(0) 推荐(0) 编辑