2017年8月30日
高性能相关、Scrapy框架
摘要： 高性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1 import requests 2 3 def fetch_async(url): 4 response = requests.get(url) 5 return res 阅读全文
posted @ 2017-08-30 16:07 ForeverPine 阅读(545) 评论(0) 推荐(0) 编辑
TOP