2017年9月3日

python爬虫之性能相关

摘要： 性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文

posted @ 2017-09-03 22:54 bigdata_devops 阅读(175) 评论(0) 推荐(0) 编辑

python爬虫基础

摘要： Q2Day79 requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 阅读全文

posted @ 2017-09-03 22:50 bigdata_devops 阅读(229) 评论(0) 推荐(0) 编辑

导航