2018年1月20日

爬虫性能相关

摘要: 一:背景知识 二:同步、异步、回调机制 三:高性能 一:背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,采用串行的方式执行,只能等待爬取一个结束后才能继续下一个,效率会非常低。需要强调的是:串行并不意味着低效,如果串行的都是纯计算的任务,那么cpu的利用 阅读全文

posted @ 2018-01-20 20:09 黎明NB 阅读(171) 评论(0) 推荐(0) 编辑

爬虫基本原理

摘要: 一.爬虫是什么? 二.爬虫的基本流程 三.请求与响应 四.Request 五.Response 六.总结 一爬虫是什么? 二爬虫的基本流程 三请求与响应 四.Request from urllib.parse import urlencode import requests headers={ 'A 阅读全文

posted @ 2018-01-20 11:56 黎明NB 阅读(456) 评论(0) 推荐(0) 编辑

导航