摘要：
爬虫的基本原理 爬虫——请求库之requests 爬虫——请求库之selenium模块 爬取拉勾网示例 破解极验滑动验证码 解析库之——beautifulsoup 存储库之——MongoDB 爬虫关于高性能方面 Scrapy框架 阅读全文
摘要：
阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等 阅读全文