摘要：
xpath表达式中可以使用管道符是的xpath表达式更加具有通用性 xpath('./div/p//text() | ./span/a/div//text()') strip('/ \n\t') scrapy如何爬取图片数据（ImagePileLine） - 爬虫文件中将二进制资源的url进行爬取和 阅读全文
摘要：
爬虫学习 高性能异步爬虫 引入 很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上，很少有人能够在项目中真正的使用异步实现高性能的相关操作。本节课，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求批量获取server的响应数据 阅读全文
摘要：
一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 二.由易到难的爬虫程序： 1.爬取百 阅读全文