摘要：response的属性 response的选择器 xpath选择器 css选择器 阅读全文

摘要： 设置控制台打印的Log等级 在在爬虫主文件写爬取代码，使用scrapy.Request请求。 运行爬虫结果 使用scrapy.FormRequest请求。 运行结果相同。 两种请求方式的应用场景 scrapy.Request：主要应用GET网页数据时应用。 scrapy.FormRequest： 阅读全文

摘要： piplines的使用 取消setings.py文件内管道的注释，开启数据管道，使得爬取到的数据可以传送过来。 初始代码解释 利用重写spider的方法实现功能 多个管道处理实现数据流水线处理 创建SpiderdmPipeline_1类 注册SpiderdmPipeline_1类并设置与资源调度 阅读全文

摘要： 安装说明 scrapy安装需要安装一些第三方依赖库，依赖库的安装与需要和Python版本，Windows位数，所需的电脑插件有关。 参考信息：Python3.6，Windows10 64位 相关软件下载： 链接：https://pan.baidu.com/s/1Vzx8GGeojmUzMSZEx 阅读全文