摘要: 一、post请求发送 - 问题:爬虫文件的代码中,我们从来没有手动的对start_urls列表中存储的起始url进行过请求的发送,但是起始url的确是进行了请求的发送,那这是如何实现的呢? - 解答:其实是因为爬虫文件中的爬虫类继承到了Spider父类中的start_requests(self)这个 阅读全文
posted @ 2019-03-24 22:59 清风_Z 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 一、简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法即可。 二、下载安装 Linux 阅读全文
posted @ 2019-03-24 20:56 清风_Z 阅读(180) 评论(0) 推荐(0) 编辑