摘要：
1. 4567电影 修改下面的配置 上边是设置的三个部分配置 注意要注释掉,上边的默认君子协定 爬虫中中间件的爬取 下面我们看一下中间件文件中的内容. 我们只需要保留中间件中的三个process方法即可. 这个类是批量拦击所有的请求和响应 一些功能: 上边的配置文件settings.py其实不写ua 阅读全文
摘要：
1.scrapy的请求传参: 五大组件:所有的数据流都会走"引擎" "请求对象" 引擎怎么知道什么时间调用什么方法? 引擎:接收所有数据,进行事物的触发 引擎根据接收不同类型的数据流决定下一步触发什么方法. 2. 上图最后一条修改成下图,加上网址 settings.py三件套 拿取ul的xpath 阅读全文
摘要：
1.数据结构回顾 2.回顾scrapy 3.手动请求发送 阳光热点问政平台:http://wz.sun0769.com/index.php/question/questionType?type=4 我们不能将每个url都放在start_urls中 如何和实现全站数据的爬取?定位到某个板块将所有的数据 阅读全文
摘要：
一.两种持久化存储的方式 1.基于终端指令的吃持久化存储: 特点:终端指令的持久化存储,只可以将parse方法的返回值存储到磁盘文件 因此我们需要将上一篇文章中的author和content作为返回值的内容,我们可以将所有内容数据放在列表中, 每个字典存储作者名字和内容,最好将定义的列表返回即可 我 阅读全文