摘要：
糗事百科采用分布式爬取 1:scrapy-redis的工作原理 有相关scrapy经验者可仔细研究一些，无经验者可直接看下一节内容，等走完流程可在回头看 1，spider打开某网页，获取到一个或者多个request，经由scrapy engine传送给调度器scheduler request特别多并 阅读全文
摘要：
爬取网址: https://movie.douban.com/top250 输出的list截图: 如果有小伙伴不知道为什么要这样存放数据的话可以看下这个网址:https://www.cnblogs.com/nancyzhu/p/8401552.html,我存入excle的思路就是来源于这个网址,写的 阅读全文