摘要：
引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取 阅读全文
摘要：
1.五大核心组件工作流程： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(事务：函数调用、方法触发、类实例化)【框架核心】 调度器(Scheduler)用来接受引擎发过来的请求, 【队列】压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的 阅读全文
摘要：
- 全站数据爬取 1.手动请求发送： - yield scrapy.Request(url,callback)【callback】回调一个函数用于数据解析 - 全站数据爬取 1.手动请求发送： - yield scrapy.Request(url,callback)【callback】回调一个函数用 阅读全文