摘要：
阅读目录 一.操作系统基础 二.网络通信原理 2.1 互联网的本质就是一系列的网络协议 2.2 osi七层协议 2.3 tcp/ip五层模型讲解 2.3.1 物理层 2.3.2 数据链路层 2.3.3 网络层 2.3.4 传输层 2.3.5 应用层 2.3.6 socket 三.网络通信实现 四.结 阅读全文
摘要：
目录 一. 什么是RESTful 二. RESTful API设计 三. 基于Django实现 四. 基于Django Rest Framework框架实现 1. 基本流程 2. 认证和授权 3. 用户访问次数/频率限制 4. 版本 5. 解析器（parser） 6. 序列化 7. 分页 8. 路由 阅读全文
摘要：
Python list内置sort()方法用来排序，也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。 1）排序基础 简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list，新的list的元素基于小于运算符(__lt__)来排序。 复制代 阅读全文
摘要：
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 阅读全文
摘要：
增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更 阅读全文
摘要：
引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取 阅读全文
摘要：
引入 提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 今日概要 CrawlSpide 阅读全文
摘要：
今日概要 scrapy下载中间件 UA池 代理池 今日详情 一.下载中间件 先祭出框架图： 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 阅读全文
摘要：
需求：爬取https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html页面中的新闻数据。 分析： 1.首先通过分析页面会发现该页面中的新闻数据都是动态加载出来的，并且通过抓包工具 阅读全文
摘要：
今日概要 日志等级 请求传参 如何提高scrapy的爬取效率 今日详情 一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 I 阅读全文