摘要：
Scrapy生成的调试信息非常有用，但是通常太啰嗦，你可以在Scrapy项目中的setting.py中设置日志显示等级： LOG_LEVEL = 'ERROR' 日志级别 Scrapy日志有五种等级，按照范围递增顺序排列如下：（注意《Python网络数据采集》书中这里有错） CRITICAL - 严 阅读全文
摘要：
scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 方法一： 1、首先cd进入到scrapy项目里（当然你也可以通过编写脚本Python文件直接在pycharm中运行） 2、在scrapy项目里创建保存记录信息 阅读全文
摘要：
一、Redis基础部分: 1、redis介绍与安装比mysql快10倍以上 *****************redis适用场合**************** 1.取最新N个数据的操作 2.排行榜应用,取TOP N 操作 3.需要精确设定过期时间的应用 4.计数器应用 5.Uniq操作,获取某段时 阅读全文
摘要：
先决条件 在开始之前，请确保已经安装了 PyMongo 发行版。 在 Python shell 中，下面的代码应该在不引发异常的情况下运行: 假设 MongoDB 实例在默认主机和端口上运行。 假设你已经下载并安装了 MongoDB，你可以这样启动它: 与 MongoClient 建立连接 使用 P 阅读全文
摘要：
首先我们来说说css选择器；其实在上面的概述：和scrapy相关的函数就这么三个而已：response.css("css表达式")、extract()、extract_first()。有变化的就是：css表达式的写法，这里我们就列举一些常见的表达式，虽然不能囊括100%的爬取任务，但可以很负责的说， 阅读全文
摘要：
分析 他的代码比较简单，主要有以下的步骤：使用BeautifulSoup库，打开百度贴吧的首页地址，再解析得到id为new_list标签底下的img标签，最后将img标签的图片保存下来。 前面提到过，有部分图片是动态加载的，那么首先我们得弄清楚，这部分图片是怎么动态加载的。在浏览器中打开百度贴吧的首 阅读全文
摘要：
原文链接：https://www.runoob.com/xpath/xpath-syntax.html XPath 术语 XPath 节点 七种类型：在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文 阅读全文
摘要：
1.安装方法 pip install pyquery 2.引用方法 from pyquery import PyQuery as pq 3.简介 pyquery 是类型jquery 的一个专供python使用的html解析的库，使用方法类似bs4。 4.使用方法 4.1 初始化方法： from py 阅读全文
摘要：
为什么要学习爬虫？ 学习爬虫，可以私人订制一个搜索引擎。 大数据时代，要进行数据分析，首先要有数据源。 对于很多SEO从业者来说，从而可以更好地进行搜索引擎优化。 什么是网络爬虫？ 模拟客户端发送网络请求，接收请求对应的数据，按照一定的规则，自动抓取互联网信息的程序。 只要是客户端(浏览器)能做的的事情，原则上，爬虫都能做。意思就是，只要人类能够访问的网页，爬虫在具备铜等资源的情况下就一定可... 阅读全文
摘要：
JSONP 什么是JSONP 首先提一下JSON这个概念，JSON是一种轻量级的数据传输格式，被广泛应用于当前Web应用中。JSON格式数据的编码和解析基本在所有主流语言中都被实现，所以现在大部分前后端分离的架构都以JSON格式进行数据的传输。 那么JSONP是什么呢？ 首先抛出浏览器同源策略这个概 阅读全文
摘要：
安装 在Django.settings中配置 调用jwt登录验证视图 在对应的Django应用的urls中添加如下路径 由于jwt返回的信息中只包括凭证token,要想在返回的结果中添加用户信息，需要通过如下配置 同时在settings中添加配置 由于jwt的登录验证默认只支持使用username， 阅读全文
摘要：
import os print '***获取当前目录***' print os.getcwd() print os.path.abspath(os.path.dirname(__file__)) print '***获取上级目录***' print os.path.abspath(os.path.dirname(os.path.dirname(__file__))) print os.p... 阅读全文
摘要：
Django 从后台往前台传递数据时有多种方法可以实现。 最简单的后台是这样的： 这个就是返回index.html的内容，但是如果要带一些数据一起传给前台的话，该怎么办呢？ view >> HTML 这里是这样：后台传递一些数据给html，直接渲染在网页上，不会有什么复杂的数据处理（如果前台要处理数 阅读全文
摘要：
通用视图 Django的通用视图......被开发为常见用法模式的快捷方式......它们采用视图开发中的某些常见习语和模式并对其进行抽象，以便您可以快速编写数据的常用视图，而无需重复自己。 - Django文档 基于类的视图的一个主要好处是它们允许您组合可重用行为的方式。REST框架通过提供许多预 阅读全文
摘要：
圣诞节（Christmas）又称耶诞节、耶稣诞辰，译名为“基督弥撒”，是西方传统节日，起源于基督教，在每年公历12月25日。弥撒是教会的一种礼拜仪式。圣诞节是一个宗教节，因为把它当作耶稣的诞辰来庆祝，故名“耶诞节”。 大部分的天主教教堂都会先在12月24日的平安夜，亦即12月25日凌晨举行子夜弥撒， 阅读全文