摘要： 一次model.form的使用记录，配合form钩子的过程 在写信息采集功能的时候，需要添加资产信息，使用modelform组件减少工作量 官网介绍:版本1.9.https://docs.djangoproject.com/en/1.9/ref/forms/models/ 对应关系，modelfor 阅读全文

摘要： 遇到你想导入的包是变量的时候，可以用这个实现 from importlib import import_module settings_path = self.pathm2 = import_module(settings_path) 阅读全文

摘要： dir函数： dir() 是一个内置函数，用于列出对象的所有属性及方法 下面进行尝试: 用下面两个tests test2文件做实验 #创建一个类，两个常量，类中函数test1，类中属性, class DirTest(object): def __init__(self): self.name = ' 阅读全文

摘要： 架构概览 本文档介绍了Scrapy架构及其组件之间的交互。 概述 接下来的图表展现了Scrapy的架构，包括组件及在系统中发生的数据流的概览(绿色箭头所示)。 下面对每个组件都做了简单介绍，并给出了详细内容的链接。数据流如下所描述。 概述 接下来的图表展现了Scrapy的架构，包括组件及在系统中发生 阅读全文

摘要： 为何要用Beautiful Soup Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式， 是一个标签的形式，来进行查找的，有点像jquery的形式。提升效率，我们在进行爬虫开发的时候，进程会用到正 阅读全文

摘要： 过滤器： 模版中的标签： for标签 for ... empty if 标签 with标签 csrf_token 自定义标签和过滤器 include标签 在html中写入标签{% include 'include.html' %} 相当于插入的作用。 include.html inclusion_t 阅读全文

摘要： 实用的logging模块： zaisetting配置中加入下列配置，将sql语句打印到屏幕上，可以进行查看。 单表操作： 添加记录： 查询记录：（数据类型：QuerySet） [...,...,] 删除： 更新： 一对多创建： 多对多创建： 一对一添加： 多对多添加： 基于对象的跨表操作（子查询）： 阅读全文

摘要： django验证码的使用： 验证码的作用：用于人机识别。 验证码 校验验证码：如果验证码不对，不需要校验用户名，密码等。 在login.html中添加更换验证码功能，点击图片，更换验证码。 阅读全文

摘要： 先测试搭好的spark集群： 本地模式测试： 在spark的目录下： ./bin/run-example SparkPi 10 --master local[2] 验证成功： 集群模式 Spark Standalone： spark-shell --master yarn-client 集群模式Sp 阅读全文

摘要： 跑sql的时候会出现的参数： In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> ######### 如果大于<number>， 阅读全文