10 2018 档案
摘要：Numpy（Numerical Python） Numpy：提供了一个在Python中做科学计算的基础库，重在数值计算，主要用于多维数组（矩阵）处理的库。用来存储和处理大型矩阵，比Python自身的嵌套列表结构要高效的多。本身是由C语言开发，是个很基础的扩展，Python其余的科学计算扩展大部分都是
阅读全文
摘要：ndarray 多维数组(N Dimension Array) 注意：ndarray的下标从0开始，且数组里的所有元素必须是相同类型 ndarray拥有的属性 ndarray的随机创建 通过随机抽样 (numpy.random) 生成随机数据。 示例代码： 运行结果： ndarray的序列创建 1.
阅读全文
摘要：数据建模基础 大数据分析场景和模型应用 数据分析建模需要先明确业务需求，然后选择是 描述型分析 还是 预测型分析。 如果分析的目的是描述目标行为模式，就采用描述型数据分析，描述型分析就考虑 关联规则、 序列规则 、 聚类 等模型。 如果是预测型数据分析，就是量化未来一段时间内，某个事件的发生概率。有
阅读全文
摘要：01java语言概述 02常用的DOS命令 03java语言开发环境JDK 04JDK的下载和安装 05JDK和JRE跨平台 06编写HelloWorld程序 07编译Java程序 08运行Java程序 09环境变量的配置 10notepad软件安装 11注释 12关键字 13标识符 14Java中
阅读全文
摘要：数据建模基础 大数据分析场景和模型应用 数据分析建模需要先明确业务需求，然后选择是 描述型分析 还是 预测型分析。 如果分析的目的是描述目标行为模式，就采用描述型数据分析，描述型分析就考虑 关联规则、 序列规则 、 聚类 等模型。 如果是预测型数据分析，就是量化未来一段时间内，某个事件的发生概率。有
阅读全文
摘要：Python3.x 常用的新特性 print() 是函数，不是一个语句 raw_input()输入函数，改为 input() Python 3 对文本和二进制数据做了更为清晰的区分。 文本由unicode表示，为str类型 二进制数据由bytes (字节包)表示，为bytes类型 新增数据类型 by
阅读全文
摘要：DIKW 体系 DIKW体系是关于数据、信息、知识及智慧的体系，可以追溯至托马斯·斯特尔那斯·艾略特所写的诗--《岩石》。在首段，他写道：“我们在哪里丢失了知识中的智慧？又在哪里丢失了信息中的知识？”（Where is the wisdom we have lost in knowledge？ /
阅读全文
摘要：1. 配置celery 创建django项目celery_demo, 创建应用demo: 在celery_demo模块中创建celery.py模块, 文件目录为: celery.py模块内容为: 在应用demo引用创建tasks.py模块, 文件目录为: 我们在文件内创建一个任务函数my_task:
阅读全文
摘要：1. HTTP通信与Web框架 1.1 流程 客户端将请求打包成HTTP的请求报文（HTTP协议格式的请求数据） 采用TCP传输发送给服务器端 服务器接收到请求报文后按照HTTP协议进行解析 服务器根据解析后获知的客户端请求进行逻辑执行 服务器将执行后的结果封装成HTTP的响应报文（HTTP协议格式
阅读全文
摘要：celery beat是一个调度器，它可以周期内指定某个worker来执行某个任务。如果我们想周期执行某个任务需要增加beat_schedule配置信息. tasks.py模块内容如下: 启动woker处理周期性任务: 如果我们想指定在某天某时某分某秒执行某个任务，可以执行cron任务, 增加配置信
阅读全文
摘要：Celery使用简单，配置也非常简单。Celery有很多配置选项能够使得celery能够符合我们的需要，但是默认的几项配置已经足够应付大多数应用场景了。 配置信息可以直接在app中设置，或者通过专有的配置模块来配置。 1.直接通过app来配置 2.专有配置文件 对于比较大的项目，我们建议配置信息作为
阅读全文
摘要：我的项目目录: TestCelery/ ├── proj │ ├── celeryconfig.py │ ├── celery.py │ ├── init.py │ └── tasks.py └── test.py celery.py内容如下: celeryconfig.p模块内容如下： tasks
阅读全文
摘要：Celery需要一种解决消息的发送和接受的方式，我们把这种用来存储消息的的中间装置叫做message broker, 也可叫做消息中间人。 作为中间人，我们有几种方案可选择： 1.RabbitMQ RabbitMQ是一个功能完备，稳定的并且易于安装的broker. 它是生产环境中最优的选择。使用Ra
阅读全文
摘要：我们可以使用python的包管理器pip来安装: 也可从官方直接下载安装包:https://pypi.python.org/pypi/celery/
阅读全文
摘要：使用celery第一件要做的最为重要的事情是需要先创建一个Celery实例，我们一般叫做celery应用，或者更简单直接叫做一个app。app应用是我们使用celery所有功能的入口，比如创建任务，管理任务等，在使用celery的时候，app必须能够被其他的模块导入。 1.创建应用 我们首先创建ta
阅读全文
摘要：5.5 性能 一、不同角度的网站性能 普通用户认为的网站性能 网站性能对于普通用户来说，最直接的体现就是响应时间。用户在浏览器上直观感受到的网站响应速度，即从客户端发送请求，到服务器返回响应内容的时间。 做为网站开发人员来说，网站性能通常会和普通的用户理解的不一样。 普通用户感受到的网站性能，并不只
阅读全文
摘要：任务队列是一种跨线程、跨机器工作的一种机制. 任务队列中包含称作任务的工作单元。有专门的工作进程持续不断的监视任务队列，并从中获得新的任务并处理. celery通过消息进行通信，通常使用一个叫Broker(中间人)来协client(任务的发出者)和worker(任务的处理者). clients发出消
阅读全文
摘要：5.3 部署 当我们执行下面的hello.py时，使用的flask自带的服务器，完成了web服务的启动。在生产环境中，flask自带的服务器，无法满足性能要求，我们这里采用Gunicorn做wsgi容器，来部署flask程序。Gunicorn（绿色独角兽）是一个Python WSGI的HTTP服务器
阅读全文
摘要：层级索引（hierarchical indexing） 下面创建一个Series， 在输入索引Index时，输入了由两个子list组成的list，第一个子list是外层索引，第二个list是内层索引。 示例代码： 运行结果： MultiIndex索引对象 打印这个Series的索引类型，显示是Mul
阅读全文
摘要：Python版本 Python 2 or Python 3 Python 2.x 是早期版本，Python 3.x是当前版本 Python 2.7 (2.x的最终版)于2010年发布后很少有大的更新 Python 2.x 比 Python3.x 拥有更多的工具库 大多数Linux系统默认安装的仍是
阅读全文
摘要：5.2单元测试 为什么要测试？ Web程序开发过程一般包括以下几个阶段：[需求分析，设计阶段，实现阶段，测试阶段]。其中测试阶段通过人工或自动来运行测试某个系统的功能。目的是检验其是否满足需求，并得出特定的结果，以达到弄清楚预期结果和实际结果之间的差别的最终目的。 测试的分类： 测试从软件开发过程可
阅读全文
摘要：4.3自定义模型类 4.3自定义模型类 定义模型 模型表示程序使用的数据实体，在Flask-SQLAlchemy中，模型一般是Python类，继承自db.Model，db是SQLAlchemy类的实例，代表程序使用的数据库。 类中的属性对应数据库表中的列。id为主键，是由Flask-SQLAlche
阅读全文
摘要：4.3 数据库迁移 在开发过程中，需要修改数据库模型，而且还要在修改之后更新数据库。最直接的方式就是删除旧表，但这样会丢失数据。 更好的解决办法是使用数据库迁移框架，它可以追踪数据库模式的变化，然后把变动应用到数据库中。 在Flask中可以使用Flask-Migrate扩展，来实现数据迁移。并且集成
阅读全文
摘要：4.4 Flask—Mail 在开发过程中，很多应用程序都需要通过邮件提醒用户，Flask的扩展包Flask-Mail通过包装了Python内置的smtplib包，可以用在Flask程序中发送邮件。 Flask-Mail连接到简单邮件协议（Simple Mail Transfer Protocol,
阅读全文
摘要：5.1 蓝图Blueprint 为什么学习蓝图？ 我们学习Flask框架，是从写单个文件，执行hello world开始的。我们在这单个文件中可以定义路由、视图函数、定义模型等等。但这显然存在一个问题：随着业务代码的增加，将所有代码都放在单个程序文件中，是非常不合适的。这不仅会让代码阅读变得困难，而
阅读全文
摘要：4.2 数据库基本操作 在Flask-SQLAlchemy中，插入、修改、删除操作，均由数据库会话管理。会话用db.session表示。在准备把数据写入数据库前，要先将数据添加到会话中然后调用commit()方法提交会话。 数据库会话是为了保证数据的一致性，避免因部分更新导致数据不一致。提交操作把会
阅读全文
摘要：5.4 Restful 2000年，Roy Thomas Fielding博士在他的博士论文《Architectural Styles and the Design of Network-based Software Architectures》中提出了几种软件应用的架构风格，REST作为其中的一种
阅读全文
摘要：4 数据库 知识点 Flask-SQLALchemy安装 连接数据库 使用数据库 数据库迁移 邮件扩展 4.1 数据库的设置 Web应用中普遍使用的是关系模型的数据库，关系型数据库把所有的数据都存储在表中，表用来给应用的实体建模，表的列数是固定的，行数是可变的。它使用结构化的查询语言。关系型数据库的
阅读全文
摘要：3.6 Flask中的特殊变量和方法： 在Flask中，有一些特殊的变量和方法是可以在模板文件中直接访问的。 config 对象: request 对象: 就是 Flask 中表示当前请求的 request 对象，request对象中保存了一次HTTP请求的一切信息。 request常用的属性如下：
阅读全文
