摘要：
1. celery介绍和使用 Celery 是一个 基于python开发的分布式异步消息任务队列(可以简单理解为python多进程或多线程中的queue)，通过它可以轻松的实现任务的异步处理。celery的架构由三部分组成：消息中间件（message broker），任务执行单元（worker）和任 阅读全文
摘要：
1. NoSQL数据库 redis是基于key-value模型的非关系数据库（NoSQL），常见的非关系数据库如下： NoSQL数据库的四种分类表 redis支持的数据类型包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型 阅读全文
摘要：
1，基本概念 Shell(命令行)：是一个程序，接受键盘输入的命令，并将命令传递给操作系统进行执行。 Bash：Bourne Again Shell, 是大多数linux系统分之中所带的一种shell程序。 命令提示符： [username@machinename]$: $ 表示普通用户登录 [ro 阅读全文
摘要：
1. 数据库索引 1.1 索引作用 当我们在数据库表中查询数据时，若没有索引，会逐个遍历表格中的所有记录，表格中数据记录量大时很耗时。建立索引就像创建目录一样，直接通过索引找到数据存储位置，加快查找。例如：有一张person表，其中有2W条记录，记录着2W个人的信息。有一个Phone的字段记录每个人 阅读全文
摘要：
1，服务端和客户端 MySQL 包括服务端和客户端，服务端是MySQL server，客户端包括命令行客户端和图形用户客户端； 命令行客户端：mysql，mysqladmin，mysqldump （都存在于C:\programs\MySQL\MySQL Sever n.n\bin或自定义安装目录下， 阅读全文
摘要：
tornado是一个非阻塞的web服务器框架，每秒可以处理上千个客户端连接（都是在一个线程中，不需要为每个客户端创建线程，资源消耗少），适合用来开发web长连接应用，如long polling（轮询），WebSocket协议等（http协议为短连接）。 1，简单使用 #coding:utf-8 im 阅读全文
摘要：
1.多线程网络IO请求： #!/usr/bin/python #coding:utf-8 from concurrent.futures import ThreadPoolExecutor import requests #线程池 # def get_page(url): # response = 阅读全文
摘要：
Twisted是用Python实现的基于事件驱动的网络引擎框架，是python中一个强大的异步IO库。理解twisted的一个前提是弄清楚twisted中几个核心的概念: reactor, Protocl, ProtocolFactory, Deffered 1 reactor twisted.in 阅读全文
摘要：
1.Scrapy整体框架 Scrapy采用了Twisted异步网络来处理请求，整体框架如下： Scrapy Engine爬虫引擎：协调整个框架组件间的数据交互，是框架的核心 Schedule调度器：接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先队列, 阅读全文
摘要：
1. 下载Python-3.5.2 wget https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tgz 2.安装 (报错no acceptable C compiler found in $PATH时，安装gcc： yum -y install 阅读全文