摘要：
Celery 1、什么是Celery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 用Python写的执行 定时任务和异步任务的框架 执行异步任务： 创建任务：tasks.py 把任务添加到队列中：add_task.py 开启wo 阅读全文
摘要：
数据结构和算法 什么是数据结构和算法： 数据结构定义：我们如何把现实中的问题以特定的存储结构和存储类型保存起来 时间复杂度 ：用来评估算法运行时间的一个式子（单位） 一般来说，时间 复杂度高的算法比复杂度低的算法慢。 常见的时间复杂度（按效率排序) 空间复杂度 ：用来评估算法内存占用 大小 的一 阅读全文
摘要：
引入 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的利用率仍 阅读全文
摘要：
一、Beautiful Soup 简介 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Sou 阅读全文
摘要：
数据库类型 一、版本介绍和选择 PerconaDB 主流版本 企业版本 在Linux中启动数据库 二、MYSQL的体系结构 MYSQL C/S结构 实例： 1、mysqld 的三层结构 2、MySQL的逻辑结构 三、MySQL安装 1、 https://www.mysql.com/ MySQL官网 阅读全文
摘要：
CMDB https://lupython.gitee.io/2018/05/05/CMDB%E4%BB%8B%E7%BB%8D/ 尚泽凯博客地址 传统运维与自动化运维的区别 传统运维： 1、项目 上线： a.产品经理前期调研（需求分析） b.和开发进行评审 c.开发进行开发 d 阅读全文
摘要：
1、登录支付宝开放平台： https://openhome.alipay.com/platform/appDaily.htm?tab=info 扫码登录之后，先填写一些必要身份信息，然后点击进入“开放平台-开发者中心-沙箱环境”。 2，进入沙箱环境页面，系统自动创建一个应用并可以看到应用信息 3、设 阅读全文
摘要：
1、要安装Redis，首先要获取安装包。Windows的Redis安装包需要到以下GitHub链接找到。链接：https://github.com/MSOpenTech/redis。打开网站后，找到Release，点击前往下载页面。 2、在下载网页中，找到最后发行的版本（此处是3.2.100）。找到 阅读全文
摘要：
一、简介 redis是一个key-value存储系统。和Memcached类似，他支持存储的value类型相对较多，包括string（字符串）、list（链表）、set（集合）、zset（有序集合）、hash（哈希类型）’。这些数据都在支持 push/pop、add/remove及取交集并集以及更丰 阅读全文
摘要：
一、频率简介 为了控制用户对某个url的请求 的频率，比如 ，一分钟以内，只能访问三次 二、自定义频率类，自定义频率规则 自定义的逻辑 代码实现： import time 自定义频率控制 class MyThrottle(): visitor_dic = {} def __init__(self): 阅读全文