摘要： 有时候我们需要知道客户端对redis服务端做了哪些命令操作。我们可以试用monitor命令来查看。它能清楚的看到客户端在什么时间点执行了那些命令。 MONITOR 是一个调试命令，每个命令流回来的redis服务器处理。它可以帮助理解数据库中正在发生的事情。此命令可用于通过使用CLI通过telnet。 阅读全文

摘要： 一、简介与安装 今天无意间从同事那里知道有 tmux 这种神器，tmux（terminal multiplexer）是Linux上的终端复用神器，可从一个屏幕上管理多个终端（准确说是伪终端）。使用该工具，用户可以连接或断开会话，而保持终端在后台运行。类似的工具还有screen，今天只介绍tmux相关 阅读全文

摘要： 一、git在不同平台下的安装 （1）在linux上安装 如果以centos为例，可以使用yum安装，如下命令： 如果你在基于debian的发行版上，尝试使用： （2）在Mac上安装 在mac安装git方式很多，最简单是用brew包管理。 安装homebrew，然后通过homebrew安装Git，具体 阅读全文

摘要： 一、初识tornado 1、什么是tornado 全称Tornado Web Server，是一种Web服务器软件的开源版本。 2、特点 作为Web框架，它是一个轻量级的Web框架，类似于另一个Python Web框架Web.py，其拥有异步非阻塞IO的处理方式。 作为Web服务器，Tornado有 阅读全文

摘要： 一、视图 1、视图的定义 视图是由查询结果形成的一张虚拟表，是表通过某种运算得到的一个投影。 同一张表可以创建多个视图 创建视图的语法： 说明： （1）视图名跟表名是一个级别的名字，隶属于数据库； （2）该语句的含义可以理解为：就是将该select命名为该名字（视图名）； （3）视图也可以设定自己的 阅读全文

摘要： importlib模块与__import__都可以通过过字符串来导入另外一个模块，但在用法上和本质上都有很大的不同。 通过下面示例说明，有如下一个工程目录： name = 'test' def getName(): print(name) name = 'demo' def getName(): p 阅读全文

摘要： Python用下划线作为变量前缀和后缀指定特殊变量。 - "单下划线" 开始的成员变量叫做保护变量，意思是只有类对象和子类对象自己能访问到这些变量；不能用"from xxx import *"而导入； - "双下划线" 开始的是私有成员，意思是只有类中的方法能访问，连子类对象也不能访问到这个数据。 阅读全文

摘要： 一、1xx（临时响应） 表示临时响应并需要请求者继续执行操作的状态码。 100（继续） 请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。 101（切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。 二、2xx （成功） 表示成功处理了请求的状态码。 阅读全文

摘要： 一、如何提升scrapy框架的爬取效率 增加并发： 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100，并发设置成了为100。 降低日志级别： 在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用 阅读全文

摘要： 一、使用scrapy框架发送post请求 创建一个项目，如下目录，修改settings.py文件中的 "ROBOTSTXT_OBEY"和"USER_AGENT" 自己尝试实现！ 二、请求传参 我们知道有时候需要爬取的数据并不是都在一个页面中，而是在不同页面中，这时候用scrapy框架该如何做呢？下面 阅读全文