倥偬时光的分享

摘要： 前面介绍了python在ubuntu16.04环境下，python的虚拟环境virtualenv的安装，下面介绍在windows环境下的安装和使用。 环境信息 操作系统：windows10 python版本：3.6.3 安装 1. 下载安装python3.6.3 进入官网：https://www.p 阅读全文

摘要： 爬虫的分类 按使用场景： 1. 通用爬虫：指搜索引擎的爬虫 2. 聚焦爬虫：指针对特定网站的爬虫 聚焦爬虫又可以分为大致3种： 1. 累积式爬虫: 从开始到结束,一直不断爬取，过程中会进行去重操作； 2. 增量式爬虫: 对已经下载的网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫； 3. 阅读全文

摘要： 前面已经学习了redis的基本的命令行操作和数据类型，下面开始redis一些有趣的功能。 订阅和发布机制 定义：发布者相当于电台，订阅者相当于客户端，客户端发到频道的消息，将会被推送到所有订阅此频道的客户端；客户端不需要主动去获取消息，只需要订阅频道，这个频道的内容就会被推送过来； 作用:发布者和订 阅读全文

摘要： 前言 redis安装完毕后开始使用redis，先熟悉命令行操作。 redis数据的类型 键：redis的所有的键都是string类型； 值：五种类型 1. string：字符串类型；一个string最大可以储存512MB的数据，其可以储存任何对象； 2. hash：散列,用来存储对象，key代表对象 阅读全文

摘要： 前言 折腾一下redis在linux环境的安装。 ubantu16.04环境下安装 下载安装，依次执行命令; 运行上面的脚本后，会让用户设置一些配置文件 注意： redis相关操作命令都存放在/usr/local/redis/src 目录下； 测试redis 启动redis服务端 可看到当前的终端被 阅读全文

摘要： 1xx:信息 100 Continue服务器仅接收到部分请求，但是一旦服务器并没有拒绝该请求，客户端应该继续发送其余的请求。101 Switching Protocols服务器转换协议：服务器将遵从客户的请求转换到另外一种协议。 2xx:成功 200 OK请求成功（其后是对GET和POST请求的应答 阅读全文

摘要： 平时写爬虫的时候并不需要设置setting里所有的参数，今天心血来潮，花了点时间查了一下setting模块创建后自动写入的所有参数的含义，记录一下。 模块相关说明信息 项目名字和爬虫模块说明，引擎根据这个信息找到爬虫 浏览器的USER_AGENT，可以自定义伪装。 是否遵守robots协议，默认是遵 阅读全文

摘要： 一、 最近使用python写入文件时，出现了如下的错误： 但是content的内容是unicode编码，不知道怎么和gbk扯上了关系，对content使用encode()和decode()，用gbk,utf-8,gb2312各种编码解码都没有效果； 在网上查找资料，看到一篇文章关于这个的说法：htt 阅读全文

摘要： 转载自：https://www.cnblogs.com/codingmylife/archive/2010/06/06/1752807.html 1.性能 Py3.0运行 pystone benchmark的速度比Py2.5慢30%。Guido认为Py3.0有极大的优化空间，在字符串和整形操作上可  阅读全文

摘要： 前言：很多人在写完代码一段时间后回过头看代码，很可能忘记了自己写的函数需要传什么参数，返回什么类型的结果，就不得不去阅读代码的具体内容，降低了阅读的速度，加上Python本身就是一门弱类型的语言，这种现象就变得更加的严重，而typing这个模块很好的解决了这个问题。 系列文章 "python模块分析 阅读全文