Python爬虫-Redis
Python爬虫-Redis
前言
作为跟MongoDB同样NoSQL阵营的Redis，也具有类似的“直爽快”特性。它本身读取速度快，又提供丰富的数据结构，避免程序员重复造轮子。大名鼎鼎的分布式scrapy也是基于redis，所以赶紧了解一下呗！
启动服务器
建议指定配置文件的方式启动，我的配置文件所在路径： /etc/redis/redis-server.conf 就不知道你们的是不是啦
启动方式：redis-server /etc/redis/redis-server.conf
启动客户端
- 进入命令行：
redis-cli - 退出客户端：
exit
数据操作
redis是key-value的数据，key的类型是字符串，value类型可以是：string,hash,list,set,zset
string
最基本类型，最大存储512M数据，可存储任何数据：数字，图片，序列化对象等
- 设置键值：
set key value
- 也可以一次设置多个数据：
mset key1 value1 key2 value2 key3 value3... - 获取键值：
get key；也可以一次获取多个键值：mget key1 key2 key3...
如果不存在，返回nil - 甚至还能追加键值：
append key value
- 也可以获取键值长度（有点像C语法哇）：
strlen key
- 也可以在设置键值的时候设置过期时间：
setex key seconds value
- 运算（键值要求为数值）：
incr key键值+1；incrby key increment键值指定+increment ；相对应的就有decr key键值-1，decrby key increment指定-increment
键命令
（不仅仅针对于string类型，其他value类型的key都适用）
- 查找键：
keys pattern（支持正则），所以查看全部键可以是keys *
- 查看键是否存在：
exists key，存在返回1，不存在返回0
也可以一次查询多个键：exists key1 key2 ...，返回值为总和
- 查看键的类型：
type key - 删除键：
del key，成功返回1，失败或键不存在返回0；或者删除多个键：del key1 key2 ...，返回值为总和，即便键不存在，亦不会报错
- 设置过期时间：
expire key seconds；查看键的剩余存活时间：ttl key
expire操作后返回1表示设置成功，返回0表示设置失败或是键不存在，设置时间单位秒；ttl操作后返回剩余存货时间，如果返回-2表示键不存在，如果返回-1代表永久存在 - 当然，也能清除过期时间：
persist key
如果persit操作之后返回1表示操作成功；如果返回0，键不存在或键本身就是永久
hash
用于存储对象，对象格式为键值对
1. hset key field value / hmset key field1 value1 field2 value2 ...，如何理解”对象”呢？即：一个人，这就是一个对象，有名字，年龄，性别等
2. hget key field / hmget key field1 field2 ...
3. 获取指定key的所有字段和值： hgetall key
4. 获取指定key的所有字段：hkeys key
5. 获取指定key的所有值：hvals key
6. 获取指定key的字段个数：hlen key
7. 判断key的字段是否存在：hexists key field，存在返回1，不存在返回0
8. 删除字段及对应值：hdel key field / hdel key field1 field2 ...
9. 删除key：del key
10. 获取值的字符串长度：hstrlen key field 我查了使用文档，的确存在这个hstrlen命令，用Tab命令提示也能自动弹出来，但是——
哈哈，布吉岛布吉岛，先占位以后填坑吧
list
列表的元素类型是string，按照插入顺序排序，可列表的头或尾添加元素
- 从头/尾部插入：
lpush/rpush key value，每次返回的值是列表中的元素个数
- 在一个元素的前/后插入元素：
linsert key before/after pivot value，这里的支点（pivot）就是原列表中的元素，value则是需要新添加的元素
失败则返回-1 - 移除并获得值：
lpop/rpop key，这里可以用python的list类型的pop方法来理解
- 利用索引获取元素：
lindex key index
- 获取key的长度（也就是列表中的元素个数）：
llen key - 修改列表中的元素值：
lset key index value，指定元素在列表中的索引（index），value是修改后的内容。==如果index值上并不存在元素，报索引错误== - 返回指定范围的元素：
lrange key startIndex stopIndex
超出索引范围不报错 - 裁剪列表：
ltrim key startIndex stopIndex
set
无序集合，元素类型string，元素具有唯一性，不重复
- 添加元素：
sadd key member；或者一次添加多个：sadd key member1 member2 ...，如果添加的元素已存在，返回0
- 移除元素：
srem key member / srem key member1 member2 ... - 获取所有元素：
smembers key - 获取集合元素个数：
scard key - 求多个集合的交集：
sinter key1 key2 ... - 求集合与其他集合的差集：
sdiff key1 key2 ... - 求多个集合的合集：
sunion key1 kye2 ... - 判断元素是否在集合中：
sismember key member，存在返回1，不存在返回0
zset
有序集合，唯一性，每个元素都会关联到一个double类型的score，表示权重，根据权重对元素排序，元素的score可以相同
zadd key score member；zadd key socre1 member1 score2 member2 ...zrem key member/zrem key member1 member2 ...zrange key start stopzcard key- 统计score值在min与max的个数：
zcount key min max - 返回member的score值：
zscore key member
发布订阅
Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。
- 消息格式：
a.subscribe 频道名1 [频道名2 ...]订阅
b.unsubscribe 频道名1 [频道名2 ...]退订
c.message之后显示频道，再之后显示正文
d.publish 频道 消息发布
发布消息
接受消息
主从配置
每个主都可以设置许多的从，每个从又可以设置许多的从；通过设置主从，搭建分布式，如scrapy-redis分布式爬虫
- 对主机修改配置文件：
bind 主机Ip - 对从机修改配置文件：
bind 从机Ip
slaveof 主机Ip port
与python交互
- 安装包redis，导入：
import redis - 连接redis：
r = redis.StrictRedis(host="hostname", prot=6379) - 使用方法1：根据数据类型，使用对应方法，如：
r.set("name", "kaihui") / r.get("name") - 使用方法2：
p = r.pipeline()
p.set(...)
p.get(...)
p.execute()
==法2缓冲多条命令，然后一次性执行，减少服务器-客户端之间TCP数据库包，从而提高效率==
之前在redis客户端操作的命令，都很好的封装到了连接数据库的对象里，可以直接使用，如：r.hset() r.sadd()…
利用redis实战
之前抓取过电影排行榜，句子迷，QQ空间，音乐热评等等，其实大多操作类似，今天想换别的方向（其实操作也类似）。
众所周知，爬虫是容易封ip的，为了应对如此强硬的反扒措施，有了利用代理ip爬取信息的方法。既然有了需求，当然就有了市场，我也没非要不可的数据需要爬取，便不至于花钱购买代理。
西刺网站提供免费代理，既然有“免费”二字，效果大家就应该心知肚明的。或许人公司提供的效果不至于那么差，却奈何全国爬虫都想“好好”利用。
分析网页一如既往，这个网页毫无难度，requests发起get请求，利用xpath解析响应，提取ip和端口号，再存入redis。稍微不同的是，我们拿到的代理ip能不能用呢？这里需要做一个测试，我写了一个filter_ip()函数进行过滤，主要思想是利用代理去访问百度，如果返回状态码是200，那么OK，存起来；否则丢弃
def filter_ip(proxyData):
# 剔除https类型的
if proxyData["type"].upper() == "HTTPS":
return
del proxyData["type"]
# 构造requests模块ip代理的参数结构
proxyData = {
"http":"http://"+proxyData["ip"]+":"+proxyData["port"]
}
try:
response = requests.get(url="http://www.baidu.com/", proxies=proxyData)
response.raise_for_status()
except:
print(f"{proxyData}不可用")
return None
# 若可用，存入redis
to_redis(proxyData)由于构建ip池只是为了更好的辅助爬虫，所以效率方面要求严格，为此我利用了多进程+多线程来达到目的
# 设置进程池
pool = Pool(10)
for item in parse_html(html):
pool.apply_async(set_threading, (item, ))
pool.close()
pool.join()def set_threading(item):
# 设置线程函数
t = Thread(target=filter_ip, args=(item, ))
t.start()
t.join()整体逻辑如下
反思
我抓取了代理网页前三页，然而仅9个写入数据库，其免费可想而知
最初写的单进程+单线程，运行速度极慢，才想到多进程+多线程。多番调试，速度提升了6倍。然而也不过对300个ip处理而已，竟需要200s上下。与GitHub上最高star的开源项目差之千里
想起一晚趴在床上看《爱你就像爱生命》，有多少人知道王小波也是个程序员呢？他在给朋友晓阳的信中这样写道：我的图像部分也是汇编写的，反复优化，也达不到他的水平，不得不承认技不如人。
路漫漫其修远兮呢！
