缓存

         redis
              redis是什么？在服务器内存中保存的非关系型数据库，缓存。
              
              redis中存放：常用、不经常更新。
            - 两大优势
                - 持久化
                - 数据类型：
                    - Memcache:  
                                k  =>  "字符串"
                                
                    - redis：
                                k  =>  "字符串"
                                k  =>  ['xx','xx']
                                k  =>  {k:'v',k1:v1 }         #
                                k  =>  {'xx','ff'}
                                k  =>  {('xx',11),('n2',12)}
                                
                      session原理：
                            sdyfsfsdfsdf: {userinfo:"xxx", is_login:True,}
                - 配置：
                    - 分布式
                    - 高可用
                - 过期策略

 

 

Redis安装和基本使用

wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make

make install

 启动服务端

src/redis-server

 

 启动客户端

src/redis-cli
redis> set foo bar
OK
redis> get foo
"bar"

 

二、Python操作Redis

sudo pip3 install redis
or
sudo easy_install redis
or
源码安装
 
详见：https://github.com/WoLpH/redis-py

 

 

 

 

 

 

 

 

 

分布式爬虫优点：

充分利用多机器的宽带加速爬取

充分利用多机器的IP加速爬取速度

 

 

 

 

 

 

 #无法连接

redis-server --protected-mode no

1、关闭firewall：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

 ps -ef | grep 6379