Redis多实例&分片&jedis的使用

接下来学习redis多实例的部署、数据分片，以及jedis API的使用。

redis多实例部署

一般单个redis的进程是不能满足实际需求的，需要在单台服务器上部署多个redis进程，充分发挥cpu的效能，多台服务器上的redis进程将组成庞大的集群，多的一般部署达到数千个redis进程。

暂时不考虑高可用的情况，下面在一台centos6.5上部署三个redis实例，要想实现部署需要修改redis.conf文件，需要修改服务端口号、日志文件编号、rdb文件编号等，下面边查看常用配置边修改。

（1）units单位，定义了基本的度量单位，不区分大小写。

   8 # Note on units: when memory size is needed, it is possible to specify
   9 # it in the usual form of 1k 5GB 4M and so forth:
  10 #
  11 # 1k => 1000 bytes
  12 # 1kb => 1024 bytes
  13 # 1m => 1000000 bytes
  14 # 1mb => 1024*1024 bytes
  15 # 1g => 1000000000 bytes
  16 # 1gb => 1024*1024*1024 bytes
  17 #
  18 # units are case insensitive so 1GB 1Gb 1gB are all the same.

（2）bind设置，如果要让客户端都可以连接到redis服务，就不需要设置绑定的ip，如果客户端只能连上某个或某几个redis服务，bind后需绑定具体的服务ip，如果bind 127.0.0.1，代表只能通过127.0.0.1来访问redis服务，这样只能在提供redis服务的当台机器上访问，其他客户端无法访问，这里先不bind ip。

  40 # By default, if no "bind" configuration directive is specified, Redis listens
  41 # for connections from all the network interfaces available on the server.
  42 # It is possible to listen to just one or multiple selected interfaces using
  43 # the "bind" configuration directive, followed by one or more IP addresses.
  44 #
  45 # Examples:
  46 #
  47 # bind 192.168.1.100 10.0.0.1
  48 # bind 127.0.0.1 ::1

    58 # IF YOU ARE SURE YOU WANT YOUR INSTANCE TO LISTEN TO ALL THE INTERFACES
    59 # JUST COMMENT THE FOLLOWING LINE.
    60 # ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    61 # bind 127.0.0.1

 

（3）protected-mode默认是开启的，这样就只能本机访问redis，如果想让其他客户端免密也能访问到当前redis服务，就需要设置为no。如果设置为no，配置文件中建议使用bind绑定ip地址，并且客户端需提供密码才能访问redis。

  76 # By default protected mode is enabled. You should disable it only if
  77 # you are sure you want clients from other hosts to connect to Redis
  78 # even if no authentication is configured, nor a specific set of interfaces
  79 # are explicitly listed using the "bind" directive.
  80 protected-mode no

可以测试使用requirepass 123456来设置密码，然后redis-cli登录后尝试操作redis，发现提示权限不足，需要使用auth 密码命令来获取权限，获取权限后再查看发现可以执行命令，可以看出保护模式关，密码为123456。

# config get 属性名 来获取配置文件内容，发现还是未修改的值
127.0.0.1:6379> config get protected-mode
1) "protected-mode"
2) "yes"
127.0.0.1:6379> shutdown
not connected> quit
You have new mail in /var/spool/mail/root
[root@node01 ~]# redis-cli
# redis-server redis.conf 加载修改后配置文件启动redis后，使用config get命令会提示权限不足
127.0.0.1:6379> config get protected-mode
(error) NOAUTH Authentication required.
# auth 密码 获取权限
127.0.0.1:6379> auth 123456
OK
# 保护模式为关
127.0.0.1:6379> config get protected-mode
1) "protected-mode"
2) "no"
# 密码为123456
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "123456"

这里不设置密码，并且保护模式关。

（4）port 端口号，redis为外提供服务的端口号，默认为6379，如果配置多个实例，需要修改端口号，本次3台端口号分别为6379 6380 6381，此外其他需要区分的文件也使用端口号点缀，如每个redis服务的日志文件，以及rdb持久化文件，还有/var/run/redis_xxxx.pid文件。

# Accept connections on the specified port, default is 6379 (IANA #815344).
# If port 0 is specified Redis will not listen on a TCP socket.
port 6379

（5）timeout 0，如果设置为0，代表客户端不主动断开连接就一直会连接，如果设置了N秒，就会在N秒空闲后断开与redis服务的连接，这里设置为0，节约资源。

 106 # Close the connection after a client is idle for N seconds (0 to disable)
 107 timeout 0

（6）daemonize默认设置为no，代表启动redis会在前台启动，如果设置为yes就默认在后台启动，这里设置为yes。

 128 # By default Redis does not run as a daemon. Use 'yes' if you need it.
 129 # Note that Redis will write a pid file in /var/run/redis.pid when daemonized.
 130 daemonize yes

（7）不同的redis进程，会与不同的pid号，这个pid号就保存在这个文件里，不同的redis服务，需要点缀端口号，其他两台设置为redis_6380.pid和redis_6381.pid。

 150 # Creating a pid file is best effort: if Redis is not able to create it
 151 # nothing bad happens, the server will start and run normally.
 152 pidfile /var/run/redis_6379.pid

查看一下，当前pid文件里服务进程号为1930，使用ps -ef|grep redis命令查看当前服务进程号也为1930，两者一致。

[root@node01 ~]# cat /var/run/redis_6379.pid
1930
[root@node01 ~]# ps -ef|grep redis
root      1930  1424  0 19:51 pts/0    00:00:02 redis-server *:6379
root      1934  1477  0 19:51 pts/1    00:00:00 redis-cli
root      2084  1524  0 20:01 pts/2    00:00:00 vim redis.conf
root      2508  2477  0 20:14 pts/3    00:00:00 grep redis

（8）logfile指定日志文件名，可以点缀上端口号。日志文件为redis在运行时的记录，内容和前台运行输出的内容一致，如果设置为空字符串，就将日志保存到/dev/null，代表日志文件进入''黑洞''，即不保存。

 162 # Specify the log file name. Also the empty string can be used to force
 163 # Redis to log on the standard output. Note that if you use standard
 164 # output for logging but daemonize, logs will be sent to /dev/null
 165 logfile "redis6379.log"

（9）rdb持久化策略，即自动save保存数据到磁盘的频率，数据变动频率越快保存次数越多，测试部署按照默认值来就行，不修改。

 191 #   In the example below the behaviour will be to save:
 192 #   after 900 sec (15 min) if at least 1 key changed
 193 #   after 300 sec (5 min) if at least 10 keys changed
 194 #   after 60 sec if at least 10000 keys changed
 195 #
 196 #   Note: you can disable saving completely by commenting out all "save" lines.
 197 #
 198 #   It is also possible to remove all the previously configured save
 199 #   points by adding a save directive with a single empty string argument
 200 #   like in the following example:
 201 #
 202 #   save ""
 203
 204 save 900 1 #900秒至少变动1次数据，调用save
 205 save 300 10 #300秒至少变动10次数据，调用save
 206 save 60 10000 #60秒至少变动10000次数据，调用save

（10）dbfilename指定rdb持久化文件名，需要点缀上端口号，不同的redis服务使用不同的文件名，可以避免redis数据混乱。

 238 # The filename where to dump the DB
 239 dbfilename dump6379.rdb

注意需要准备三个redis.conf文件，公共配置修改成上面一样，其他如端口号、日志文件名和rdb持久化文件名需要个性化修改，即使用端口号来区分。这里修改完redis.conf文件默认为6379端口号的，其他两台在此基础上vim命令行模式下使用:%s/6379/6380或:%s/6379/6381来批量修改个性化配置，其他公用的一样即可。

（11）修改完后，使用'redis-server redis.conf配置文件'命令来加载配置文件启动服务，三台启动后，使用ps -ef|grep redis来查看是否都正常启动。

[root@node01 /home/software/redis-3.2.11]# redis-server redis6379.conf
[root@node01 /home/software/redis-3.2.11]# redis-server redis6380.conf
[root@node01 /home/software/redis-3.2.11]# redis-server redis6381.conf
# 三台均启动，对应不同的端口号
[root@node01 /home/software/redis-3.2.11]# ps -ef|grep redis
root      2912     1  0 20:47 ?        00:00:00 redis-server *:6379
root      2916     1  0 20:47 ?        00:00:00 redis-server *:6380
root      2920     1  0 20:47 ?        00:00:00 redis-server *:6381
root      2924  1424  0 20:47 pts/0    00:00:00 grep redis

以上，就完成了多个redis实例的部署，实现了分布式，接下来客户端连接如果想具体连接哪台就-p指定端口号即可。

[root@node01 ~]# redis-cli -p 6380
127.0.0.1:6380> keys *
(empty list or set)
127.0.0.1:6380> quit
You have new mail in /var/spool/mail/root
[root@node01 ~]# redis-cli -p 6381
127.0.0.1:6381> keys *
(empty list or set)
127.0.0.1:6381> quit
[root@node01 ~]# redis-cli -p 6379
127.0.0.1:6379> get name
(nil)

数据分片

上面部署redis多实例后，实现了分布式，接下来就产生了数据分片的问题。所谓分片，就是指海量的key-value要存入redis分布式集群，由于单个节点无法承受这么大的并发量，不能将数据整体存到一个redis节点里，而是根据一定的计算规则，分摊到各个redis里的数据。其中规则的选择可以对具有业务意义的key的值使用hash取余，类似MapReduce里的map阶段的计算分区，即(key.hashCode()&Integer.MAX_VALUE)%3来计算分区编号[0,1,2]，这样根据具体的数字编号，将key-value落到相应的redis节点。

上面(key.hashCode()&Integer.MAX_VALUE)%3里的计算，对应的意思如下：

（1）key.hashCode()，key如果是字符串，代表将字符串数据区间映射到整数区间的值，是一个可正可负的整数，如果key值不变，hashcode的结果就不变。

（2）Integer.MAX_VALUE，为整形最大值，换算成二进制就是31位的1，即0111 1111 1111 1111 1111 1111 1111 1111。

（3）&就是与运算，hashcode计算结果进行与运算后就截取其二进制数的后31位，即31位保真运算，结果为正整数。

jedis的使用

创建jedis实例对象后，就相当如创建了一个可以连接redis-server的客户端实例，通过它的API，可以实现类似命令行的操作，而且它API的名字和命令非常的类似，可以说是见名知意。

（1）如果是maven工程，需在pom文件需要导入redis的依赖

    <!--springboot添加redis依赖-->
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-redis</artifactId>
    </dependency>

（2）写一个测试类，使用jedis实例来进行五种value类型的操作，需要在测试之前先service iptables stop命令关闭centos6.5的防火墙，要不然报错'连接拒绝'。

package com.boe;

import org.junit.Test;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.Tuple;

import java.util.List;
import java.util.Set;
import java.util.UUID;

/**
 * 测试使用redis
 */
public class JedisClient {
    /*
     * 1 创建jedis连接对象
     * 2 选择一个服务端进行连接，需要提供ip和端口号
     * 3 如果服务端设置了密码，还通过密码获取权限，获取到权限后就可以使用jedis的api，来发送底层命令
     */

    @Test
    public void test01(){
        String host="192.168.200.140";//redis server ip
        int port=6380;
        Jedis jedis=new Jedis(host,port);
        //发送命令
        //string类型
        System.out.println("-------string类型操作-------");
        String s = jedis.set("name", "messi");
        System.out.println(s);
        String name = jedis.get("name");
        System.out.println(name);
        Long setnx = jedis.setnx("name", "messi");
        System.out.println(setnx);
        //hash类型
        System.out.println("-------hash类型操作-------");
        Long hset = jedis.hset("user", "name", "clyang");
        System.out.println(hset);
        String hget = jedis.hget("user", "name");
        System.out.println(hget);
        //list类型
        System.out.println("-------list类型操作-------");
        Long list = jedis.lpush("list", "100", "200", "300");
        System.out.println(list);
        List<String> lrange = jedis.lrange("list", 0, -1);
        System.out.println(lrange.toString());
        //set类型
        System.out.println("-------set类型操作-------");
        Long sadd = jedis.sadd("likes", "football", "basketball", "waterball");
        System.out.println(sadd);
        Boolean sismember = jedis.sismember("likes", "football");
        System.out.println(sismember);
        //zset类型
        System.out.println("-------zset类型操作-------");
        jedis.zadd("movie",100,"hero");
        jedis.zadd("movie",40,"king");
        jedis.zadd("movie",90,"queue");
        //获取zset
        Long count = jedis.zcard("movie");
        System.out.println(count);
    }
}

运行后控制台输出，发现正确的执行了命令。

redis查看6380端口的数据，ok。

192.168.200.140:6380> keys *
1) "name"
2) "list"
3) "likes"
4) "user"
5) "movie"

（3）上面分片有用到哈希取余，代码中也可以实现，并且还可实现权重，具体参考代码。

    //测试hash取余算法
    @Test
    public void test02(){
        Jedis jedis1=new Jedis("192.168.200.140",6379);
        Jedis jedis2=new Jedis("192.168.200.140",6380);
        Jedis jedis3=new Jedis("192.168.200.140",6381);
        for (int i = 0; i < 100; i++) {
            //模拟key-value
            String key=UUID.randomUUID().toString();
            String value="";
            //hash取余的公式
            //hashCode()，字符串数据区间映射到正数区间的值，结果可正可负
            //&上Integer.MAX_VALUE就是保真运算，变成一个31位的正数,效率比取绝对值计算高
            //(key.hashCode()&Integer.MAX_VALUE)%3;
            int result=(key.hashCode()&Integer.MAX_VALUE)%3;
            if(result==0) jedis1.set(key,value);
            if(result==1) jedis2.set(key,value);
            if(result==2) jedis3.set(key,value);

            //下面的方法可以实现权重
            //int result1=(key.hashCode()&Integer.MAX_VALUE)%6;
            //if(result1==(0|1|2)) jedis1.set(key,value);
            //if(result1==(3|4)) jedis2.set(key,value);
            //if(result1==5) jedis3.set(key,value);
        }
    }

执行成功后，可以去redis登录不同端口的服务，查看数据，发现大体上实现了三个redis节点1:1:1的分配，不过有个节点数据量会多一点，这就是数据的偏移，后面大数据里也会有这个概念，先记录一下。

keys * 查看三个redis节点的数据情况

[root@node01 ~]# redis-cli -h 192.168.200.140 -p 6379
192.168.200.140:6379> keys *
 1) "591d29e7-b4a0-4a0a-9659-698c05e9ff82"
 2) "1a15811b-0b15-404c-beb1-3dbb745bd1dd"
 3) "5db35091-5272-450c-b961-6a9c800d5643"
 4) "8bf10dc7-dd56-4e91-9d50-57a041ff0d0c"
 5) "e0f49161-eeb5-4b4e-9077-c8912356e758"
 6) "e9393c5b-3f71-4d86-af1f-b42d6b5be8db"
 7) "69fabfab-3ebc-44f5-bcaf-ebe8887c6fd1"
 8) "63985acf-059c-4da9-8ed8-5db5980b5f83"
 9) "04cd163b-52c5-4d17-bb95-ca99fb967603"
10) "ee4db2f6-c6bd-4d2a-a322-947112e858eb"
11) "e036856a-31e1-438a-9398-255388861025"
12) "27bfa164-1cdf-4404-82ce-026a9dbb0baa"
13) "db1f15dd-0b61-43d2-9cf2-3cb3059f16d7"
14) "7126f3b3-eb66-43be-96ac-dcc7a57ef717"
15) "b3363d55-d66a-4ae9-a753-186ac5673b67"
16) "2254689c-ede6-4108-8fc8-8d4d9bce5605"
17) "836e52cb-2c73-4017-b4bc-7ea6022d4381"
18) "18ad35e2-c6f7-42b8-8f26-6e24f4e3147f"
19) "12662f06-693f-4790-95cd-0ae7a55ba68b"
20) "c2e7ac34-6f85-48df-9fb8-a23ada69678a"
21) "93b95368-94df-431d-9145-493db6e9c5fc"
22) "a4b63d27-7e70-4ba2-9b76-9bd9b7f1a254"
23) "e9f264b7-0626-46ab-a75e-8a537b34dad8"
24) "7288dcb8-4d33-428a-b6a5-0e8ad0f4d515"
25) "58e5cb4c-e779-4689-b085-bdebedb72731"
26) "2daac8fd-4d7a-43e5-9f5f-679ce29f4018"
27) "ac436bcd-edc7-4ee9-9137-220d847bc4f4"
28) "1cbdc3dd-c162-4257-9a83-288cd7ce2d9d"
29) "ba1e37d3-197e-42fb-901e-a1700141cb18"
30) "4cc254e7-67ec-4aad-8695-9cc1eeef0f68"
31) "bf2b9c40-0540-4d1e-97b4-fc99c2da3c74"
32) "02f83409-f09c-46ae-88c8-746e2ffa9ae7"
33) "1066a146-6da9-40fb-8207-538a5f98d13c"
34) "c9f2ab89-038d-4691-9ba8-eb98067273da"
35) "2ccf58df-bd74-488e-8bde-150b1806715c"
36) "154b4bf6-3c10-4bc5-885d-2cc97a98eea2"
37) "6cf530e4-7ede-40f5-adee-b11f095c5d06"
38) "23e8a78d-43b4-4627-b4dc-6ef46565c1fc"
192.168.200.140:6379> quit
[root@node01 ~]# redis-cli -h 192.168.200.140 -p 6380
192.168.200.140:6380> keys *
 1) "10bc105b-3153-4a36-a137-844b35180b0b"
 2) "30c5f630-9204-4408-bed6-007668d16404"
 3) "a566f597-9c8e-4167-a702-55f93c842b65"
 4) "cd2cdc0c-cf85-4f60-b752-a0f23e9e8b9f"
 5) "59973a7f-e6b6-48ec-a0aa-a2dfc4cbee37"
 6) "21064f13-543c-4935-9bc1-6a4d6b4b8af6"
 7) "e101dcb0-2b4a-4f65-bcce-41849422f40e"
 8) "9b625da5-1e98-48b1-9797-2f4cb9a035ba"
 9) "97bf8782-ec48-4b69-81f0-f1ef9da91ee0"
10) "35ec04bc-64a2-42f2-85b6-234237c0bb5c"
11) "38f621fc-b854-4281-9b9e-5e81b42b75ab"
12) "2eb7e614-bbf4-4eee-a7d8-0c022a93d3d1"
13) "42a2d2aa-fab5-45e4-861f-307d7c9d9657"
14) "16453f29-c925-46cd-9ce3-de881a051fff"
15) "d33b7dfa-2774-478a-9e52-d0cf4929940a"
16) "67c62fa6-e4ce-4f22-82db-24edcbd4f978"
17) "a8d92b3d-ff73-439f-92d9-329250fbe596"
18) "03506ad5-a729-47ed-9c61-b50efbbf8d91"
19) "77408f78-4e54-46a9-ad4d-bd0a10a40333"
20) "154a431b-f964-44ac-96b3-347a464b928d"
21) "904593e2-7691-4cbe-a42b-d6e7d3132da1"
22) "df07d672-b7e2-41d7-8f65-3e372149dd85"
23) "98cbe692-5f79-4403-96ef-1a8804cd552c"
24) "f4822e11-e72b-4970-a99c-7995428cc6a0"
25) "91326ca5-8093-4aff-af0a-c05f6ab3f67c"
26) "e8f2643b-0d17-41d2-9e1c-87bd91bd2fe2"
27) "6d87dba3-b326-477a-985c-023e9e59bb7a"
28) "ce714a8b-507c-4c9b-ae07-eadecc8c47b2"
29) "64ad3dba-2c06-4e1e-9dd9-694dbef94eb8"
30) "f651e61a-c84c-478e-b34d-130a03613f13"
31) "d507b9d7-ed15-401f-abf7-9ce113b1237d"
32) "d3de56aa-9abe-46e5-aa82-e2739db00c61"
33) "f56d86a8-42dd-4889-82c9-c809e5dfb4e9"
192.168.200.140:6380> quit
[root@node01 ~]# redis-cli -h 192.168.200.140 -p 6381
192.168.200.140:6381> keys *
 1) "fc8b0bc4-dd19-4817-9fe0-9e8e5b015492"
 2) "de2c277b-1af1-43a3-bc26-4838ade9211b"
 3) "e29cc1d1-566d-4975-b8da-654b7df701b5"
 4) "93d43a98-d6b6-444d-b1d3-6e2558929abb"
 5) "ec0a63f4-01e2-4853-9c5e-7f7f88aa7d2d"
 6) "e68bf85b-9751-411c-85e0-e71f8c50d4cc"
 7) "e24a7f8a-6469-4873-b546-e9d861a4ed49"
 8) "dffb8776-dd3e-4e68-b0f2-95efae1f06bb"
 9) "eba3c6b5-00df-433f-bce0-b434a088712d"
10) "1b807663-ccde-4b68-b62f-84f8725f2888"
11) "70bdc2f4-82bb-4a60-b446-35f66adb28fa"
12) "471a0db6-1dad-4ecc-a1d8-f7d9bee1bd3e"
13) "07f551c4-48a7-4b8a-b9c3-550666217170"
14) "92db8e28-a981-4db2-9376-6a4779b2f431"
15) "124c36ec-575e-41cb-a572-b80c3257bb8f"
16) "59386a43-5f05-4a20-850b-0cad845662a5"
17) "6413579b-fc76-4b0c-811a-f984458463c9"
18) "055c86d3-0668-439f-b4bd-0e04bb4df317"
19) "78f77451-1d0c-41c4-bf38-9914df3866ff"
20) "322cb478-f4e3-4295-abae-399aecb2b219"
21) "34768304-a285-4f3e-ab1e-5d8a7073c24e"
22) "21493487-cdf3-4eee-84a2-e743f762b998"
23) "d85559de-0b20-46bb-b2f2-afc81c5fc33c"
24) "7ae7f256-5556-4997-bf50-49465fc4c23e"
25) "38789a36-04cb-49e4-b65d-c7caac671480"
26) "68712f1d-3fc1-49f3-a38d-284beb3c203d"
27) "c894ba32-e7aa-4c2c-80cd-04c9479387ff"
28) "810de36d-6db5-473c-be6c-6e177440c967"
29) "e7c620b0-cb33-4bfc-9c57-d8dea8491e75"
View Code

以上是对redis多实例部署，分片概念和jedis使用的记录，后续继续补充redis的相关知识。

 

参考博文：

（1）https://www.cnblogs.com/peter1018/p/9765585.html redis.conf目录介绍

（2）https://www.cnblogs.com/Dylansuns/p/7402049.html 同上

（3）https://blog.csdn.net/fly910905/article/details/84983557 

posted @ 2019-12-04 23:04  斐波那切  阅读(2769)  评论(0)  编辑  收藏  举报