MinIO分布式集群部署方式

文章转载自：https://blog.51cto.com/u_10950710/4843738

关于分布式集群MinIo

单机Minio服务存在单点故障，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，数据就是安全的、可读的。不过需要至少有N/2+1个硬盘在线，才能创建新的对象。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服务器器宕机，这个集群仍然是可读的，不过你需要9台服务器才能写数据。

注意：只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘；也可以使用4个节点，每个节点2块硬盘，诸如此类。

部署分布式MinIO集群，需要注意事项

1、分布式MinIO所有节点是通过MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数相互连接和信任，为此，建议在执行MinIO server命令前，为所有节点设置环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD。如果不设置，则默认是minioadmin/minioadmin。
2、MinIO创建擦除编码集，每个集包含4到16个驱动器。分布式集群提供的驱动器总数必须是这些数字之一的倍数。
3、MinIO选择最大的EC集合大小，该集合将划分为给定的驱动器总数或节点总数——确保保持均匀分布，即每个节点参与每个集合的驱动器数量相等。
4、每个对象都写入一个EC集，因此分布在不超过16个驱动器上。
5、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。
6、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。
7、运行分布式MinIO实例的服务器之间的间隔应该小于15分钟。部署前先启动服务器NTP时间同步，以确保分布式集群内的服务器时间一致。
8、应该定义并导出MINIO_DOMAIN环境变量以支持桶DNS风格。
9、MinIO目前在Windows上的运行尚不成熟，生产环境慎重使用。

分布式MinIO集群部署

部署规划：一共5台服务器。MinIO集群部署在4台服务器上，每个服务器1块磁盘；剩余一台服务器用于部署Nginx负载均衡。

部署步骤:

1.四台服务器开启时间同步，命令：

# yum -y install ntp
# systemctl enable ntpd
# systemctl start ntpd
# timedatectl set-ntp yes
# ntpdate -u cn.pool.ntp.org
# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime   
# watch -n 1 'date`

2.创建相关目录，并下载minio

# mkdir /home/minio/{app,config,data,logs} -p
# cd /home/minio/app
# wget https://dl.min.io/server/minio/release/linux-amd64/minio
# chmod +x minio

3.创建部署启动脚本

# cat /home/minio/app/run.sh

#!/bin/bash

export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=admin@minio

/home/minio/app/minio server --config-dir /home/minio/config  --console-address ":9001" \    
http://10.98.66.62:9000/home/minio/data \
http://10.98.66.63:9000/home/minio/data \
http://10.98.66.64:9000/home/minio/data \
http://10.98.66.65:9000/home/minio/data >/home/minio/logs/start.txt 2>&1 &

启动脚本有一个参数–-config-dir /home/minio/config是指定配置文件路径的，如果没有指定这个参数，那么默认就会在~/.minio下生成相关的文件

4.启动应用

# sh /home/minio/app/run.sh

4个节点都重复以上4个部署步骤。待4个节点都成功启动后，集群启动成功。

注意：如果只启动了1个节点，那么可能发现9001端口没有启动，继续等到4个节点都启动后再检查9001,会发现就启动成功了。

编写服务脚本

# cat /usr/lib/systemd/system/minio.service

[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/home/minio/app/
ExecStart=/home/minio/app/run.sh
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

# chmod +x /usr/lib/systemd/system/minio.service
# systemctl daemon-reload
# systemctl start minio
# systemctl enable minio

5.配置Nginx代理

# cat minio-cluster.conf 
upstream minio_console {
    server 10.98.66.62:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.63:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.64:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.65:9001 max_fails=3 fail_timeout=5s;
}
upstream minio_api {
    server 10.98.66.62:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.63:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.64:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.65:9000 max_fails=3 fail_timeout=5s;
}

server {
    listen          9001;   #或者用80端口也可以
    server_name     10.98.66.66;    #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    location / {
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_console;
        expires                 0;
    }
}

server {
    listen          9000;
    server_name     10.98.66.66;   #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    #root            /home/minio/app/;

    location / {
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_api;
        expires                 0;
    }
}

因为没有用域名，所以访问的时候就用的NginxIP访问： http://10.98.66.66:9001，登录后，就能看到集群4个节点都是OK状态：

在页面创建一个Bucket:

因为是集群状态，所以图上圈出来的4个配置现在是可用状态了。

bucket创建好之后，到4台MinIo节点的/home/minio/data目录看，都存在test目录了，四个节点是同步的：

备注：因为项目的需求，我记得我专门测试过，如果部署一个分布式集群minIO，直接往其中一个节点的文件夹下上传一个文件，是不会同步到其他节点的。通过界面上传一个文件，这个文件是会同步到所有节点的，我想通过程序调集群接口上传文件，应该也是会同步。