ceph 配置安装

ceph 存储集群

1、安装环境

三个测试节点，分别设置好hostname，解析hosts，（每个节点上挂磁盘 sdb,sdc, …）

• master
• node1
• node2

hostnamectl set-hostname HostName

cat /etc/hosts  # 复制到三个节点上
#...

192.168.10.133 master  #这里只是主机名字，方便内网
192.168.10.134 node2
192.168.10.135 node3

2、使用root账号

如果使用root账号忽略这一步，也可以创建一个普通账号，加上sudo权限

普通账号使用时：
sudo .....   # 过程提示有问题时多半是没有权限

3、部署秘钥

# ssh-keygen #生成
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:xIdFymzCHfHW6eerPIxg7MnuHS2FZ/La30PS2QZH6To root@node2
The key's randomart image is:
+---[RSA 2048]----+
|        ooo     .|
|     . = * . . ..|
|      o X + o .. |
|       + o o  ...|
|       .S o = +oo|
|        +  B E +o|
|       + oooo =. |
|        +..*o  + |
|       oo o ++o o|
+----[SHA256]-----+

# 部署,输入密码
ssh-copy-id -i /root/.ssh/id_rsa.pub node2

ssh-copy-id -i /root/.ssh/id_rsa.pub node3

ssh-copy-id -i /root/.ssh/id_rsa.pub node1

这里其实可以使用Ansible等工具

4、添加源

#cat /etc/yum.repos.d/ceph.repo 
[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirror.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirror.tuna.tsinghua.edu.cn/ceph/keys/release.asc
priority=1

复制到三个节点

5、安装

#这里可以配置一下时间同步，时间不同步容易出问题，ntpdate

#master上执行
yum install epel-release
yum install ceph-deploy
mkdir test_cluster
cd test_cluster

ceph-deploy new node1 node2 master
#会生成新文件：
ls
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring

cat ceph.conf #这里存的基本配置信息可以看一下节点名，ip等

[global]
fsid = 3bcecb52-7ec3-4fd8-9130-375cb7210f7f
mon_initial_members = master, node1, node2
mon_host = 192.168.10.130,192.168.10.131,192.168.10.132
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

个节点安装：

ceph-deploy install --no-adjust-repos node1 node2 master
# 也可以到个节点上分别执行：
yum install -y ceph-radosgw ceph # 这个等同上面ceph-deploy install

 

初始化生成秘钥等： ceph-deploy mon create-initial

ls

ceph.bootstrap-mds.keyring  ceph.bootstrap-osd.keyring  ceph.client.admin.keyring  ceph-deploy-ceph.log  ceph.mon.keyring-20210224104812
ceph.bootstrap-mgr.keyring  ceph.bootstrap-rgw.keyring  ceph.conf                  ceph.mon.keyring

 

将配置文件和密钥复制到集群各节点：

ceph-deploy admin node1 node2 master

这个是用来连接通信用的；配置文件就是生成的ceph.conf，而密钥是ceph.client.admin.keyring，当使用ceph客户端连接至ceph集群时需要使用的密默认密钥

ceph-mgr

ceph-deploy mgr create master

6 添加磁盘

ceph-deploy osd create --data /dev/sdb node1
ceph-deploy osd create --data /dev/sdc node1
ceph-deploy osd create --data /dev/sdb node2
ceph-deploy osd create --data /dev/sdb master

检查osd状态：
ceph health
ceph -s
ceph osd tree

 7 Web后台端

# yum install ceph-mgr-dashboard

ceph mgr module enable dashboard

# 配置账号
ceph dashboard create-self-signed-cert
ceph mgr services # 查看服务，浏览器访问