ceph nautilus版本手动安装

一、准备工作
测试环境:

vmware workstation15制作centos7虚拟机四台，分别命名为admin、node01、node02、node03.....（可安装一台，其他克隆即可）。

四台机器，一台admin，其他三台为node01，node02和node03。node01、node02和node03均为两块硬盘，一块安装系统，另一块做为osd。

测试环境都为一块网卡一个网络（实际环境分公共网络public network和集群网络cluster network）。

0、最小化安装centos7，配置网络连通性。（实际环境除了osd节点mon节点需要至少两块网卡）
# vi /etc/sysconfig/network-scripts/ifcfg-ens*
BOOTPROTO=none
ONBOOT=yes
IPADDR=192.168.129.131
NETMASK=255.255.255.0
GATEWAY=192.168.129.2
DNS1=8.8.8.8

1、关闭防火墙墙
#systemctl stop firewalld
#systemctl disable firewalld

2、关闭selinux
# setenforce 0
#vi /etc/selinux/config
修改SELINUX=disabled
SELINUX=disabled
或者直接运行以下
#sed -i 's/=enforcing/=disabled/' /etc/selinux/config

3、设置时区，安装ntp时间同步
设置时区
# timedatectl set-timezone Asia/Shanghai

安装ntp。
#yum install ntp

时间同步对于整个集群十分重要，建议在集群中单独设置一台ntp server，其他节点从该ntp server同步时间。
如admin设置为ntp server，其他从admin同步时间

admin：
#vi /etc/ntp.conf
#设置允许同步的网络
restrict 192.168.129.0 mask 255.255.255.0 nomodify notrap
#设置上游时间服务器，修改server，不需要的前面加#号注释掉
server cn.ntp.org.cn iburst

node端：
#vi /etc/ntp.conf
server admin_ip iburst
#systemctl start ntpd #开启ntp
#systemctl enable ntpd #设置开机启动
#ntpq -p #查看ntp同步情况

4、设置hostname
hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03

5、编辑/etc/hosts
vi /etc/hosts添加解析
192.168.129.130 admin
192.168.129.131 node01
192.168.129.132 node02
192.168.129.133 node03
并传到其他节点去
#scp /etc/hosts admin:/etc/
#scp /etc/hosts node01:/etc/
#scp /etc/hosts node02:/etc/
#scp /etc/hosts node03:/etc/

6、用户ssh免认证
#ssh-keygen
ssh-copy-id root@admin
ssh-copy-id root@node01
ssh-copy-id root@node02
ssh-copy-id root@node03
如果要全部相互免认证，则
#  vi ~/.ssh/config
Host *
StrictHostKeyChecking no
# cd ~/.ssh
scp authorized_keys config id_rsa admin:~/.ssh/
scp authorized_keys config id_rsa node01:~/.ssh/
scp authorized_keys config id_rsa node02:~/.ssh/
scp authorized_keys config id_rsa node03:~/.ssh/

7、添加repo源，选择安装rpm-nautilus版本
# yum -y install epel-release yum-plugin-priorities  https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm
#sed -i -e "s/enabled=1/enabled=1\npriority=1/g" /etc/yum.repos.d/ceph.repo

添加完毕查看/etc/yum.repos.d/ceph.repo，看版本是否正确，如有必要如加快速度可修改源，如在教育网可使用清华的源。

# more /etc/yum.repos.d/ceph.repo

#vi  /etc/yum.repos.d/ceph.repo

baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/$basearch

8、更新系统
如果必要给yum添加代理
#vi /etc/yum.conf
proxy=http://proxyip:port
proxy_username=name
proxy_password=passwd
#yum update –y

9、各节点安装ceph
#yum -y install ceph ceph-radosgw
查看版本
[root@node01 ~]# ceph -v
ceph version 14.2.0 (3a54b2b6d167d4a2a19e003a705696d4fe619afc) nautilus (stable)

二、mon配置

整个集群都从一台mon节点开始。Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。实际环境一般需要三个mon来保证冗余和高可靠性。

1、登录到node01，查看ceph目录是否已经生成
# ls /etc/ceph
rbdmap

2、生成ceph配置文件
#touch /etc/ceph/ceph.conf

3、执行uuidgen命令，得到一个唯一的标识，作为ceph集群的ID
#uuidgen
62d31c7d-780f-40c3-9180-dbe1f7c5d508

4、手动配置ceph.conf
#vi /etc/ceph/ceph.conf

[global]
fsid = 62d31c7d-780f-40c3-9180-dbe1f7c5d508
mon initial members = node01
mon host = 192.168.129.131
public network = 192.168.129.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
#设置副本数
osd pool default size = 3
#设置最小副本数
osd pool default min size = 2
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1
osd_mkfs_type = xfs
max mds = 5
mds max file size = 100000000000000
mds cache size = 1000000
#设置osd节点down后900s，把此osd节点逐出ceph集群，把之前映射到此节点的数据映射到其他节点。
mon osd down out interval = 900
[mon]
#把时钟偏移设置成0.5s，默认是0.05s,由于ceph集群中存在异构PC，导致时钟偏移总是大于0.05s，为了方便同步直接把时钟偏移设置成0.5s
mon clock drift allowed = .50

5、为集群创建密钥环、并生成监视器密钥。
#ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

6、生成管理员密钥环，生成 client.admin 用户并加入密钥环。
#sudo ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

7、生成一个引导-osd密钥环，生成一个client.bootstrap-osd用户并将用户添加到密钥环中
#sudo ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd'

8、将生成的密钥添加到ceph.mon.keyring
#sudo ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
#sudo ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

9、使用主机名、主机IP地址(ES)和FSID生成monmap。把它保存成/tmp/monmap
monmaptool --create --add node01 192.168.129.131 --fsid 62d31c7d-780f-40c3-9180-dbe1f7c5d508 /tmp/monmap

10、创建一个默认的数据目录
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node01

11、修改ceph.mon.keyring属主和属组为ceph
chown ceph.ceph /tmp/ceph.mon.keyring

12、初始化mon
sudo -u ceph ceph-mon --mkfs -i node01 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

*初始化完毕查看/var/lib/ceph/mon/ceph-node01下是否生成文件，如果没有生成则是文件夹权限问题，需要将文件夹属主改成ceph，以及ceph.mon.keyring属主问题。

13、为了防止重新被安装创建一个空的done文件
sudo touch /var/lib/ceph/mon/ceph-node01/done

14、启动mon
#systemctl start ceph-mon@node01

15、查看状态
# systemctl status ceph-mon@node01

16、设置开机启动
# systemctl enable ceph-mon@node01

17、查看集群情况
[root@node01 ~]# ceph -s
cluster:
id: 62d31c7d-780f-40c3-9180-dbe1f7c5d508
health: HEALTH_WARN
1 monitors have not enabled msgr2
services:
mon: 1 daemons, quorum node01 (age 29m)
mgr: no daemons active
osd: 0 osds: 0 up, 0 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 0 B used, 0 B / 0 B avail
pgs:
*存在health告警，启用了msgr2后会消失。
# ceph mon enable-msgr2
然后重启服务
# systemctl restart ceph-mon@node01

18、将/etc/ceph下文件拷贝到其他集群主机
# scp /etc/ceph/* root@node02:/etc/ceph/
# scp /etc/ceph/* root@node03:/etc/ceph/
# scp /etc/ceph/* root@admin:/etc/ceph/
拷贝过去以后其他节点也就可以执行ceph -s查看集群情况了。
第一次安装如果出现key错误就重新开始。

 

添加其他mon
1、登录新监视器主机创建默认目录
ssh node02
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node02

2、在临时目录获取监视器密钥环
# ceph auth get mon. -o /tmp/ceph.mon.keyring

3、获取监视器运行图
# ceph mon getmap -o /tmp/ceph.mon.map

4、修改ceph.mon.keyring属主和属组为ceph
chown ceph.ceph /tmp/ceph.mon.keyring

5、初始化mon
sudo -u ceph ceph-mon --mkfs -i node02 --monmap /tmp/ceph.mon.map --keyring /tmp/ceph.mon.keyring

6、为了防止重新被安装创建一个空的done文件
# sudo touch /var/lib/ceph/mon/ceph-node02/done

7、启动服务，它会自动加入集群
# systemctl start ceph-mon@node02
# systemctl status ceph-mon@node02
# systemctl enable ceph-mon@node02

9、查看集群
ceph -s

如存在警告1 monitors have not enabled msgr2，则：
#  ceph mon stat
会看到node01没有启用v2，
登录到node01上运行：
# ceph mon enable-msgr2
然后重启服务
# systemctl restart ceph-mon@node01

如果因添加node2导致集群出差，需要到node01去先修改配置，再从步骤1开始添加新的mon，node01步骤如下：
# systemctl stop ceph-mon@node01
# monmaptool /tmp/monmap --rm node02
# ceph-mon -i node01 --inject-monmap /tmp/monmap
# systemctl start ceph-mon@node01

 

三、配置OSD
Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。一般至少需要3个osd来保证冗余和可靠性。

准备磁盘，如sdb。
精简型1、BLUESTORE方式

# ssh node01
# ls /dev/sd*
#sudo ceph-volume lvm create --data /dev/sdb
#sudo ceph-volume lvm list
显示osd.num，num后面会用到。
# systemctl start ceph-osd@0
# systemctl status ceph-osd@0
# systemctl enable ceph-osd@0

node2、node3上也创建
其他节点需要提前导出/var/lib/ceph/bootstrap-osd/ceph.keyring，或从node01上拷贝。
#ssh node02
# ls /dev/sd*
# ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring
#sudo ceph-volume lvm create --data /dev/sdb
#sudo ceph-volume lvm list
显示osd.num，num后面会用到。
# systemctl start ceph-osd@1
# systemctl status ceph-osd@1
# systemctl enable ceph-osd@1

[root@admin ~]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.05576 root default
-3 0.01859 host node01
0 hdd 0.01859 osd.0 up 1.00000 1.00000
-5 0.01859 host node02
1 hdd 0.01859 osd.1 up 1.00000 1.00000
-7 0.01859 host node03
2 hdd 0.01859 osd.2 up 1.00000 1.00000

精简型2、FILESTORE方式

按照官方说明BLUESTORE方式效率比FILESTORE方式效率更高，对SSD优化良好

四、安装mgr
在admin上：
1、创建认证key
#ceph auth get-or-create mgr.admin mon 'allow profile mgr' osd 'allow *' mds 'allow *'
2、创建目录
#sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-admin/
3、导出key到指定目录
# ceph auth get mgr.admin -o /var/lib/ceph/mgr/ceph-admin/keyring
4、启动服务
# systemctl start ceph-mgr@admin
# systemctl status ceph-mgr@admin
# systemctl enable ceph-mgr@admin
[root@admin ~]# ceph -s
cluster:
id: 0affd701-e929-48e8-809d-c8295395ebaa
health: HEALTH_OK
services:
mon: 3 daemons, quorum node01,node02,node03 (age 7m)
mgr: admin(active, since 103s)
osd: 3 osds: 3 up (since 23m), 3 in (since 23m)
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 3.0 GiB used, 42 GiB / 45 GiB avail
pgs:
在其他节点上安装mgr：
#ceph auth get-or-create mgr.$name mon 'allow profile mgr' osd 'allow *' mds 'allow *'
#sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-$name/
# ceph auth get mgr.$name -o /var/lib/ceph/mgr/ceph-$name/keyring
# systemctl start ceph-mgr@$name
# systemctl status ceph-mgr@$name
# systemctl enable ceph-mgr@$name
如在node01上安装后：
[root@node01 ~]# ceph -s
cluster:
id: 0affd701-e929-48e8-809d-c8295395ebaa
health: HEALTH_OK
services:
mon: 3 daemons, quorum node01,node02,node03 (age 10m)
mgr: admin(active, since 4m), standbys: node01
osd: 3 osds: 3 up (since 26m), 3 in (since 26m)
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 3.0 GiB used, 42 GiB / 45 GiB avail

 

mgr安装完毕后会看到存储信息。集群基础就算安装完毕。

整个手动安装过程容易出错的有两种情况：一、文件或文件夹权限是root而不是ceph；二、认证密钥不一致，keyring要和ceph auth list中的一样。

 

五、块设备使用
在使用ceph块设备时要用到rbd工具，需要rbd池，默认没有rbd池，
要手工在osd中创建
# ceph osd lspools
# ceph osd pool create rbd 128
# ceph osd lspools #再次查看
# rbd pool init rbd #初始化rbd pool
创建一个10G的盘disk01
# rbd create disk01 --size 10G --image-feature layering
查看
# rbd ls -l
映射到本地
# sudo rbd map disk01
/dev/rbd0 #映射成了rbd0，现在就可以像使用本地硬盘一样使用了
# rbd showmapped #查看映射情况
# sudo mkfs.xfs /dev/rbd0 #格式化该硬盘
# sudo mount /dev/rbd0 /mnt #挂载硬盘
# df -kh #查看挂载情况
/dev/rbd0 10G 33M 10G 1% /mnt

六、文件系统使用
首先配置MDS
1、创建目录
# sudo -u ceph mkdir /var/lib/ceph/mds/ceph-node01
2、生成mds.node01密钥
#ceph auth get-or-create mds.node01 osd "allow rwx" mds "allow" mon "allow profile mds"
3、导出mds密钥
#ceph auth get mds.node01 -o /var/lib/ceph/mds/ceph-node01/keyring

​4、在ceph.conf中添加配置
[mds.{id}]
host = {id}

5、启动服务
systemctl start ceph-mds@node01
systemctl status ceph-mds@node01
systemctl enable ceph-mds@node01

创建池
#ceph osd pool create cephfs_data 128
#ceph osd pool create cephfs_metadata 128
#ceph fs new cephfs cephfs_metadata cephfs_data
#ceph fs ls
#ceph mds stat

客户端mount cephFS，我们在admin上测试
#yum -y install ceph-fuse
#ssh node01 "sudo ceph-authtool -p /etc/ceph/ceph.client.admin.keyring" > admin.key
#chmod 600 admin.key
#mount -t ceph node01:6789:/ /mnt -o name=admin,secretfile=admin.key
# df -hT #查看挂载情况