Ceph mimic

环境

系统：Centos 7（系统最小化安装）
版本：Ceph mimic

系统配置

配置主机名hostname、hosts、关闭firewalld、ssh无密码登录、ntp时间同步等，过程略。

保存下载rpm包，安装或升级的同时保留RPM包。yum 默认情况下，升级或者安装后会删除下载的rpm包。不过，我们也可以设置不删除下载的rpm包。

1
2
3
4
 
vim/etc/yum.conf
[main]
cachedir=/var/cache/yum
keepcache=0

 

将 keepcache=0 修改为 keepcache=1， 安装或者升级后，在目录 /var/cache/yum 下就会有下载的 rpm 包了。

配置源，使用阿里源

1
2
3
 
rm -f /etc/yum.repos.d/*
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

 

删除阿里内网地址

1
 
sed -i '/aliyuncs.com/d' /etc/yum.repos.d/*.repo

 

创建ceph源

1
2
3
4
5
6
7
8
9
10
 
echo '
[ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch
enabled=1
gpgcheck=1
priority=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
'>/etc/yum.repos.d/ceph.repo

 

生成缓存

1
 
yum clean all && yum makecache

 

指定安装版本的源

1
2
 
export CEPH_DEPLOY_REPO_URL=https://mirrors.aliyun.com/ceph/rpm-mimic/el7
export CEPH_DEPLOY_GPG_URL=https://mirrors.aliyun.com/ceph/keys/release.asc

 

安装Ceph

ceph-node1：Ceph mon+osd节点
ceph-node2：Ceph mon+osd节点
ceph-node3；Ceph mon+osd节点

安装ceph-deploy配置工具

1
 
yum install -y ceph-deploy

 

创建配置目录

1
 
mkdir /etc/ceph && cd /etc/ceph/

 

初始化Mon配置

1
 
ceph-deploy new --public-network 192.168.111.0/24 ceph-node{1,2,3}

 

配置网络,单网卡忽略 修改冗余份数为2，日志大小2G

1
2
3
4
5
6
7
8
9
10
 
echo '
mon_clock_drift_allowed = 2    
osd_journal_size = 4086
osd_pool_default_pg_num = 128
osd_pool_default_pgp_num = 128
osd pool default size = 2
osd pool default min size = 1
rbd_default_features = 1
client_quota = true
'>>./ceph.conf

 

安装Ceph

1
 
ceph-deploy install --release mimic ceph-admin ceph-node{1,2,3}

 

初始化monitor和key

1
 
ceph-deploy --overwrite-conf mon create-initial

 

分发拷贝配置及密钥

1
2
 
chmod 644 /etc/ceph/ceph.client.admin.keyring
ceph-deploy admin ceph-admin ceph-node{1,2,3}

 

创建存储节点，清空磁盘

1
2
3
 
ceph-deploy disk zap ceph-node1 /dev/vdb
ceph-deploy disk zap ceph-node2 /dev/vdb
ceph-deploy disk zap ceph-node3 /dev/vdb

 

查看可用磁盘

1
2
3
 
ceph-deploy disk list ceph-node1
ceph-deploy disk list ceph-node2
ceph-deploy disk list ceph-node3

 

创建osd

1
2
3
 
ceph-deploy --overwrite-conf osd create ceph-node1 --data /dev/vdb 
ceph-deploy --overwrite-conf osd create ceph-node2 --data /dev/vdb 
ceph-deploy --overwrite-conf osd create ceph-node3 --data /dev/vdb

 

创建 ceph mgr 管理进程服务，自12版本启用

1
2
3
 
ceph-deploy --overwrite-conf mgr create ceph-node1
ceph-deploy --overwrite-conf mgr create ceph-node2
ceph-deploy --overwrite-conf mgr create ceph-node3

 

创建mon

1
2
3
4
5
6
 
ceph-deploy --overwrite-conf mon create ceph-node1
ceph-deploy --overwrite-conf admin ceph-node1
ceph-deploy --overwrite-conf mon create ceph-node2
ceph-deploy --overwrite-conf admin ceph-node2
ceph-deploy --overwrite-conf mon create ceph-node3
ceph-deploy --overwrite-conf admin ceph-node3

 

取消Cephx认证（可选）
把下列配置加入 Ceph 配置文件的 [global] 段下即可禁用 cephx 认证

1
2
3
 
auth cluster required = none
auth service required = none
auth client required = none

 

修改后，需要重启 Ceph服务，在每个ceph节点上都需要执行

1
2
 
systemctl restart ceph-mon.target
systemctl restart ceph-osd.target

 

启用dashboard (在mon节点)

1
 
ceph mgr module enable dashboard

 

设置dashboard的ip和端口

1
2
3
 
ceph config-key put mgr/dashboard/server_addr ceph-node1
ceph config-key put mgr/dashboard/server_port 8443
systemctl restart ceph-mgr@ceph-node1

 

生成并安装自签名证书

1
2
 
# ceph dashboard create-self-signed-cert
Self-signed certificate created

 

创建具有管理员角色的用户

1
2
 
# ceph dashboard set-login-credentials admin admin
Username and password updated

 

登录Web界面
image

制作repo文件

拷贝安装下载的ceph rpm包到指定文件夹

1
 
find /var/cache/yum/ -name *.rpm | xargs -i cp {} ceph_mimic_rpms/

 

这里要用到createrepo命令，如果没有此命令需要先安装它

1
 
yum install createrepo -y

 

生成一个repodata文件夹

1
 
createrepo ceph_mimic_rpms/

 

之后就可以正常离线安装ceph。如果机器无法访问外网，需要事先从https://download.ceph.com/keys/release.asc 下载对应的release.asc文件，上传到集群的每一个节点上，执行如下命令：

1
 
rpm --import './release.asc'

 

rpm包更新
在使用过程中，可能还需要添加其他rpm包，把rpm包丢到ceph_mimic_rpms/目录下，我们不用重新制作repodata文件，只需要update一下。

1
 
createrepo --update ceph_mimic_rpms/

 

本机使用ceph离线源

1
2
 
mkdir  /etc/yum.repos.d/backup
mv /etc/yum.repos.d/*.repo  /etc/yum.repos.d/backup

在文件 /etc/yum.repos.d/ceph-deploy.repo中添加以下内容，保存

1
2
3
4
5
 
[LocalCeph]
name=LocalCeph
baseurl=file:///opt/ceph_mimic_rpms    //ceph包存放目录
gpgcheck=0
enabled=1

 

执行下面命令生效

1
2
3
 
yum clean all
yum makecache
yum list | grep ceph

 

最后，离线安装ceph，过程同上。

其他机器使用ceph离线源

在ceph源机器上安装nginx，createrepo，reposync

1
 
yum install nginx createrepo yum-utils -y

 

在nginx根目录建立文件夹

1
 
mkdir -p /usr/share/nginx/html/yum/x86_64/ceph/RPMS

 

启动nginx

1
 
systemctl enable nginx && systemctl restart nginx

 

将下载的ceph包放在/usr/share/nginx/html/yum/x86_64/ceph/RPMS目录下

自动生成repodata

1
 
createrepo -p /usr/share/nginx/html/yum/x86_64/ceph/

 

在client端创建repo文件ceph-deploy.repo

1
2
3
4
5
 
[Ceph]
name=Ceph
baseurl=http://server IP/yum/x86_64/ceph
gpgcheck=0
enabled=1

 

验证

1
2
3
 
yum clean all
yum makecache
yum list | grep ceph
posted @ 2019-04-25 13:58  技术颜良  阅读(726)  评论(0)  编辑  收藏  举报