ceph分布式部署
ceph 是一个分布式存储的解决方案，提供一个分布式，可扩展，高性能，不存在单点故障的存储系统
目标：
1轻松扩展到PB级别
2 高性能
3 高可用
用途：
1 作为云存储解决方案
2 作为同意存储解决方案包含块存储，对象存储
安装部署：
1 手动编译
安装依赖
下载源码包
手动编译ceph.conf文件
测试集群状态
2 部署工具
借助ceph-deploy， saltstack 等工具，官方推介ceph-deploy
节点准备：
3个节点，培训3个osd，3个mon
每个节点运行2个ceph daemon
每个osd节点1个ssd日志盘，1个sata容量1TB的数盘
每个节点两个网卡，一内一外
1 关闭iptable 等服务
systemctl stop firewalld.service
setenforce 0
2 设置主机名， 编写/etc/hosts文件
3 设置时间同步ntp
选择一个节点为admin节点， 部署操作在这个节点上进行
5添加yum源
root@node2 ~]# cat /etc/yum.repos.d/ceph.repo [ceph] name=ceph baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.8/el7/x86_64/ enabled=1 gpgcheck=0 priority=1 gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc [ceph-noarch] name=cephnoarch baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.8/el7/noarch/ priority=1 gpgcheck=0 enabled=1 gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc [ceph-source] name=Ceph source packages baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.8/el7/SRPMS enabled=0 gpgcheck=0 priority=1 gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
6 添加节点信任ssh无密码登录 手动生产密钥对
ssh-keygen -t rsa
ssh-copy-id node3
7 安装ceph-deploy工具（部署机上操作）
yum install -y ceph-deploy
如果是旧机器需要
清除旧的ceph：
ceph-deploy purgedata node1 node2 node3
ceph-deploy forgetkeys
ceph-deploy purge node1 node2 node3
8 在admin节点创建一个目录 mkdir /ceph
mkdir ceph
cd ceph/
创建monitor 这里一个monitor
ceph-deploy new node1 node2 node3 执行后在/ceph 目录下生成 ceph.conf ceph.log ceph.mon.keyring 三个文件
ceph.conf调整一些
9 每个节点安装ceph OSD
ceph-deploy install node1 node2 node3
调整配置后
vim /ceph/ceph.conf
public_network = 192.168.234.0/24
cluster_network = 192.168.234.0/24
之后：ceph-deploy --overwrite-conf config push node1 node2 node3
收集密钥：
ceph-deploy mon create-initial
10 设置管理节点
ceph-deploy admin node0 node1 node2
修改keyring 权限
chmod +r /etc/ceph/ceph.client.admin.keyring
检查集群状态
ceph -s
操作OSD
node0：
ceph-deploy disk zap --fs-type xfs 主机名:/dev/sdb 擦除个存储节点磁盘
ceph-deploy osd create node0:/dev/sdb 创建存储系节点数据盘
ceph-deploy disk zap --fs-type xfs node1:/dev/sdb
ceph-deploy osd create node1:/dev/sdb
ceph-deploy disk zap --fs-type xfs node2:/dev/sdb
ceph-deploy osd create node2:/dev/sdb
