PROXMOX创建CEPH笔记

1、准备工作

集群内各主机一定要先做校时，保证各节点时间一致，要么安装ntpdate，要么安装chrony（建议使用这个，实现自动校时）

可参考文章：

  https://blog.csdn.net/wylfengyujiancheng/article/details/88298708

  https://blog.csdn.net/m0_47476627/article/details/126003791

使用内部时间源：192.168.1.1，需要到每个节点上执行一次

echo 'server 192.168.1.1 iburst' >  /etc/chrony/sources.d/local-ntp-server.sources
chronyc reload sources

 

2、创建monitor和manager，可以只在其中一节点执行

 

3、创建OSD

前提：每个节点目前配置2块500G SSD（通过服务器阵列卡做了RAID1，proxmox显示为/dev/sdb），3块4T HDD（通过阵列卡做了3个RAID0，阵列卡不支持直通JBOD，proxmox显示为/dev/sdc /dev/sdd /dev/sde）

准备工作，首先要分析做好db disk和wal disk的规划（这两个disk用的是同一块SSD），每个data disk(就是最终存数据的HDD)，网上文章都说多data disk可以共用db disk和wal disk，都是片子，实际操作中，每个data disk都需要自已的db disk和wal disk，而且db disk和wal disk不能共用，所以，因有3个data disk，故需将/dev/sdb或分为6个分区

parted -s /dev/sdb mklabel gpt
parted -s /dev/sdb mkpart primary 0% 16%
parted -s /dev/sdb mkpart primary 17% 32%
parted -s /dev/sdb mkpart primary 33% 49%
parted -s /dev/sdb mkpart primary 50% 66%
parted -s /dev/sdb mkpart primary 67% 83%
parted -s /dev/sdb mkpart primary 84% 100%

.......................其中第二个分区计算错了，应该分到33%，后面的也错了，没办法100/6是无法完全平均分配的，总有一个分区会小一点，只能将错就错了....................

补充：网上有写一般来说每1T data disk，建议配置40G db disk， 80G WAL disk，但proxmox的自动默认是10%/1%（https://pve.proxmox.com/wiki/Deploy_Hyper-Converged_Ceph_Cluster）规划采购前要做好预算

参考OSD优化：https://blog.csdn.net/NetEaseResearch/article/details/118724510

用fdisk -l /dev/sdb列出分区

 
最后的74.35546875就是用前面的155934720个扇区x512/1024/1024/1024换算出来的大小（单位为G）

依次将/dev/sdc /dev/sdd /dev/sde创建OSD，其中DB size和WAL size就取上面换算出的分区大小，建议直接取整不要尾数

完成了，3块盘都分别成为了OSD，然后得每个节点重复以上操作，等以后机器多了得写个脚本去干这活.....

脚本来了：假的，这脚本有问题，有待研究

    参考文档：https://pve-doc-cn.readthedocs.io/zh_CN/latest/chapter_pveceph/cephosd.html

        https://bobcares.com/blog/proxmox-ceph-add-osd/#:~:text=For%20manually%20adding%20the%20OSD%2C%20we%20first%20create,use%20the%20command%2C%20ceph-osd%20-i%20%7Bosd-num%7D%20--mkfs%20--mkkey

pveceph createosd /dev/sdc -db_dev /dev/sdb1 -db_size 74G -wal_dev /dev/sdb2 -wal_size 74G
pveceph createosd /dev/sdd -db_dev /dev/sdb3 -db_size 74G -wal_dev /dev/sdb4 -wal_size 74G
pveceph createosd /dev/sde -db_dev /dev/sdb5 -db_size 74G -wal_dev /dev/sdb6 -wal_size 69G

 

 最后应该是看到上图每个节点都有OSD

4、创建Pool用于虚拟机磁盘（有待理解和优化）