处理Ceph osd的journal的uuid问题
前言
之前有一篇文章介绍的是，在centos7的jewel下面如果自己做的分区如何处理自动挂载的问题，当时的环境对journal的地方采取的是文件的形式处理的，这样就没有了重启后journal的磁盘偏移的问题
如果采用的是ceph自带的deploy去做分区的处理的时候，是调用的sgdisk去对磁盘做了一些处理的，然后deploy能够识别一些特殊的标记，然后去做了一些其他的工作，而自己分区的时候，是没有做这些标记的这样就可能会有其他的问题
我们看下如何在部署的时候就处理好journal的uuid的问题
实践
按常规流程部署OSD
准备测试的自分区磁盘
dd if=/dev/zero of=/dev/sde bs=4M count=100;
dd if=/dev/zero of=/dev/sdf bs=4M count=100; parted /dev/sde mklabel gpt;
parted /dev/sdf mklabel gpt;
parted /dev/sde mkpart primary 1 100%;
parted /dev/sdf mkpart primary 1 100%
使用的sde1作为数据盘，使用sdf1作为ssd的独立分区的journal磁盘
我们线按照常规的步骤去部署下
做osd的prepare操作
[root@lab8106 ceph]# ceph-deploy osd prepare lab8106:/dev/sde1:/dev/sdf1
···
[lab8106][WARNIN] adjust_symlink: Creating symlink /var/lib/ceph/tmp/mnt.7HuS8k/journal -> /dev/sdf1
···
做osd的activate操作
[root@lab8106 ceph]# ceph-deploy osd activate lab8106:/dev/sde1:/dev/sdf
···
[lab8106][WARNIN] ceph_disk.main.Error: Error: ['ceph-osd', '--cluster', 'ceph', '--mkfs', '--mkkey', '-i', '7', '--monmap', '/var/lib/ceph/tmp/mnt.yOP4gv/activate.monmap', '--osd-data', '/var/lib/ceph/tmp/mnt.yOP4gv', '--osd-journal', '/var/lib/ceph/tmp/mnt.yOP4gv/journal', '--osd-uuid', '5c59284b-8d82-4cc6-b566-8b102dc25568', '--keyring', '/var/lib/ceph/tmp/mnt.yOP4gv/keyring', '--setuser', 'ceph', '--setgroup', 'ceph'] failed : 2016-12-26 13:11:54.211543 7f585e926800 -1 filestore(/var/lib/ceph/tmp/mnt.yOP4gv) mkjournal error creating journal on /var/lib/ceph/tmp/mnt.yOP4gv/journal: (13) Permission denied
[lab8106][WARNIN] 2016-12-26 13:11:54.211564 7f585e926800 -1 OSD::mkfs: ObjectStore::mkfs failed with error -13
[lab8106][WARNIN] 2016-12-26 13:11:54.211616 7f585e926800 -1 ** ERROR: error creating empty object store in /var/lib/ceph/tmp/mnt.yOP4gv: (13) Permission denied
···
可以看到提示的是权限不足，我们检查下权限
[root@lab8106 ceph]# mount /dev/sde1 /mnt
[root@lab8106 ceph]# ll /mnt/
total 32
-rw-r--r-- 1 root root 193 Dec 26 13:11 activate.monmap
-rw-r--r-- 1 ceph ceph 37 Dec 26 13:11 ceph_fsid
drwxr-xr-x 3 ceph ceph 37 Dec 26 13:11 current
-rw-r--r-- 1 ceph ceph 37 Dec 26 13:11 fsid
lrwxrwxrwx 1 ceph ceph 9 Dec 26 13:11 journal -> /dev/sdf1
-rw-r--r-- 1 ceph ceph 37 Dec 26 13:11 journal_uuid
-rw-r--r-- 1 ceph ceph 21 Dec 26 13:11 magic
-rw-r--r-- 1 ceph ceph 4 Dec 26 13:11 store_version
-rw-r--r-- 1 ceph ceph 53 Dec 26 13:11 superblock
-rw-r--r-- 1 ceph ceph 2 Dec 26 13:11 whoami
[root@lab8106 ceph]# ll /dev/sdf1
brw-rw---- 1 root disk 8, 81 Dec 26 13:03 /dev/sdf1
创建sdf1的journal的时候权限有问题，我们给下磁盘权限
[root@lab8106 ceph]# chown ceph:ceph /dev/sdf1
[root@lab8106 ceph]# ceph-deploy osd activate lab8106:/dev/sde1:/dev/sdf1
可以看到成功了
检查下osd的目录：
[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-7
total 56
-rw-r--r-- 1 root root 193 Dec 26 13:15 activate.monmap
-rw-r--r-- 1 ceph ceph 3 Dec 26 13:15 active
-rw-r--r-- 1 ceph ceph 37 Dec 26 13:11 ceph_fsid
drwxr-xr-x 166 ceph ceph 4096 Dec 26 13:16 current
-rw-r--r-- 1 ceph ceph 37 Dec 26 13:11 fsid
lrwxrwxrwx 1 ceph ceph 9 Dec 26 13:11 journal -> /dev/sdf1
可以看到journal链接到了/dev/sdf1，这次的部署是成功了，但是这里就有个问题，如果下次重启的时候，sdf1不是sdf1盘符变了，那么问题就会产生了，osd可能就无法启动了
优化下部署流程
这里是优化后的流程，解决上面的问题的
准备测试的自分区磁盘
dd if=/dev/zero of=/dev/sde bs=4M count=100;
dd if=/dev/zero of=/dev/sdf bs=4M count=100;
parted /dev/sde mklabel gpt;
parted /dev/sdf mklabel gpt;
parted /dev/sde mkpart primary 1 100%;
parted /dev/sdf mkpart primary 1 100%
给jounral盘做一个标记(特殊标记，下面的字符串不要变动固定写法)
/usr/sbin/sgdisk --change-name=1:'ceph journal' --typecode=1:45b0969e-9b03-4f30-b4c6-b4b80ceff106 -- /dev/sdf
给数据盘做一个标记(特殊标记，下面的字符串不要变动固定写法)
/usr/sbin/sgdisk --change-name=1:'ceph data' --typecode=1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d -- /dev/sde
检查下当前的分区标记情况
[root@lab8106 ~]# ceph-disk list
/dev/sde :
/dev/sde1 ceph data, unprepared
/dev/sdf :
/dev/sdf1 ceph journal
做osd的prepare操作
ceph-deploy osd prepare lab8106:/dev/sde1:/dev/sdf1
ceph-deploy osd activate lab8106:/dev/sde1:/dev/sdf1
再次检查下当前的分区标记情况
[root@lab8106 ceph]# ceph-disk list
···
/dev/sde :
/dev/sde1 ceph data, active, cluster ceph, osd.8, journal /dev/sdf1
/dev/sdf :
/dev/sdf1 ceph journal, for /dev/sde1
查看jounral的数据
[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-8
total 56
-rw-r--r-- 1 root root 193 Dec 26 13:26 activate.monmap
-rw-r--r-- 1 ceph ceph 3 Dec 26 13:26 active
-rw-r--r-- 1 ceph ceph 37 Dec 26 13:25 ceph_fsid
drwxr-xr-x 164 ceph ceph 4096 Dec 26 13:26 current
-rw-r--r-- 1 ceph ceph 37 Dec 26 13:25 fsid
lrwxrwxrwx 1 ceph ceph 58 Dec 26 13:25 journal -> /dev/disk/by-partuuid/cd72d6e8-07d0-4cd3-8c6b-a33d624cae36
···
可以看到已经正确的链接了,并且部署过程中也没有了上面的需要进行权限的处理，这个是deploy工具在中间帮做了
总结
处理的核心在于做的那两个标记，其他的就交给deploy工具自己处理就行了，如果有兴趣可以深入研究，没兴趣的话，就安装上面说的方法进行处理就行
