O045、理解 Cinder 架构
从本节开始我们学习OpenStack 的 Block Storage Service ，Cinder。
理解 Block Storage
操作系统获得存储空间的方式一般有两种：
1、通过某种协议（SAS、SCSI、SAN、iSCSI）挂接裸硬盘，然后分区、格式化、创建文件系统；或者直接施工裸硬盘存储数据（数据库）
2、通过NFS、CIFS等协议，mount 远程的文件系统
第一种裸硬盘的方式叫做 Block Storage（块存储），每个裸硬盘通常也称作 Volume（卷）。
第二种叫做文件系统存储。NAS和NFS服务器，以及各种分布式文件系统提供的都是这种存储。
理解 Block Storage Service
Block Storage Service 提供对 volume 从创建到删除整个生命周期的管理。从 Instance 的角度看，挂载的每一个Volume 都是一块硬盘。OpenStack 提供 Block Storage Service 的是Cinder，其具体功能是：
1、提供 REST API 使用户能够查询和管理 volume 、 volume snapshot 、以及 volume type。
2、提供 Scheduler调度 volume 创建请求，合理优化存储资源的分配
3、通过driver 架构支持多种 back-end（后端）存储方式，包括 LVM、NFS、Ceph和其他诸如 EMC、IBM等商业存储产品
Cinder架构
下面是Cinder 的逻辑架构图
Cinder 包含如下几个组件：
cinder-api
接受API请求，调用 cinder-volume
cinder-volume
管理volume的服务，与volume provider协调工作，管理volume的生命周期。运行cinder-volume服务的节点被称为存储节点
cinder-scheduler
scheduler 通过调度算法选择最合适的存储节点创建volume
volume provider
数据的存储设备，为volume 提供物理存储空间。cinder-volume支持多种volume provider，每种volume provider通过自己的driver 与cinder-volume协调工作
Message Queue
Cinder各个子服务通过消息队列实现进程间的通信和相互协作。因为有了消息队列，子服务之间实现了解耦，这种松散的结构也是分布式系统的重要特征。
Database Cinder
有一些数据需要存放到数据库中，一般使用MySQL。数据是安装在控制节点上的，比如我们的实验环境中，可以访问名为 cinder 的数据库
物理部署方案
Cinder 的服务会部署在两类节点上，控制节点和存储节点。我们来看看控制节点 devstack-controller 上都运行了哪些 cinder-* 子服务
[root@DevStack-Rocky-Controller-31 stack]# ps -ef | grep cinder
stack 18066 1 0 16:13 ? 00:00:00 cinder-apiuWSGI master
stack 18067 18066 0 16:13 ? 00:00:19 cinder-apiuWSGI worker 1
stack 18068 18066 0 16:13 ? 00:00:19 cinder-apiuWSGI worker 2
stack 18817 1 0 16:13 ? 00:00:23 /usr/bin/python /usr/bin/cinder-scheduler --config-file /etc/cinder/cinder.conf
stack 19557 1 1 16:13 ? 00:01:54 /usr/bin/python /usr/bin/cinder-volume --config-file /etc/cinder/cinder.conf
stack 19824 19557 2 16:13 ? 00:04:04 /usr/bin/python /usr/bin/cinder-volume --config-file /etc/cinder/cinder.conf
cinder-api 和 cinder-scheduler 部署在控制节点上，这个很合理，至于cinder-volume 也在控制节点上，不是应该部署在计算节点上吗》
这里首先要搞清楚一个事实：OpenStack 是分布式系统，其每个子服务都可以部署在任何地方，只要网络能够连通。无论是哪个节点，只要上面运行了cinder-volume ，它就是一个存储节点，当然，该节点上也可以运行OpenStack的其他服务。
cinder-volume 是一顶存储节点帽子，cinder-api是一顶控制节点帽子。在我们的环境中，devstack-controller 同时戴上了两顶帽子，所以他既是控制节点又是存储节点。当然，我们也可以用一个专门的节点来运行cinder-volume。
这再一次展示了OpenStack 分布式架构部署上的灵活性：可以将所有服务都放在一台物理机上，用做一个 All-in-One的测试环境；而在生产环境中可以将服务部署在多台物理机上，获得更好的性能和高可用。
RabbitMQ 和 MySQL通常放在控制节点上。另外也可以用cinder service list 查看 cinder 子服务都分布在哪些节点上
[root@DevStack-Rocky-Controller-31 stack]# su - stack
Last login: Tue Jun 11 15:52:05 CST 2019 on pts/0
[stack@DevStack-Rocky-Controller-31 ~]$ source devstack/openrc admin admin
WARNING: setting legacy OS_TENANT_NAME to support cli tools.
[stack@DevStack-Rocky-Controller-31 ~]$ cinder service-list
+------------------+------------------------------------------+------+---------+-------+----------------------------+-----------------+
| Binary | Host | Zone | Status | State | Updated_at | Disabled Reason |
+------------------+------------------------------------------+------+---------+-------+----------------------------+-----------------+
| cinder-scheduler | DevStack-Rocky-Controller-31 | nova | enabled | up | 2019-06-11T11:26:43.000000 | - |
| cinder-volume | DevStack-Rocky-Compute-32@lvmdriver-1 | nova | enabled | up | 2019-06-11T11:26:46.000000 | - |
| cinder-volume | DevStack-Rocky-Controller-31@lvmdriver-1 | nova | enabled | up | 2019-06-11T11:26:40.000000 | - |
+------------------+------------------------------------------+------+---------+-------+----------------------------+-----------------+
还有一个问题，volume-provider 放在哪里？
一般来讲，volume provider 是独立的。cinder-volume 使用 driver 与 volume provider 通信并协调工作。所以只需要将driver 与 cinder-volume 放到一起就可以了。在cinder-volume 的源代码目录下有很多 driver，支持不同的 volum provider。
[stack@DevStack-Rocky-Controller-31 ~]$ ls /opt/stack/cinder/cinder/volume/drivers/
coprhd ibm nfs.py synology
datacore infinidat.py nimble.py tintri.py
datera __init__.py prophetstor veritas
dell_emc __init__.pyc pure.py veritas_access
disco inspur qnap.py veritas_cnfs.py
dothill kaminario quobyte.py vmware
drbdmanagedrv.py lenovo rbd.py vzstorage.py
fujitsu lvm.py remotefs.py windows
fusionstorage lvm.pyc san zadara.py
hgst.py nec sheepdog.py zfssa
hpe netapp solidfire.py
huawei nexenta storpool.py
后面我们会以 LVM 和 NFS这两种 volume provider 为例讨论 cinder-volume 的使用，其他 volume provider 可以查看 OpenStack 的configuration 文档。
