Openstack实验笔记
Openstack实验笔记
制作人：全心全意
Openstack：提供可靠的云部署方案及良好的扩展性
Openstack简单的说就是云操作系统，或者说是云管理平台，自身并不提供云服务，只是提供部署和管理平台
架构图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/Mf6rnJXoRGXLpebCzPTUfETy68mVidyW.VTA2AbQxE0!/b/dDUBAAAAAAAA&bo=swFuAQAAAAARB.0!&rf=viewer_4
Keystone作为Openstack的核心模块，为Nova（计算），Glance（镜像），Swift（对象存储），Cinder（块存储），Neutron（网络）以及Horizon（Dashboard）提供认证服务
Glance：openstack的镜像服务组件，主要提供了一个虚拟机镜像文件的存储、查询和检索服务，通过提供一个虚拟磁盘映像目录和存储库，为Nova的虚拟机提供镜像服务，现在有v1和v2两个版本
物理硬件配置（最低）
控制节点：
1-2个cpu
8G内存
2个网卡
计算节点：
2-4个cpu
8G内存
2个网卡
块节点：
1-2个cpu
4G内存
1个网卡
最少2个磁盘
对象节点：
1-2个cpu
4G内存
1个网卡
最少2个磁盘
网络拓扑图：（实验中，管理、存储和本地网络合并）
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/r30ELjijnHAaYX*RMZe4vhwVNcix4zUb2pNnovlYZ7E!/b/dL8AAAAAAAAA&bo=xgKqAQAAAAADB00!&rf=viewer_4
安装
控制节点：quan 172.16.1.211 172.16.1.221
计算节点：quan1 172.16.1.212 172.16.1.222
存储节点：storage 172.16.1.213 172.16.1.223
对象存储节点1：object01 172.16.1.214 172.16.1.224
对象存储节点2：object02 172.16.1.215 172.16.1.225
准备工作：
关闭防火墙
关闭selinux
关闭NetworkManager
安装ntp服务：
yum -y install chrony（所有主机）
修改配置文件：允许网段中的主机访问
allow 172.16.1.0/24
systemctl enable chronyd.service
systemctl start chronyd.service
其它节点：
vi /etc/chrony.conf
server quan iburst
#注意:使用原始的centos网络源
yum install epel-release
yum install centos-release-openstack-queens
yum install openstack-selinux
yum install python-openstackclient
安装数据库
控制（quan）节点安装数据库
yum install -y mariadb mariadb-server python2-PyMySQL
vi /etc/my.cnf.d/openstack.cnf
bind-address=172.16.1.211
default-storage-engine=innodb
innodb_file_per_table=on
max_connections=4096
collation-server=utf8_general_ci
character-set-server=utf8
启动数据库，并设置开机启动
systemctl enable mariadb.service && systemctl start mariadb.service
初始化数据库
mysql_secure_installation
控制节点（quan）安装消息队列（端口：5672）
yum install rabbitmq-server -y
服务启动，并设置开机启动
systemctl enable rabbitmq-server.service && systemctl start rabbitmq-server.service
添加openstack用户
rabbitmqctl add openstack openstack
为openstack用户添加读写权限
rabbitmqctl set_permissions openstack ".*" ".*" ".*"
控制节点（quan）安装memcached缓存（端口：11211）
yum -y install memcached python-memcached
vi /etc/sysconfig/memcached
OPTIONS="-l 127.0.0.1,::1,quan"
服务启动，并设置开机启动
systemctl enable memcached.service && systemctl start memcached.service
控制节点（quan）安装etcd服务（key-value存储系统）
yum -y install etcd
vi /etc/etcd/etcd.conf
#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://quan:2380"
ETCD_LISTEN_CLIENT_URLS="http://quan:2379"
ETCD_NAME="quan"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://quan:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://quan:2379"
ETCD_INITIAL_CLUSTER="quan=http://quan:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
服务启动，并设置开机启动
systemctl enable etcd.service && systemctl start etcd.service
Keystone组件
Keystone作为Openstack的核心模块，为Nova（计算），Glance（镜像），Swift（对象存储），Cinder（块存储），Neutron（网络）以及Horizon（Dashboard）提供认证服务
基本概念：
User：用户，代表可以通过keystone进行访问的人或程序。User通过认证信息（credentials,如密码，API Keys等）进行验证。
Tenant：租户，各个服务中的一些可以访问的资源集合。例如，在Nova中一个tenant可以是一些机器，在Swift和Glance中一个tenant可以是一些镜像存储，在Neutron中一个tenant可以是一些网络资源。Users默认的总是绑定到某些tenant上。
Role：角色，Roles代表一组用户可以访问的资源权限，例如Nova中的虚拟机、Glance中的镜像。Users可以被添加到任意一个全局的或租户的角色中。在全局的role中，用户的role权限作用于所有的租户，即可以对所有的租户执行role规定的权限，在租户内的role中，用户仅能在当前租户内执行role规定的权限。
Service：服务，如Nove、Glance、Swift。根据User、Tenant和Role三个概念，一个服务可以确定当前用户是否具有访问其资源的权限，但是当一个user尝试着访问其租户内的service时，他必须知道这个service是否存在以及如何访问这个service，这里通常使用一些不同的名称表示不同的服务。
Endpoint：端点，可以理解为是一个服务暴露出的访问点
Token：访问资源的钥匙。通过Keystone验证后的返回值，在之后与其它服务器交互中只需要携带Token值即可，每个Token都有一个有效期。
各概念之间的关系
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/PJAecZuZ1C44VKDjcsKLYotu5KOz3RNZwumR07nBIug!/b/dDUBAAAAAAAA&bo=BAIsAQAAAAADBwk!&rf=viewer_4
1、租户下，管理者一堆用户（人，或程序）
2、每个用户都有自己的credentials（凭证）用户名+密码或者用户名+API key，或其它凭证
3、用户在访问其他资源（计算、存储）之前，需要用自己的credential去请求keystone服务，获得验证信息（主要是Token信息）和服务信息（服务目录和它们的endpoint）
4、用户拿着Token信息，就可以去访问资源了
keystone在Openstack中的工作流程图
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/ptROtuhyzh7Mq3vSVz3Ut1TtGDXuBbYf*WbN8UZdWDE!/b/dLgAAAAAAAAA&bo=igIRAgAAAAADB7k!&rf=viewer_4
搭建keystone
创建数据库
mysql -uroot -popenstack
create database keystone;
grant all privileges on keystone.* to 'keystone'@'localhost' identified by 'openstack';
grant all privileges on keystone.* to 'keystone'@'%' identified by 'openstack';
安装
yum -y install openstack-keystone httpd mod_wsgi
vi /etc/keystone/keystone.conf
[database]
connection = mysql+pymysql://keystone:openstack@quan/keystone #数据库连接 用户名:密码@主机名/数据库名
[token]
provider=fernet
初始化keystone数据库
su -s /bin/sh -c "keystone-manage db_sync" keystone
初始化femet密钥存储库
keystone-manage fernet_setup --keystone-user keystone --keystone-group keystone
keystone-manage credential_setup --keystone-user keystone --keystone-group keystone
创建keystone的服务端口（会在endpoint中生成数据）
keystone-manage bootstrap --bootstrap-password openstack --bootstrap-admin-url http://quan:35357/v3/ --bootstrap_internal-url http://quan:5000/v3/ --bootstrap-public-url http://quan:5000/v3/ --bootstrap-region-id RegionOne
配置http服务
vi /etc/httpd/conf/httpd.conf
ServerName quan
创建软链接
ln -s /usr/share/keystone/wsgi-keystone.conf /etc/httpd/conf.d/
服务启动，并设置开机启动
systemctl enable httpd.service && systemctl start httpd.service
创建管理员账号
vim admin-openrc
export OS_USERNAME=admin
export OS_PASSWORD=openstack
export OS_PROJECT_NAME=admin
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_DOMAIN_NAME=Default
export OS_AUTH_URL=http://quan:35357/v3
export OS_IDENTITY_API_VERSION=3
导入管理员账号
source admin-openrc
创建域/项目/用户/和角色
创建项目
openstack project create --domain default --description "Service Project" service
openstack project create --domain default --description "Demo Project" demo
创建用户（demo）,并指定其密码
openstack user create --domain default --password-prompt demo
创建角色（user）
openstack role create user
将demo添加的user角色中
openstack role add --project demo --user demo user
验证
解除之前的环境变量
unset OS_AUTH_URL OS_PASSWORD
执行下面的命令，输入admin的密码
openstack --os-auth-url http://quan:35357/v3 \
--os-project-domain-name Default \
--os-user-domain-name Default \
--os-project-name admin \
--os-username admin token issue
执行下面的命令，输入demo用户的密码
openstack --os-auth-url http://quan:5000/v3 \
--os-project-domain-name Default \
--os-user-domain-name Default \
--os-project-name demo \
--os-username demo token issue
创建openstack客户端脚本环境
创建管理员账号
vim admin-openrc
export OS_USERNAME=admin
export OS_PASSWORD=openstack
export OS_PROJECT_NAME=admin
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_DOMAIN_NAME=Default
export OS_AUTH_URL=http://quan:35357/v3
export OS_IDENTITY_API_VERSION=3 #指定认证服务版本
export OS_IMAGE_API_VERSION=2 #指定镜像服务版本
创建demo用户账号
vim demo-openrc
export OS_USERNAME=demo
export OS_PASSWORD=openstack
export OS_PROJECT_NAME=demo
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_DOMAIN_NAME=Default
export OS_AUTH_URL=http://quan:35357/v3
export OS_IDENTITY_API_VERSION=3 #指定认证服务版本
export OS_IMAGE_API_VERSION=2 #指定镜像服务版本
导入管理员账号
source admin-openrc
验证管理员
openstack token issue
导入demo用户
source demo-openrc
验证demo用户
openstack token issue
glance组件
Glance：openstack的镜像服务组件，主要提供了一个虚拟机镜像文件的存储、查询和检索服务，通过提供一个虚拟磁盘映像目录和存储库，为Nova的虚拟机提供镜像服务，现在有v1和v2两个版本
Glance的架构图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/mkXPMrNM9RL.NizLwc22Vm*FHkAc2NWh9668JHk4zS0!/b/dLYAAAAAAAAA&bo=RQHZAAAAAAADB78!&rf=viewer_4
镜像服务组件
Glance-api：是一个对外的API接口，能够接受外部的API镜像请求。默认端口是9292
glance-registry：用于存储、处理、获取Image Metadate。默认端口的9191
glance-db：在Openstack中使用MySQL来支撑，用于存放Image Metadate。通过glance-registry保存在MySQL Database
Image Store：用于存储镜像文件。通过Strore Backend后端存储接口来与glance-api联系。通过这个接口，glance可以从Image Store获取镜像文件再交由Nove用于创建虚拟机
Glance通过Store Adapter(存储适配器)支持多种Image Store方案，支持swift、file system、s3、sheepdog、rbd、cinder等。
Glance支持的Image格式
raw：非结构化的镜像格式
vhd：一种通用的虚拟机磁盘格式，可用于Vmware、Xen、VirtualBox等
vmdk：Vmware的虚拟机磁盘格式
vdi：VirtualBox、QEMU等支持的虚拟机磁盘格式
qcow2：一种支持QEMU并且可以动态扩展的磁盘格式（默认使用）
aki：Amazon Kernel镜像
ari：Amazon Ramdisk镜像
ami：Amazon虚拟机镜像
Glance的访问权限
public：公共的，可以被所有的Tenant使用
Private：私有的/项目的，只能被Image Owner所在的Tenant使用
Shared：共享的，一个非公共的Image可以共享给指定的Tenant，通过member-*操作来实现
Protected：受保护的，不能被删除
状态类型
Queued：没有上传Image数据，只存有该镜像的元数据
Saving：正在上传Image
Active：正常状态
Deleted/pending_delete：已删除/等待删除的Image
Killed：Image元数据不正确，等待被删除
搭建glance
创建数据库
mysql -uroot -popenstack
create database glance;
grant all privileges on glance.* to 'glance'@'localhost' identified by 'openstack';
grant all privileges on glance.* to 'glance'@'%' identified by 'openstack';
创建glance用户，并在service项目中添加管理员角色
source admin_openrc
openstack user create --domain default --password-prompt glance #输入其密码
openstack role add --project service --user glance admin
openstack user list #可查看创建的用户
创建glance服务
openstack service create --name glance --description "OpenStack Image" image
openstack endpoint create --region RegionOne image public http://quan:9292
openstack endpoint create --region RegionOne image internal http://quan:9292
openstack endpoint create --region RegionOne image admin http://quan:9292
安装相关包并配置
yum -y install openstack-glance
vi /etc/glance/glance-api.conf
[database]
connection = mysql+pymysql://glance:openstack@quan/glance
[keystone_authtoken]
auth_uri=http://quan:5000
auth-url=http://quan:35357
memcached_servers=quan:11211
auth_type=password
project_domain_name=default
user_domain_name=default
project_name=service
username = glance
password = openstack
[paste_deploy]
flavor = keystone
[glance_store]
stores = file,http
default_store = file
filesystem_store_datadir = /var/lib/glance/images/
vi /etc/glance/glance-registry.conf
[database]
connection = mysql+pymysql://glance:openstack@quan/glance
[keystone_authtoken]
auth_uri=http://quan:5000
auth-url=http://quan:35357
memcached_servers=quan:11211
auth_type=password
project_domain_name=default
user_domain_name=default
project_name=service
username = glance
password = openstack
[paste_deploy]
flavor = keystone
初始化数据库
su -s /bin/sh -c "glance-manage db_sync" glance
服务启动，并设置开机启动
systemctl enable openstack-glance-api.service openstack-glance-registry.service && systemctl start openstack-glance-api.service openstack-glance-registry.service
验证
source admin-openrc
下载实验镜像
wget http://download.cirros-cloud.net/0.3.5/cirros-0.3.5-x86_64-disk.img
创建镜像：
openstack image create "cirros" --file cirros-0.3.5-x86_64-disk.img --disk-format qcow2 --container-format bare --public
查看已存在的镜像
openstack image list
查看镜像的详细信息
openstack image show (#镜像id)
Nova组件
Nova：openstack中最核心的组件。openstack的其它组件归根结底是为Nova组件服务的，基于用户需求为VM提供计算资源管理
Nova架构图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/bKTJmZis5k..ds6fjUYXv8KDu9EzeaB4WYyV883uAq8!/b/dL8AAAAAAAAA&bo=*QE1AQAAAAADB.o!&rf=viewer_4
目前的Nova主要由API、Compute、Conductor、Scheduler四个核心服务组成，它们之间通过AMQP通信，API是进入Nova的HTTP接口。Compute是VMM（虚拟机管理器）交互来运行虚拟机并管理虚拟机的生命周期（通常一个主机一个Compute服务）。Scheduler从可用池中选择最合适的节点来创建虚拟机实例。Conductor主要用于和数据库进行交互。
Nova逻辑模块
Nova API：HTTP服务，用于接收和处理客户端发送的HTTP请求
Nova Cell：Nova Cell子服务的目的是为了便于实现横向扩展和大规模的部署，同时不增加数据库和RPC消息中间件的复杂度。在Nova Scheduler服务的主机调度基础上实现了区域调度
Nova Cert：用于管理证书，为了兼容AWS，AWS提供了一整套的基础设施和应用程序服务，使得几乎所有的应用程序在云上运行。
Nova Comput：Nova组件中最核心的服务，实现虚拟机管理的功能。实现了在计算节点上创建、启动、暂停、关闭和删除虚拟机、虚拟机在不同的计算节点间迁移、虚拟机安全控制、管理虚拟机磁盘镜像以及快照等功能。
Nova Conductor：RPC服务，主要提供数据库查询功能，以前的openstack版本中，Nova Compute子服务中定义了许多的数据库查询方法。但是，由于Nova Compute子服务需要在每个计算节点上启动，一旦某个计算节点被攻击，就将完全获得数据库的访问权限。有了Nova Compute子服务之后，便可在其中实现数据库访问权限的控制
Nova Scheduler：Nova调度子服务。当客户端向Nova服务器发起创建虚拟机的请求时，决定将虚拟机创建在哪个节点上。
Nova Console、Nova Consoleauth、Nova VNCProxy，Nova控制台子服务。功能是实现客户端通过代理服务器远程访问虚拟机实例的控制界面。
nova启动虚拟机的过程图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/iy2efxOLLowl3RvoIcZ6d7KNZ3jcdOI7zY5XroEBPVM!/b/dDQBAAAAAAAA&bo=xQJnAgAAAAADJ6A!&rf=viewer_4
Nova Scheduler Filter的类型
选择一个虚拟机在哪个主机运行的方式有多种，nova支持的方式主要由以下三种：
ChanceScheduler（随机调度器）：从所有nova-compute服务正常运行的节点中随机选择
FilterScheduler（过滤调度器）：根据指定的过滤条件以及权重挑选最佳节点
CachingScheduler：FilterScheduler的一种，在FilterScheduler的基础上，将主机资源的信息存到本地的内存中，然后通过后台的定时任务从数据库中获取最新的主机资源信息。
Nova Scheduler的工作流程图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/LpB5fYBuLUgMASXWrH*Emw5qwkWHKM7slpof.lF21DY!/b/dEYBAAAAAAAA&bo=OQODAQAAAAADB5o!&rf=viewer_4
FilterScheduler首先使用指定的Filters（过滤器）得到符合条件的主机，比如内存小于50%，然后对得到的主机重新计算权重并且排列，获取最佳的一个。具体的Filter有以下几种：
1）RetryFilter：重试过滤，假设Host1、Host2、Host3过滤筛选出来了，Host1权重最高，被选中，由于某些原因VM在Host1上落地失败，nova-scheduler会重新筛选新的host，Host1因为失败不会入选。可通过scheduler_max_attempts=3设置重试的次数
2）AvalilabilityZoneFilter可选域过滤，可以提供容灾行和隔离服务，计算节点可以纳入一个创建好的AZ中，创建VM的时候可以指定AZ，这样虚拟机会落到指定的host中
3）RamFilter：内存过滤，创建VM时会选择flavor，不满足flavor中内存要求的host会过滤掉。超量使用的设置：ram_allocation_ratio=3(如果计算节点有16G内存，那么openstack会认为有48G内存)
4）CoreFilter：CPU core过滤，创建VM时会选择flavor，不满足flavor中core要求的host会过滤掉。CPU的超量设置：cpu_allocation_ratio=16.0（若计算节点为24core，那么openstack会认为348core）
5）DiskFilter：磁盘容量过滤，创建VM时会选择flavor，不满足flavor中磁盘要求的host会过滤掉。Disk超量设置：disk_allocation_ratio=1.0（硬盘容量不建议调大）
6）ComputeFilter：nova-compute服务过滤，创建VM时，若host的nova-compute服务不正常，就会被筛选掉
7）ComputeCababilitiesFilter：根据计算节点的特性来筛选，例如x86_64
8）ImagePropertiesFilter：根据所选的image的属性来匹配计算节点，例如希望某个image只能运行在KVM的hypervisor上，可以通过"Hypervisor Type"属性来指定。
9）ServerGroupAntiAffinityFilter：尽量将Instance部署到不同的节点上。例如vm1，vm2，vm3，计算节点有Host1，Host2，Host3
创建一个anti-affinity策略server group “group-1”
nova server-group-create-policy anti-affinity group-1
nova boot-image IMAGE_ID -flavor 1 -hint group-group1 vm1
nova boot-image IMAGE_ID -flavor 1 -hint group-group1 vm2
nova boot-image IMAGE_ID -flavor 1 -hint group-group1 vm3
10）ServerGroupAffinityFilter：尽量将Instance部署到同一节点上。例如vm1，vm2，vm3，计算节点有Host1，Host2，Host3
创建一个group-affinity策略server group “group-2”
nova server-group-create-policy anti-affinity group-2
nova boot-image IMAGE_ID -flavor 1 -hint group-group2 vm1
nova boot-image IMAGE_ID -flavor 1 -hint group-group2 vm2
nova boot-image IMAGE_ID -flavor 1 -hint group-group2 vm3
搭建nova组件
搭建nova控制节点
数据库相关操作
mysql -uroot -popenstack
create database nova_api;
create database nova;
create database nova_cell0;
grant all privileges on nova_api.* to 'nova'@'localhost' identified by 'openstack';
grant all privileges on nova_api.* to 'nova'@'%' identified by 'openstack';
grant all privileges on nova.* to 'nova'@'localhost' identified by 'openstack';
grant all privileges on nova.* to 'nova'@'%' identified by 'openstack';
grant all privileges on nova_cell0.* to 'nova'@'localhost' identified by 'openstack';
grant all privileges on nova_cell0.* to 'nova'@'%' identified by 'openstack';
创建nova用户，并在service项目中添加管理员角色
source admin-openrc
openstack user create --domain default --password-prompt nova #创建nova用户
openstack role --project service --user nova admin #将nova用户加入到service项目管理员角色
创建nova服务及端口
openstack service create --name nova --description "OpenStack Compute" conpute
openstack endpoint create --region RegionOne compute public http://quan:8774/v2.1
openstack endpoint create --region RegionOne compute internal http://quan:8774/v2.1
openstack endpoint create --region RegionOne compute admin http://quan:8774/v2.1
创建placement用户，并在service项目中添加管理员角色
source admin-openrc
openstack user create --domain default --password-prompt placement #创建placement用户
openstack role --project service --user placement admin #将placement用户加入到service项目管理员角色
创建placement服务及端口
openstack service create --name placement --description "Placement API" placement
openstack endpoint create --region RegionOne placement public http://quan:8778
openstack endpoint create --region RegionOne placement internal http://quan:8778
openstack endpoint create --region RegionOne placement admin http://quan:8778
删除端口的方法：
查看端口：
openstack endpoint list | grep placement
根据id删除端口
openstack endpoint delete 端口id
安装相关包，并配置
yum -y install openstack-nova-api openstack-nova-conductor openstack-nova-console openstack-nova-novncproxy openstack-nova-scheduler openstack-nova-placement-api
vi /etc/nova/nova.conf
[DEFAULT]
enabled_apis = osapi_compute,metadata
transport_url = rabbit://openstack:openstack@quan
my_ip = 172.16.1.221
use_neutron = True
firewall_driver = nova.virt.firewall.NoopFirewallDriver
[api_database]
connection = mysql+pymysql://nova:openstack@quan/nova_api
[database]
connection = mysql+pymysql://nova:openstack@quan/nova
[api]
auth_strategy = keystone
[keystone_authtoken]
auth_uri = http://quan:5000
auth_url = http://quan:35357
memcached_servers = quan:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = nova
password = openstack
[vnc]
enabled = true
vncserver_listen = 172.16.1.221
vncserver_proxyclient_address = 172.16.1.221
[glance]
api_servers = http://quan:9292
[oslo_concurrency]
lock_path = /var/lib/nova/tmp
[placement]
os_region_name = RegionOne
project_domain_name = Default
project_name = service
auth_type = password
user_domain_name = Default
auth_url = http://quan:35357/v3
username = placement
password = openstack
vim /etc/httpd/conf.d/00-nova-placement-api.conf #添加至末尾
<Directory /usr/bin>
<IfVersion >= 2.4>
Require all granted
</IfVersion>
<IfVersion < 2.4>
Order allow,deny
Allow from all
</IfVersion>
</Directory>
重启httpd服务
systemctl restart httpd
修改配置文件（解决初始化nova_api数据库表结构的bug）
vi /usr/lib/python2.7/site-packages/oslo_db/sqlalchemy/enginefacade.py
在175行中加入"use_tpool"
初始化nova_api数据库表结构
su -s /bin/sh -c "nova-manage api_db sync" nova
注册cell0数据库
su -s /bin/sh -c "nova-manage cell_v2 map_cell0" nova
创建cell1
su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell --verbose" nova
初始化nova数据库
su -s /bin/sh -c "nova-manage db sync" nova
验证cell0和cell1是否注册
nova-manage cell_v2 list_cells
服务启动，并设置开机启动
systemctl enable openstack-nova-api openstack-nova-consoleauth openstack-nova-scheduler openstack-nova-conductor openstack-nova-novncproxy
systemctl start openstack-nova-api openstack-nova-consoleauth openstack-nova-scheduler openstack-nova-conductor openstack-nova-novncproxy
验证
openstack compute service list
搭建nova计算节点
安装相关包并配置
yum -y install openstack-nova-compute
vim /etc/nova/nova.conf
[DEFAULT]
enabled_apis = osapi_compute,metadata
transport_url = rabbit://openstack:openstack@quan
my_ip = 172.16.1.222
use_neutron = True
firewall_driver = nova.virt.firewall.NoopFirewallDriver
[api]
auth_strategy = keystone
[keystone_authtoken]
auth_uri = http://quan:5000
auth_url = http://quan:35357
memcached_servers = quan:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = nova
password = openstack
[vnc]
enabled = True
vncserver_listen = 0.0.0.0
vncserver_proxyclient_address = 172.16.1.222
novncproxy_base_url = http://172.16.1.221:6080/vnc_auto.html
[glance]
api_servers = http://quan:9292
[oslo_concurrency]
lock_path = /var/lib/nova/tmp
[placement]
os_region_name = RegionOne
project_domain_name = Default
project_name = service
auth_type = password
user_domain_name = Default
auth_url = http://quan:35357/v3
username = placement
password = openstack
查看机器是否支持虚拟化
egrep -c '(vmx|svm)' /proc/cpuinfo
若返回0，修改/etc/nova/nova.conf
vi /etc/nova/nova.conf
[libvirt]
virt_type = qemu
服务启动，并设置开机启动
systemctl enable libvirt openstack-nova-compute && systemctl start libvirt openstack-nova-compute
将compute节点添加到cell数据库（控制节点操作）
source admin-openrc
openstack compute service list --service nova-compute
su -s /bin/sh -c "nova-manage cell_v2 discover_hosts --verbose" nova
vi /etc/nova/nova.conf
[scheduler]
discover_hosts_in_cells_interval = 300
验证
source admin-openrc
openstack compute service list
openstack catalog list
openstack image list
nova-status upgrade check
neutron组件
Neutron是Openstack中的一个项目，在各接口设备之间提供网络服务，而且受其它openstack服务管理，如Nova。Neutron为openstack云提供了更灵活的划分物理网络，在多租户的环境下提供给每个租户独立的网络环境。另外，Neutron提供API来实现这种目标。Neutron中的“网络”是一个可以被用户创建的对象，如果要和物理环境下的概念映射的话，这个对象相当于一个巨大的交换机，可以拥有无限多个动态可创建和销毁的虚拟端口。
Neutron提供的网络虚拟化能力有：
（1）二层到七层网络的虚拟化：L2（virtual switch）、L3（virtual Router和LB）、L4-L7（virtual Firewall）等
（2）网络连通性：二层网络和三层网络
（3）租户隔离性
（4）网络安全性
（5）网络扩展性
（6）REST API
（7）跟高级的服务：如LBaas
Neutron的架构图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/Ei6CaKeBs.55JXz9GIW8xuGBeMGe*rVaB*3D3cGQDsY!/b/dFIBAAAAAAAA&bo=vQLoAQAAAAADB3Q!&rf=viewer_4
总的来说，创建一个Neutron网络的过程如下：
1、管理员拿到一组可在互联网上寻址的IP地址，并且创建一个外部网络和子网
2、租户创建一个网络和子网
3、租户创建一个路由器并且连接租户子网和外部网络
4、租户创建虚拟机
Neutron中的各种概念
network：network是一个隔离的二层广播域。Neutron支持多种类型的network，包括local，flat，VLAN,VxLAN和GRE
local：local网络与其它网络和节点隔离。local网络中的instance只能与同一节点上同一网络的instance通信，local网络主要用于单机测试
flat：flat网络是无vlan tagging的网络。flat网络中的instance能与位于同一网络的instance通信，并且可以跨多个节点。
vlan：vlan网络是具有802.1q tagging的网络。vlan是一个二层的广播域，同一vlan中的instance可以通信，不同vlan只能通过router通信。vlan网络可以跨节点，是应用最广泛的网络类型
vxlan：vxlan是基于隧道技术的overlay网络。vxlan网络通过唯一的segmentation ID（也叫VNI）与其它vxlan网络区分。vxlan中数据包会通过VNI封装成UDP包进行传输。因为二层的包通过封装在三层传输，能够克服vlan和物理网络基础设施的限制。
gre：gre是vxlan类似的一种overlay网络。主要区别在于使用IP包而非UDP进行封装。不同network之间在二层上是隔离的。
network必须属于某个Project（Tenant租户）,Project中可以创建多个network。network与Project之间是1对多的关系
subnet：subject是一个IPv4或者IPv6地址段。instance的IP从subnet中分配。每个subnet需要定义IP地址的范围和掩码。
subnet与network是1对多的关系。一个subnet只能属于某个network；一个network可以有多个subnet，这些subnet可以是不同的IP段，但不能重叠。
例：有效的配置
network A
subnet A-a:10.10.1.0/24 {"start":"10.10.1.1","end":"10.10.1.50"}
subnet A-b:10.10.2.0/24 {"start":"10.10.2.1","end":"10.10.2.50"}
无效的配置（因为subnet有重叠）
network A
subnet A-a:10.10.1.0/24 {"start":"10.10.1.1","end":"10.10.1.50"}
subnet A-b:10.10.1.0/24 {"start":"10.10.1.51","end":"10.10.1.100"}
注：这里判断的不是IP地址是否重叠，而是子网是否重叠（10.10.1.0/24）
port：port可以看做是虚拟交换机上的一个端口，port上定义了MAC地址和IP地址，当instance的虚拟网卡VIF（Virtual Interface）绑定到port时，port会将MAC和IP分配给VIF。port与subnet是1对多的关系。一个port必须属于某个subnet，一个subnet可以有多个port。
Neutron中的Plugin和agent
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/Gm3J*.Vh27nLny6oXfuZlh.yXNYx.YE3I*Mwoea.MH4!/b/dL4AAAAAAAAA&bo=pAKJAQAAAAADBww!&rf=viewer_4
搭建neutron
linuxbridge+vxlan模式
控制节点：
数据库相关操作
mysql -uroot -popenstack
create database neutron;
grant all privileges on neutron.* to 'neutron'@'localhost' identified by 'openstack';
grant all privileges on neutron.* to 'neutron'@'%' identified by 'openstack';
创建neutron用户，并在service项目中添加管理员角色
source admin_openrc
openstack user create --domain default --password-prompt neutron
openstack role add --project service --user neutron admin
创建网络服务及端口
openstack service create --name neutron --description "Openstack Networking" network
openstack endpoint create --region RegionOne network public http://quan:9696
openstack endpoint create --region RegionOne network internal http://quan:9696
openstack endpoint create --region RegionOne network admin http://quan:9696
安装相关包并配置
yum -y install openstack-neutron openstack-neutron-ml2 openstack-neutron-linuxbridge ebtables
vi /etc/neutron/neutron.conf
[database]
connection = mysql+pymysql://neutron:openstack@quan/neutron
[DEFAULT]
core_plugin=ml2
service_plugins = router
allow_overlapping_ips = true
transport_url = rabbit://openstack:openstack@quan
auth_strategy = keystone
notify_nova_on_port_status_changes = true
notify_nova_on_port_data_changes = true
[keystone_authtoken]
auth_uri = http://quan:5000
auth_url = http://quan:35357
memcached_servers = quan:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = neutron
password = openstack
[nova]
auth_url = http://quan:35357
auth_type = password
project_domain_name = default
user_domain_name = default
region_name = RegionOne
project_name = service
username = nova
password = openstack
[oslo_concurrency]
lock_path = /var/lib/neutron/tmp
vi /etc/neutron/plugins/ml2/ml2_conf.ini
[ml2]
type_drivers = flat,vlan,vxlan
tenant_network_types = vxlan
mechanism_drivers = linuxbridge,l2population
extension_drivers = port_security
[ml2_type_flat]
flat_networks = provider
[ml2_type_vxlan]
vni_ranges = 1:1000
[securitygroup]
enable_ipset = true
vim /etc/neutron/plugins/ml2/linuxbridge_agent.ini
[linux_bridge]
physical_interface_mappings = provider:ens34 #外部网卡设备
[vxlan]
enable_vxlan = true
local_ip = 172.16.1.221
l2_population = true
[securitygroup]
enable_security_group = true
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
确认操作系统内核支持桥接
echo "net.bridge.vridge-nf-call-iptables = 1" >> /etc/sysctl.conf
echo "net.bridge.vridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf
sysctl -p #若出现“No such file or directory”错误，执行下面的操作
modinfo by_netfilter #查看内核模块信息
modprobe by_netfilter #加载内核模块
再次执行sysctl -p
vi /etc/neutron/l3_agent.ini
[DEFAULT]
interface_driver = linuxbridge
vi /etc/neutron/dhcp.agent.ini
[DEFAULT]
interface_driver = linuxbridge
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
enable_isolated_metadata = true
vi /etc/neutron/metadata_agent.ini
[DEFAULT]
nova_metadata_host = 172.16.1.221
metadata_proxy_shared_secret = openstack
vi /etc/nova/nova.conf
[neutron]
url = http://quan:9696
auth_url = http://quan:35357
auth_type = password
project_domain_name = default
user_domain_name = default
region_name = RegionOne
project_name = service
username = neutron
password = openstack
service_metadata_proxy = true
metadata_proxy_shared_secret = openstack
#ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini
初始化neutron数据库
su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugin/ml2/ml2_conf.ini upgrade head" neutron
重启nova服务
systemctl restart openstack-nova-api
服务启动，并设置开机启动
systemctl enable neutron-server neutron-linuxbridge neutron-dhcp-agent neutron-metadata-agent
systemctl start neutron-server neutron-linuxbridge neutron-dhcp-agent neutron-metadata-agent
systemctl enable neutron-l3-agent && systemctl start neutron-l3-agent
计算节点：
安装相关包并配置
yum -y install openstack-neutron-linuxbridge ebtables ipset
vi /etc/neutron/neutron.conf
[DEFAULT]
transport_url = rabbit://openstack:openstack@quan
auth_strategy = keystone
[keystone_authtoken]
auth_uri = http://quan:5000
auth_url = http://quan:35357
memcached_servers = quan:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = neutron
password = openstack
[oslo_concurrency]
lock_path = /var/lib/neutron/tmp
vi /etc/neutron/plugin/ml2/linuxbridge_agent.ini
[linux_bridge]
physical_interface_mappings = provider:ens34
[vxlan]
enable_vxlan = true
local_ip = 172.16.1.222
l2_population = true
[securitygroup]
enable_security_group = true
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
vi /etc/nova/nova.conf
[neutron]
url = http://quan:9696
auth_url = http://quan:35357
auth_type = password
project_domain_name = default
user_domain_name = default
region_name = RegionOne
project_name = service
username = neutron
password = openstack
重启nova-compute服务
systemctl restart openstack-nova-compute
服务启动，并设置开机启动
systemctl enable neutron-linuxbridge-agent && systemctl strat neutron-linuxbridge-agent
验证（控制节点）
source admin-openrc
openstack extension list --network
openstack network agent list
horizon组件
horizon：UI界面 (Dashboard)。OpenStack中各种服务的Web管理门户，用于简化用户对服务的操作
搭建horizon
安装相关包并配置
yum -y install openstack-dashboard
vim /etc/openstack-dashboard/local_settings
OPENSTACK_HOST = "quan"
ALLOWED_HOSTS = ['*']
SESSION_ENGINE = 'django.contrib.sessions.backends.cache'
CACHES = {
'default':{
'BACKEND':'django.core.cache.backends.memcached.MemcachedCache',
'LOCATION':'quan:11211',
}
}
#注释掉其它的cache
OPENSTACK_KEYSTONE_URL = "http://%s:5000/v3" %OPENSTACK_HOST
OPENSTACK_kEYSTONE_MULTIDOMAIN_SUPPORT = True
OPENSTACK_API_VERSIONS = {
"identity":3,
"image":2,
"volume":2,
}
OPENSTACK_KEYSTONE_DEFAULT_DOMAIN = "Default"
OPENSTACK_KEYSTONE_DEFAULT_ROLE= 'user'
OPENSTACK_NEUTRON_NETWORK = {
...
'enable_quotas':True,
'enable_distributed_router':True,
'enable_ha_router':True,
'enable_lb':True,
'enable_firewall':True,
'enable_vpn':Flase,
'enable_fip_topology_check':True,
}
TIME_ZONE = "Asia/Chongqing"
vi /etc/httpd/conf.d/openstack-dashboard.conf
WSGIApplicationGroup %{GLOBAL}
重启相关服务
systemctl restart httpd.service memcached.service
访问地址：http://172.16.1.221/dashboard/
关闭domain验证
vi /etc/openstack-dashboard/local_settings
#OPENSTACK_KEYSTONE_MULTIDOMAIN_SUPPORT = True #注释此行
重启相关服务
systemctl restart httpd.service memcached.service
用户名：admin 密码：openstack
通过命令行创建一个虚拟机的实例
创建provider网络（外部网络）
source admin-openrc
openstack network create --share --external \
--provider-physical-network provider \
--provider-network-type flat provider
openstack network create --network provider \ #创建外部子网（和物理网络位于同一网络）
--allocation-pool start 172.16.1.231,end 172.16.1.240 \
--dns-nameserver 8.8.4.4 --gateway 172.16.1.1 \
--subnet-range 172.16.1.1/24 provider
创建私有网络self-services
source demo-openrc
openstack network create selfservice #创建私有网络
openstack subnet create --network selfservice \ #创建私有网络子网
--dns-nameserver 8.8.4.4 --gateway 192.168.0.1 \
--subnet-range 192.168.0.0/24 selfservice
openstack router create router #创建虚拟路由
openstack router add subnet selfservice #为路由添加子网
openstack router set router --extemal-gateway provider #设置路由的外部网关
验证
source admin-openrc
ip netns
openstack port list --router router
ping -c 网关ip
创建flavor（启动虚拟机的模板，cpu是几个，内存是多少）
openstack flavor --id 0 --vcpus 1 --ram 64 --disk 1 m1.nano
查看创建的flavor
source demo-openrc
openstack flavor list
生成秘钥对
source demo-openrc
ssh-keygen -q -N ""
openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey
openstack keypair list
添加安全组规则
openstack security group rule create --proto icmp default #允许ping通
openstack security group rule create --proto tcp --dst-port 22 default #允许连接tcp22号端口
查看验证
source demo-openrc
openstack flavor list
openstack image list
openstack network list
openstack security group list
openstack security group rule list
启动一个实例
创建一个虚拟机
openstack server create --flavor m1.nano --image cirros(可以是id也可以是名称) \
--nic net-id SELFSERVICE_NET_ID --security-group default \
--key-name mykey selfservice-instance(虚拟机名称)
查看虚拟机
openstack server list #查看拥有的虚拟机
openstack server show (虚拟机id) #查看虚拟机详细信息
通过界面绑定ip
查看虚拟机控制台信息
openstack console log show (虚拟机id)
cinder组件
cinder：提供REST_API使用户能够查询和管理volume、volume snapshot以及volume type，
提供scheduler调度volume创建请求，合理优化存储资源的分配
通过driver架构支持多种back-end（后端）存储方式，包括LVM，NFS，Ceph和其它诸如EMC、IBM等商业存储产品方案
cinder的架构图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/FpuhoZP0gP2rwhfFn*1Q1BXUZlHCtEvh7xmNRgJYqiw!/b/dL8AAAAAAAAA&bo=CQIYAQAAAAARByI!&rf=viewer_4
cinder包含的组件：
cinder-api：接收API请求，调用cinder-volume执行操作
cinder-volume：管理volume的服务，与volume provider协调工作，管理volume的生命周期。运行cinder-volume服务的节点被称作为存储节点
cinder-scheduler：scheduler通过调度算法选择最合适的存储节点创建volume
volume provider：数据的存储设备，为volume提供物理存储空间。cinder-volume支持多种volume provider，每种volume provider通过自己的driver与cinder-volume协调工作
Message Queue：cinder各个子服务通过消息队列实现进程间通信和相互协作。因为有了消息队列，子服务之间实现了解耦，这种松散的结构也是分布式系统的重要特征
Database cinder：有一些数据需要存放到数据库中，一般使用MySQL。数据库是安装在控制节点上的。
搭建cinder组件
控制节点
数据库相关操作
mysql -uroot -popenstack
create database cinder;
grant all privileges on cinder.* to 'cinder'@'localhost' identified by 'openstack';
grant all privileges on cinder.* to 'cinder'@'%' identified by 'openstack';
创建cinder用户，并在service项目中添加管理员角色
source admin_openrc
openstack user create --domain default --password-prompt cinder
openstack role add --project service --user cinder admin
创建cinder服务及端口
openstack service create --name cinderv2 --description "OpenStack Block Storage" volumev2
openstack service create --name cinderv3 --description "OpenStack Block Storage" volumev3
openstack endpoint create --region RegionOne volumev2 public http://quan:8776/v2/%\{project_id\}s
openstack endpoint create --region RegionOne volumev2 internal http://quan:8776/v2/%\{project_id\}s
openstack endpoint create --region RegionOne volumev2 admin http://quan:8776/v2/%\{project_id\}s
openstack endpoint create --region RegionOne volumev3 public http://quan:8776/v3/%\{project_id\}s
openstack endpoint create --region RegionOne volumev3 internal http://quan:8776/v3/%\{project_id\}s
openstack endpoint create --region RegionOne volumev3 admin http://quan:8776/v3/%\{project_id\}s
安装相关包并配置
yum -y install openstack-cinder
vim /etc/cinder/cinder.conf
[database]
connection = mysql+pymysql://cinder:openstack@quan/cinder
[DEFAULT]
transport_url = rabbit://openstack:openstack@quan
auth_strategy = keystone
my_ip = 172.16.1.221
[keystone_authtoken]
auth_uri = http://quan:5000
auth_url = http://quan:35357
memcached_servers = quan:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = cinder
password = openstack
[oslo_concurrency]
lock_path = /var/lib/cinder/tmp
初始化数据库
su -s /bin/sh -c "cinder-manage db sync" cinder
配置计算服务使用cinder
vi /etc/nova/nova.conf
[cinder]
os_region_name = RegionOne
计算服务重启
systemctl restart openstack-nova-api
服务启动，并设置开机启动
systemctl enable openstack-cinder-api openstack-cinder-scheduler && systemctl start openstack-cinder-api openstack-cinder-scheduler
验证
openstack volume service list #state状态为up即为启动成功
存储节点（除系统盘外要有磁盘）
安装相关包并配置
yum -y install lvm2 device-mapper-persistent-data
systemctl enable lvm2-lvmetad && systemctl start lvm2-lvmetad
pvcreate /dev/sdb #创建pv
vgcreate cinder-volume /dev/sdb #创建vg
vi /etc/lvm/lvm.conf
devices{"a/dev/sda/","a/dev/sdb/","r/.*/"}
#a表示接收，r表示拒绝
可通过命令lsblk查看系统安装是否使用lvm，若sda磁盘没有使用lvm可不添加"a/dev/sda/"
yum -y install openstack-cinder targetcli python-keystone
vi /etc/cinder/cinder.conf
[database]
connection = mysql+pymysql://cinder:openstack@quan/cinder
[DEFAULT]
transport_url = rabbit://openstack:openstack@quan
auth_strategy = keystone
my_ip = 172.16.1.223
enabled_backends = lvm
glance_api_servers = http://quan:9292
[keystone_authtoken]
auth_uri = http://quan:5000
auth_url = http://quan:35357
memcached_servers = quan:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = cinder
password = openstack
[lvm]
volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver
volume_group = cinder-volumes #vg的名称
iscsi_protocol = iscsi
iscsi_helper = lioadm
[oslo_concurrency]
lock_path = /var/lib/cinder/tmp
服务启动，并设置开机启动
system enable openstack-cinder-volume target && system start openstack-cinder-volume target
验证
source admin-openrc
openstack volume service list
为虚拟机分配虚拟磁盘
命令：
source demo-openrc
openstack volume create --size 2 volume2 #--size指定虚拟机磁盘大小2G
openstack volume list #状态为available可用的
openstack server add volume selfservice-instance volume2 #为虚拟机挂载磁盘
openstack volume list #状态为in-use
可登录虚拟机通过fdisk -l 查看挂载磁盘
Swift组件
swift：被称为对象存储，提供了强大的扩展性、冗余和持久性。对象存储，用于永久类型的静态数据的长期存储
搭建swift组件
控制节点
创建swift用户，并在service项目中添加管理员角色
source admin-openrc
openstack user create --domain default --password-prompt swift
openstack role add --project service --user swift admin
创建swift服务及端口
openstack service create --name swift --description "OpenStack Object Stroage" object-store
openstack endpoint create --region RegionOne object-store public http://quan:8080/v1/AUTH_%\{project_id\}s
openstack endpoint create --region RegionOne object-store internal http://quan:8080/v1/AUTH_%\{project_id\}s
openstack endpoint create --region RegionOne object-store admin http://quan:8080/v1
安装相关包
yum -y install openstack-swift-proxy python-swiftclient python-keystoneclient python-keystonemiddleware memcached
下载swift-proxy.conf的配置文件，并配置
curl -o /etc/swift/proxy-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/proxy-server.conf-sample?h=stable/queens
vi /etc/swift/proxy-server.conf
[DEFAULT]
bind_port = 8080
swift_dir = /etc/swift
user = swift
[pipeline:main]
pipeline = catch_errors gatekeeper healthcheck proxy-logging cache container_sync bulk ratelimit authtoken keystoneauth container-quotas account-quotas slo dlo versioned_writes proxy-logging proxy-server
[app:proxy-server]
use = egg:swift#proxy
account_autocreate = True
[filter:keystoneauth]
use = egg:swift#keystoneauth
operator_roles = admin,user
[filter:authtoken]
paste.filter_factory = keystonemiddleware.auth_token:filter_factory
www_authenticate_uri = http://quan:5000
auth_url = http://quan:35357
memcached_servers = quan:11211
auth_type = password
project_domain_id = default
user_domain_id = default
project_name = service
username = swift
password = openstack
delay_auth_decision = True
[filter:cache]
memcache_servers = quan:11211
存储节点(所有的)
安装相关包
yum install xfsprogs rsync
格式化磁盘
mkfs.xfs /dev/sdb
mkfs.xfs /dev/sdc
mkdir -p /srv/node/sdb
mkdir -p /src/node/sdc
配置自动挂载
vi /etc/fstab
/dev/sdb /srv/node/sdb xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
/dev/sdc /srv/node/sdc xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
mount /srv/node/sdb
mount /srv/node/sdc
或者
mount -a
vi /etc/rsyncd.conf
uid = swift
gid = swift
log_file = /var/log/rsyncd.log
pid_file = /var/run/rsyncd.pid
address = 172.16.1.224 #多个节点请自行调整
[account]
max_connections = 2
path = /srv/node/
read only = False
locak file = /var/lock/account.lock
[container]
max_connections = 2
path = /srv/node/
read only = False
locak file = /var/lock/container.lock
[object]
max_connections = 2
path = /srv/node/
read only = False
locak file = /var/lock/object.lock
服务启动，并设置开机启动
systemctl enable rsyncd && systemctl start rsyncd
安装相关包
yum -y install openstack-swift-account openstack-swift-container openstack-swift-object
下载相关配置文件，并配置
curl -o /etc/swift/account-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/account-server.conf-sample?h=stable/queens
curl -o /etc/swift/container-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/container-server.conf-sample?h=stable/queens
curl -o /etc/swift/object-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/object-server.conf-sample?h=stable/queens
vi /etc/swift/account-server.conf
[DEFAULT]
bind_ip = 172.16.1.224
bind_prot = 6202
user = swift
swift_dir = /etc/swift
devices = /srv/node
mount_check = True
[pipeline:main]
pipeline = healthcheck recon account-server
[filter:recon]
recon_cache_path = /var/cache/swift
vi /etc/swift/container-server.conf
[DEFAULT]
bind_ip = 172.16.1.224
bind_prot = 6201
user = swift
swift_dir = /etc/swift
devices = /srv/node
mount_check = True
[filter:recon]
recon_cache_path = /var/cache/swift
vi /etc/swift/object-server.conf
[DEFAULT]
bind_ip = 172.16.1.224
bind_prot = 6200
user = swift
swift_dir = /etc/swift
devices = /srv/node
mount_check = True
[pipeline:main]
pipeline = healthcheck recon object-server
[filter:recon]
recon_cache_path = /var/cache/swift
recon_lock_path = /var/lock
修改文件权限
chown -R swfit:swift /srv/node
mkdir -p /var/cache/swift
chown -R root:swift /var/cache/swift
chmod -R 755 /var/cache/swift
终止存储节点操作，上述操作全部在所有存储节点中操作
控制节点操作
cd /etc/swift
swift-ring-builder account.builder create 10 3 1
创建第一存储节点
swift-ring-builder account.builder add \
--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdb --weight 100
swift-ring-builder account.builder add \
--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdc --weight 100
创建第二存储节点
swift-ring-builder account.builder add \
--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdb --weight 100
swift-ring-builder account.builder add \
--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdc --weight 100
swift-ring-builder account.builder
swift-ring-builder account.builder rebalance
swift-ring-builder container.builder create 10 3 1
创建第一存储节点
swift-ring-builder container.builder add \
--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdb --weight 100
swift-ring-builder container.builder add \
--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdc --weight 100
创建第二存储节点
swift-ring-builder container.builder add \
--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdb --weight 100
swift-ring-builder container.builder add \
--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdc --weight 100
swift-ring-builder container.builder
swift-ring-builder container.builder rebalance
swift-ring-builder object.builder create 10 3 1
创建第一存储节点
swift-ring-builder object.builder add \
--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdb --weight 100
swift-ring-builder object.builder add \
--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdc --weight 100
创建第二存储节点
swift-ring-builder object.builder add \
--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdb --weight 100
swift-ring-builder object.builder add \
--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdc --weight 100
swift-ring-builder object.builder
swift-ring-builder object.builder rebalance
将生成文件放到对象存储节点中
scp account.ring.gz container.ring.gz object.ring.gz object01:/etc/swift/
scp account.ring.gz container.ring.gz object.ring.gz object02:/etc/swift/
获取swift.conf配置文件
curl -o /etc/swift/swift.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/swift.conf-sample?h=stable/queens
vi /etc/swift/swift.conf
[swift-hash]
swift_hash_path_suffix = HASH_PATH_SUFFIX
swift_hash_path_prefix = HASH_PATH_PREFIX
[storage-policy:0]
name = Policy-0
default = yes
将swift.conf配置文件分发到对象存储节点
scp /etc/swift/swift.conf object01:/etc/swift/
scp /etc/swift/swift.conf object02:/etc/swift/
控制节点和所有对象存储节点执行
chown -R root:swift /etc/swift
控制节点
systemctl enable openstack-swift-proxy memcached && systemctl start openstack-swift-proxy memcached
对象存储节点(所有)
systemctl enable openstack-swift-account openstack-swift-account-auditor openstack-swift-account-reaper openstack-swift-account-replicator
systemctl start openstack-swift-account openstack-swift-account-auditor openstack-swift-account-reaper openstack-swift-account-replicator
systemctl enable openstack-swift-container openstack-swift-container-auditor openstack-swift-container-replicator openstack-swift-container-updater
systemctl start openstack-swift-container openstack-swift-container-auditor openstack-swift-container-replicator openstack-swift-container-updater
systemctl enable openstack-swift-object openstack-swift-object-auditor openstack-swift-object-replicator openstack-swift-object-updater
systemctl start openstack-swift-object openstack-swift-object-auditor openstack-swift-object-replicator openstack-swift-object-updater
验证（控制节点）
备注：首先检查/var/log/audit/audit.log，若存在selinux的信息，使得swift进程无法访问，做如下修改：
chcon -R system_u:object_r:swift_data_t:s0 /srv/node
source demo-openrc
swift stat #查看swift状态
openstack container create container1
openstack object create container1 FILE #上传文件到容器中
openstack container list #查看所有的container（容器）
openstack object list container1 #查看container1容器中的文件
openstack object save container1 FILE #从容器中下载文件
