OpenStack（二）——使用Kolla部署OpenStack-allinone云平台
(1).Kolla概述
Kolla是OpenStack下用于自动化部署的一个项目，它基于docker和ansible来实现，其中docker主要负责镜像制作和容器管理，ansible主要负责环境的部署和管理。
Kolla实际上分为两部分：Kolla部分提供了生产环境级别的镜像，涵盖了OpenStack用到的各个服务；Kolla-ansible部分提供了自动化的部署。最开始这两部分是在一个项目中的（即Kolla），OpenStack从O开头的版本开始被独立开来，这才有了用于构建所有服务镜像的Kolla项目，以及用于执行自动化部署的Kolla-ansible。
(2).Linux系统硬件配置
需要一台高配VMware虚拟机，内存12G，硬盘200G（swap分区4G，boot分区200M，剩下全给根目录），CPU开启虚拟化支持，双网卡桥接模式。
(3).准备工作
如果是最小化安装，那么按<Tab>键是不会自动补全的，所以此时需要安装bash-completion。另外还需要安装vim和net-tools工具
[root@Openstack240 ~]# yum -y install bash-completion vim net-tools
关闭SELinux和firewalld
[root@Openstack240 ~]# vi /etc/selinux/config
SELINUX=disabled
[root@Openstack240 ~]# setenforce 0
[root@Openstack240 ~]# getenforce
Permissive
[root@Openstack240 ~]# systemctl disable firewalld && systemctl stop firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@Openstack240 ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
Active: inactive (dead)
Docs: man:firewalld(1)
11月 23 00:06:05 Openstack systemd[1]: Starting firewalld - dynamic firewal....
11月 23 00:06:07 Openstack systemd[1]: Started firewalld - dynamic firewall....
11月 23 00:38:02 Openstack systemd[1]: Stopping firewalld - dynamic firewal....
11月 23 00:38:04 Openstack systemd[1]: Stopped firewalld - dynamic firewall....
Hint: Some lines were ellipsized, use -l to show in full.
配置/etc/hosts
[root@Openstack240 ~]# vim /etc/hosts 192.168.128.240 OpenStack
下载epel源
[root@Openstack240 ~]# yum -y install epel-release
配置网卡信息
| IP地址 | 网络类型 | 网卡 | 在OpenStack网络中的作用 |
| 192.168.128.240 | bridge（桥接） | ens32 |
OpenStack内部管理网络（management network），Horizon web界面访问就是通过该网卡 |
| 无（不能配置IP地址） | bridge（桥接） | ens33 | 外部网络（external network），让neutron（OpenStack中的网络组件）的br-ex绑定使用，OpenStack中的虚拟机是通过该网卡与外网通信 |
[root@Openstack240 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32 //修改以下几行，如果不存在则添加 BOOTPROTO=none //将dhcp改为none，使自动获取改为静态获取 ONBOOT=yes //启动用该网卡 IPADDR=192.168.128.240 //设置IPv4地址 NETMASK=255.255.255.0 //设置子网掩码 GATEWAY=192.168.128.254 //设置默认网关 DNS1=61.177.7.1 //设置DNS [root@Openstack240 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 //修改以下几行，并将其移动到文件开头，如果不存在则添加。 TYPE=Ethernet NAME=ens33 DEVICE=ens33 //如果是开启虚拟机后添加网卡，需要手动编辑以上三行 BOOTPROTO=none //将dhcp改为none，使自动获取改为静态获取 ONBOOT=yes //启用该网卡 [root@OpenStack240 ~]# systemctl restart network
安装基础包
//安装基础包 [root@Openstack240 ~]# yum -y install python-devel libffi-devel gcc openssl-devel git python-pip //配置pip镜像源，方便快速下载python库（默认从国外下载） [root@Openstack240 ~]# mkdir .pip [root@Openstack240 ~]# tee .pip/pip.conf << EOF //不知道为什么cat失败，所以用了tee > [global] > index-url=http://mirrors.aliyun.com/pypi/simple/ > [install] > trusted-host=mirrors.aliyun.com > EOF //升级pip [root@Openstack240 ~]# pip install -U pip
(4).安装kolla-ansible
1）使用pip安装ansible，注意不要使用yum安装，否则会与kolla中的YAML包冲突
[root@Openstack240 ~]# pip install ansible
2）使用pip安装kolla-ansible
[root@Openstack240 ~]# pip install kolla-ansible
如果出现如下错误
//已经存在PyYAML3.10导致不能安装PyYAML Found existing installation: PyYAML 3.10 Cannot uninstall 'PyYAML'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall. //出现如上错误，请执行以下步骤 [root@Openstack240 ~]# pip install PyYAML --ignore-installed PyYAML //忽略已经安装的PyYAML，安装PyYAML [root@Openstack240 ~]# pip install kolla-ansible //重新安装kolla-ansible
3）复制kolla-ansible的相关配置文件
[root@Openstack240 ~]# cp -r /usr/share/kolla-ansible/etc_examples/kolla /etc/ [root@Openstack240 ~]# ls /etc/kolla/ globals.yml passwords.yml [root@Openstack240 ~]# cp /usr/share/kolla-ansible/ansible/inventory/* /etc/kolla/ [root@Openstack240 ~]# ls /etc/kolla/ all-in-one globals.yml multinode passwords.yml
文件说明：all-in-one是安装单节点OpenStack的ansible自动安装配置文件；multinode是安装多节点OpenStack的ansible自动安装配置文件；globals.yml是OpenStack部署的自定义配置文件；passwords.yml是OpenStack中各个服务的密码文件。
(5).编辑kolla-ansible的配置文件，用于自定义安装OpenStack
生成OpenStack各个服务的密码文件，并修改Web页面登录密码
[root@Openstack240 ~]# kolla-genpwd [root@Openstack240 ~]# vim /etc/kolla/passwords.yml //修改第165行，这是登录Dashboard（web界面控制台）的密码。正常情况下也不能太简单，可以截取一段自动生成的密码 keystone_admin_password: 123456
编辑/etc/kolla/global.yml自定义OpenStack中的部署事项
[root@Openstack240 ~]# vim /etc/kolla/globals.yml //第14行和第15行，选择下载的基础镜像，5选1 # Valid options are ['centos', 'debian', 'oraclelinux', 'rhel', 'ubuntu'] kolla_base_distro: "centos" //第17行和第18行，选择的安装方法，2选1。binary二进制安装，source源码安装 # Valid options are [ binary, source ] kolla_install_type: "source" //第20行和第21行，选择OpenStack的版本标签，详细请看：https://releases.openstack.org/ # Valid option is Docker repository tag openstack_release: "stein" //注意版本必须小写，后期下载的OpenStack相关的docker镜像标签也为stein。我是train版本失败，才换成stein //第23行和第24行，存放配置文件的位置 # Location of configuration overrides #node_custom_config: "/etc/kolla/config" //默认存放地址 //第31行，OpenStack内部管理网络地址，通过该IP访问OpenStack Web页面进行管理。如果启用了高可用，需要设置为VIP（漂移IP） kolla_internal_vip_address: "192.168.128.240" //第87行，OpenStack内部管理网络地址的网卡接口 network_interface: "ens32" //第105行，OpenStack外部（或公共）网络的网卡接口，可以是vlan模式或flat模式。 //此网卡应该在没有IP地址的情况下处于活动，如果不是，那么OpenStack云平台中的云主机实例将无法访问外部网络。（存在IP时br-ex桥接就不成功） neutron_external_interface: "ens33" //第190行，关闭高可用 enable_haproxy: "no" //第213行，关闭cinder（块存储） #enable_cinder: "no" //第443行和第444行,指定nova-compute守护进程使用的虚拟化技术。（kvm好像有点问题，大家可以试试，看看你们能不能过nova下载） //nova-compute是一个非常重要的守护进程，负责创建和终止虚拟机实例，即管理虚拟机实例的生命周期 # Valid options are [ qemu, kvm, vmware, xenapi ] nova_compute_virt_type: "qemu"
(6).基于kolla-ansible安装OpenStack私有云
生成ssh key，并给自己授权
[root@Openstack240 ~]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:AF8aHj/NlA0doFaR/ZOM6HParDKP0o4YH40rzDoEPnY root@Openstack The key's randomart image is: +---[RSA 2048]----+ | . o . *X.. | | + * *o + | | = = o. + . | |. o .. . = | |.. S. . | | +.E o o . | |..oo. o.. * | | . ++.++.. o | | .o..+oo+o. | +----[SHA256]-----+ [root@Openstack240 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@OpenStack /usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub" The authenticity of host 'openstack (192.168.128.240)' can't be established. ECDSA key fingerprint is SHA256:bIVBUnAgb1EBEW0igBEyamtibqEMjhkfrwHyjXHjnq4. ECDSA key fingerprint is MD5:86:b5:64:9c:5f:19:23:26:20:56:60:9d:ce:27:f7:33. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys root@openstack's password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'root@OpenStack'" and check to make sure that only the key(s) you wanted were added.
配置单节点清单文件
[root@Openstack240 ~]# vim /etc/kolla/all-in-one //修改第3行到第19行，将localhost ansible_connection=local改为OpenStack //可以使用替换命令":1,$s/localhost ansible_connection=local/OpenStack/" [control] OpenStack [network] OpenStack [compute] OpenStack [storage] OpenStack [monitoring] OpenStack [deployment] OpenStack
开始部署OpenStack。注意：我在使用阿里云的epel源时，在安装bootstrap-server时会卡在TASK [baremetal : Install yum packages]这一步。而系统安装的epel源只等待了5分钟左右。
//安装bootstrap-servers部署OpenStack所需的依赖包。该包由kolla-ansible提供，包含docker。
[root@Openstack240 ~]# kolla-ansible -i /etc/kolla/all-in-one bootstrap-servers
//对当前主机进行预部署（检测），直接看最后的统计即可。如果检测报错，可以查看前面的TASK:[precheck ...]部分，可以快速定位到错误
[root@Openstack240 ~]# kolla-ansible -i /etc/kolla/all-in-one prechecks
PLAY RECAP *********************************************************************
OpenStack : ok=66 changed=0 unreachable=0 failed=0 skipped=42 rescued=0 ignored=0
//查看docker volume卷挂载方式
[root@Openstack240 ~]# vim /etc/systemd/system/docker.service.d/kolla.conf
[Service]
MountFlags=shared //添加该行，后期docker宿主机新增分区时，docker服务不用重启，方便主机增加磁盘。
ExecStart=
ExecStart=/usr/bin/dockerd --log-opt max-file=5 --log-opt max-size=50m
//指定docker加速器，阿里云免费的申请一下即可
[root@Openstack240 ~]# tee /etc/docker/daemon.json << 'EOF'
> {
> "registry-mirrors": ["https://xxxxxxx.mirror.aliyuncs.com"]
> }
> EOF
[root@Openstack240 ~]# systemctl daemon-reload
[root@Openstack240 ~]# systemctl restart docker
//拉取镜像，时间有点长
[root@Openstack240 ~]# kolla-ansible -i /etc/kolla/all-in-one pull
//查看拉取下来的镜像
[root@OpenStack240 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
kolla/centos-source-horizon stein 0dadc35b6b9c 44 hours ago 1.04GB
kolla/centos-source-nova-compute stein ea536cdda37b 44 hours ago 1.85GB
kolla/centos-source-neutron-server stein 75c62223bc3a 44 hours ago 1.03GB
kolla/centos-source-neutron-l3-agent stein 3f9175b4f55c 44 hours ago 1.04GB
kolla/centos-source-neutron-dhcp-agent stein 3137270d1bd0 44 hours ago 1GB
kolla/centos-source-neutron-metadata-agent stein bfd4bbeefc3f 44 hours ago 1GB
kolla/centos-source-neutron-openvswitch-agent stein 908cfd43c296 44 hours ago 1GB
kolla/centos-source-nova-api stein 8521127528ce 44 hours ago 1.09GB
kolla/centos-source-nova-ssh stein cbbf57d9ac9c 44 hours ago 1.06GB
kolla/centos-source-glance-api stein 2e0c01c9facc 44 hours ago 910MB
kolla/centos-source-nova-consoleauth stein 85e5522095c9 44 hours ago 1.03GB
kolla/centos-source-nova-conductor stein c35ede1279bc 44 hours ago 1.03GB
kolla/centos-source-nova-scheduler stein 817f1ec1367f 44 hours ago 1.03GB
kolla/centos-source-nova-novncproxy stein ee5441c6a2a1 44 hours ago 1.06GB
kolla/centos-source-keystone-ssh stein 15ea9c492264 44 hours ago 921MB
kolla/centos-source-keystone stein e973f2e7094d 44 hours ago 920MB
kolla/centos-source-keystone-fernet stein f50e58bbf72c 44 hours ago 920MB
kolla/centos-source-placement-api stein 1556e06c1058 44 hours ago 920MB
kolla/centos-source-heat-api stein 21e4e2ba3acf 44 hours ago 894MB
kolla/centos-source-heat-engine stein 720f1fc35901 44 hours ago 894MB
kolla/centos-source-heat-api-cfn stein 91991bd99c45 44 hours ago 894MB
kolla/centos-source-mariadb stein 61ff92627c80 44 hours ago 594MB
kolla/centos-source-nova-libvirt stein 8e3beb6eec8b 44 hours ago 1.2GB
kolla/centos-source-fluentd stein b148a90b28b7 44 hours ago 539MB
kolla/centos-source-openvswitch-vswitchd stein 651b5161a446 44 hours ago 423MB
kolla/centos-source-openvswitch-db-server stein 693789d40516 44 hours ago 423MB
kolla/centos-source-chrony stein e2e4a9fa7f63 44 hours ago 407MB
kolla/centos-source-memcached stein 7af3c04e37b3 44 hours ago 407MB
kolla/centos-source-kolla-toolbox stein d6718bf60842 44 hours ago 687MB
kolla/centos-source-rabbitmq stein 2135cb353c35 44 hours ago 486MB
kolla/centos-source-cron stein 83f979d850d9 44 hours ago 406MB
//部署OpenStack
[root@OpenStack240 ~]# kolla-ansible -i /etc/kolla/all-in-one deploy
PLAY RECAP *****************************************************************************************************
OpenStack : ok=279 changed=168 unreachable=0 failed=0 skipped=116 rescued=0 ignored=0
//验证部署，并且生成/etc/kolla/admin-openrc.sh
[root@OpenStack240 ~]# kolla-ansible -i /etc/kolla/all-in-one post-deploy
PLAY RECAP *****************************************************************************************************
localhost : ok=2 changed=1 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
[root@OpenStack240 ~]# cat /etc/kolla/admin-openrc.sh
export OS_PROJECT_DOMAIN_NAME=Default
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_NAME=admin
export OS_TENANT_NAME=admin
export OS_USERNAME=admin //在该文件中可以看到OpenStack的Web页面账号密码
export OS_PASSWORD=123456
export OS_AUTH_URL=http://192.168.128.240:35357/v3
export OS_INTERFACE=internal
export OS_IDENTITY_API_VERSION=3
export OS_REGION_NAME=RegionOne
export OS_AUTH_PLUGIN=password
报错1：拉取镜像失败。
首先重复尝试几次拉取镜像操作。如果还是失败，先检测/etc/kolla/globals.yml中第21行版本号是否正确。在版本号正确的情况下再次拉取镜像还是报错，那么向前退一个版本尝试拉取镜像。（我就是train版本无法使用，退回到stein版本）注意清理其他版本的镜像
报错2：部署失败（我没遇到，有待测试）
如果部署时报以下错误：
RUNNING HANDLER [common : Initializing toolbox container using normal user] ****
fatal: [HOSTNAME]: FAILED! => {"changed": false, "cmd": ["docker", "exec", "-t", "kolla_toolbox", "/usr/bin/ansible", "--version"],
"delta": "0:00:01.251727", "end": "2018-08-29 22:52:03.283733", "msg": "non-zero return code", "rc": 126,
"start": "2018-08-29 22:52:02.032006", "stderr": "", "stderr_lines": [],
"stdout": "OCI runtime exec failed: exec failed: container_linux.go:348:
可以尝试重新部署，会自动解决该问题。
使用内网的Windows测试
(7).重启服务器后来带的问题
kolla部署的OpenStack-allinone云平台自带开机自启，就是启动稍微有点慢。 但是在我重启过后发现少启动了一个镜像，一番查找之下发现缺少了kolla/centos-source-nova-scheduler:stein镜像（nova-scheduler）。以下为重启之后的操作，如有不能启动的镜像可以照此操作
[root@OpenStack240 ~]# docker ps | grep nova-scheduler [root@OpenStack240 ~]# docker ps -a | grep nova-scheduler a3d73b4b5ac8 kolla/centos-source-nova-scheduler:stein "dumb-init --single-…" 23 hours ago Exited (137) 7 minutes ago nova_scheduler [root@OpenStack240 ~]# docker restart a3d73b
然后再重启就又可以开机自启了，不知道为什么。
