cord-in-a-box 2.0 安装指南

这篇文章简要介绍了 Ciab2.0 的安装. 包括硬件, 软件环境的选择, Ciab2.0的实际部署架构, 安装过程等. 下面就先对 Ciab2.0 部署环境做简要介绍.

1. 概述

这一部分来看看 Ciab2.0 部署环境以及部署的所需的软硬件环境.

1.1 整体部署情况

在正式介绍安装之前先说一下, cord-in-a-box2.0(Ciab2.0)的整体部署情况,我们服务器上部署的ciab2.0的各个虚拟机的嵌套情况如下:

-w576

上图说明:
prod虚拟机: CORD 官方文档叫这个虚拟机为 目标服务器(target server). 从上图中,我们可以看到CORD的主要组件ONOS, XOS, Openstack 全在prod虚拟机中,也就是 prod 其实几乎是 Ciab2.0 的实体,除了 Openstack 的计算节点

corddev虚拟机: CORD官方称这个主机为构建主机(build host),因为脚本安装过程的很多命令都是从这个主机进行的,该虚拟机为 prod 中各个组件建立提供所需要的 Docker镜像.

上述各组件的关系如下,详细见cord-in-the-cloud

1.2 服务器硬件配置要求

官方推荐配置:

64位服务器
32GB+RAM
8+ CPU cores
200GB+ 硬盘

推荐配置(原因见下面 Exsi部分):

64位服务器
64GB+RAM
12+ CPU cores
2TB+ 硬盘

2. 安装Ciab2.0详细步骤

安装步骤分为以下几个步骤:

安装 Vmware Exsi 6.0服务器端
使用 Exsi 客户端 vsphere 安装ubutu 14.04 server版本, 并使其支持嵌套虚拟化
下载ciab2.0安装脚本, 开始安装ciab2.0

2.1 安装Exsi6.0 (可选)

2.1.1 Exsi server端安装简介

基于以下原因选择安装Exsi6.0:

由于Ciab还处理开发阶段, 系统并不是很稳定,有时系统会崩溃
Ciab安装过程耗时很长,崩溃再安装困难
EXSI 6.0 一键操作就可以拍下虚拟机的快照,利于系统再恢复与开发

上面的推荐配置是根据我们这边服务器的情况推荐的, 因为安装了Exsi6.0,对于内存的要求可能就提高了,就我们这边服务器来说,推荐配置的性能刚刚好,不会很卡. 由于需要拍快照,ciab安装之后虚拟机划分的虚拟磁盘大小大约为400GB, 为了能存储几个版本的快照,所以需要较大的硬盘空间

当然也可以不安装exsi, 直接在服务器上直接进行后续操作.

安装Exsi过程说明见: Exsi6.0安装手册

2.1.2 配置Exsi6.0 支持嵌套虚拟化

1. 服务器安装Exsi Server端之后, 在个人电脑上安装客户端 Vsphere 5.5

2. 通过 vsphere 登陆 Exsi server端, 安装 Ubuntu14.04 server版本,为了便于描述, 我们称这个虚拟机为宿主机cord [安装教程]
(http://jingyan.baidu.com/article/bea41d439726c1b4c51be629.html)

CPU cores全部分配给该虚拟机
内存全部分配给该虚拟机
磁盘大小分配450GB

3. 虚拟机cord安装成功之后, 关闭cord虚拟机

4. 使用 vSphere Client 启用 ESXi Shell 访问

使用 vSphere Client 登录到 Exsi, 在清单面板中选择cord虚拟机,单击配置选项卡，再单击安全配置文件。
在服务部分中，单击属性。从下面的列表中选择 ESXi Shell：选择启动以启用此服务。选择与主机一起启动与停止选项, 点击启动,启动该服务

-w471

5. 配置Exsi6.0支持虚拟化
现在在物理服务器上操作, 按下Alt F2,进入Exsi shell; 输入命令:

find / -name *.vmx

该命令会返回一个文件名,vim编辑该文件,在最后一行添加 vhv.enable = "TRUE"

6. 回到vsphere client端开启cord虚拟机

$ kvm-ok  #查看是否支持嵌套虚拟化

输出
INFO: /dev/kvm exists
KVM acceleration can be used

成功

2.1.3 在cord虚拟机上搭建VPN

原因: 由于Ciab中需要安装各种软件的特定版本, 所以他会在安装过程是使用各种国外的库;我们用的ubuntu14.04现在在添加国外库之后, apt-get update会出现错误导致安装错误, 参照ubuntu14.04 server使用pptp搭建vpn

如果vpn的服务器是站点在国内的话, 建议ubuntu把源换成清华的源.

deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty main restricted universe multiverse

deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-security main restricted universe multiverse

deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-updates main restricted universe multiverse

deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-backports main restricted universe multiverse

deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-proposed main restricted universe multiverse

deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty main restricted universe multiverse

deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-security main restricted universe multiverse

deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-updates main restricted universe multiverse

deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-backports main restricted universe multiverse

deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-proposed main restricted universe multiverse

在上述一切步骤完成之后,进入正题

2.2 Ciab2.0安装

Ciab2.0安装采用的是一键脚本安装, 看起来很简单, 但是刚接触安装过程的时候, 报错了,也很难找到有效的解决方法
为了对于Ciab2.0有更好的了解,下面概述下安装的流程;

2.2.1 CORD软件结构

先来看看下图, 这张图显示了CORD的软件架构, XOS处于最高层, 通过调用OpenStack, ONOS的API实现其将SDN, NFV,Cloud融合的能力, 其中 ONOS, XOS的模块都封装Docker容器中, 这也决定了他们的安装的相对顺序.

2.2.2 Ciab2.0安装过程概括

阶段	耗时	虚拟机内部活动
阶段①	20分钟+	配置宿主机`cord`,并下载 Ciab2.0安装过程中所需的配置与库(`opencord`文件夹中)
阶段②	20分钟+	通过`vagrant`建立并配置虚拟机`corddev`, `prod`
阶段③	2小时+	`corddev`虚拟机下载供`prod`使用的docker 镜像
阶段④	30分钟+	从`corddev`下载镜像, 并配置 `prod`虚拟机,为安装openstack,onos,xos搭建好环境
阶段⑤	2小时+	安装 openStack
阶段⑥	10分钟+	安装ONOS
阶段⑦	30分钟+	安装XOS
阶段⑧	1小时+	安装openstack计算节点
阶段⑨	30分钟+	运行官方测试, 测试各个组件正常工作

上述时间建立在网速大约是100KB环境下

2.2.3 Ciab2.0 正式安装

下载并运行Ciab2.0的安装脚本

官方安装教程

下载脚本

curl -o ~/cord-in-a-box.sh https://raw.githubusercontent.com/opencord/cord/cord-2.0/scripts/cord-in-a-box.sh

查看脚本选项

bash ~/cord-in-a-box.sh -h

我们选择安装两个计算节点(Ciab2.0最多支持2个),并运行测试案例

-c 选项清除了之前构建的环境，谨慎使用, 具体如何清除之前构建环境？看了脚本中的 cleanup 函数就清除了，请务必看一下。

运行脚本

bash ~/cord-in-a-box.sh -t  -n 2| tee ~/install.out

由于国内一些问题我们需要做更多的工作, 见下

2.2.4 安装过程详解

2.2.4.1 安装 juju-core

Ciab2.0中 Openstack 是使用juju部署, 由于一些原因脚本中安装的版本会导致阶段⑤ juju bootstrap' 卡住很长时间,然后报错\(ERROR upgrade in progress - Juju functionality is limited\),所以我们可以在corddev下载镜像阶段③就把对应的juju版本安装好 (不知道这个问题改进没有:()

ssh prod
sudo apt-add-repository ppa:juju/1.25
sudo apt-get update
sudo apt-cache show juju-core |grep Version
# 下载最新版本,可能会有变化
sudo apt-get install juju-core=1.25.12-0ubuntu1~14.04.2~juju1

2.2.4.2 安装步骤分解

我们先来看下脚本中的安装过程; 我把脚本中的主体部分贴出来.具体见脚本

bootstrap
vagrant_vms_up

install_head_node
set_up_maas_user

if [[ $NUM_COMPUTE_NODES -gt 2 ]]
then
   echo "currently max only two compute nodes can be supported..."
   NUM_COMPUTE_NODES=2
fi

for i in `seq 1 $NUM_COMPUTE_NODES`;
do
   echo adding the compute node: compute-node-$i
   add_compute_node compute_node-$i build_compute_node-$i
done
exit 0

安装过程2.2.2

这里把安装过程分为9个阶段, 并且后一个过程依赖于前一个过程
一般来说, 前一个阶段安装成功之后,后面出错了,再次安装时就不需要再次执行出错前的部分了(在脚本中注释了对应函数),所以有必要了解脚本语句对应的安装阶段;
- 阶段① 对应于脚本中 bootstrap函数
- 阶段② 对应于脚本中 vagrant_vms_up函数
现在详细说明install_head_node

function install_head_node() {
  cd $CORDDIR/build
  # SSH config saved earlier allows us to connect to VM without running 'vagrant'
  ssh corddev "cd /cord/build; ./gradlew fetch"
  ssh corddev "cd /cord/build; ./gradlew buildImages"
  ssh corddev "cd /cord/build; ping -c 3 prod; ./gradlew -PdeployConfig=$VMDIR/$CONFIG -PtargetReg=10.100.198.201:5000 publish"
  ssh corddev "cd /cord/build; ./gradlew -PdeployConfig=$VMDIR/$CONFIG deploy"
}

下面命令对应于阶段③, 虚拟机corddev下载Docker镜像

ssh corddev "cd /cord/build; ./gradlew fetch"
ssh corddev "cd /cord/build; ./gradlew buildImages"

\(prod\) 从 \(corddev\) 下载一部分Docker镜像, 是阶段④的一部份,这一步一般来说,都会一步成功

ssh corddev "cd /cord/build; ping -c 3 prod; ./gradlew -PdeployConfig=$VMDIR/$CONFIG -PtargetReg=10.100.198.201:5000 publish"

阶段④ ~ 阶段⑦, 都在下面命令中执行

 ssh corddev "cd /cord/build; ./gradlew -PdeployConfig=$VMDIR/$CONFIG deploy"

上述命令可以分解为下面命令:

# 登陆构建主机 corddev 并进入 /cord/build 文件夹
ssh corddev "cd /cord/build"

# 依次执行下面命令, 用下面命令
./gradlew –PdeployConfig=config/cord_in_a_box.yml deployBase
./gradlew –PdeployConfig=config/cord_in_a_box.yml deployPlatform
./gradlew –PdeployConfig=config/cord_in_a_box.yml deployOpenstack
./gradlew –PdeployConfig=config/cord_in_a_box.yml deployONOS
./gradlew –PdeployConfig=config/cord_in_a_box.yml deployXOS
./gradlew –PdeployConfig=config/cord_in_a_box.yml setupAutomation

更进一步了解安装

如果你不满足只用脚本安装或者想更进一步了解安装过程，这一部分就是为你写的. 不过在这里我不会详细说明, 算是抛砖吧.

在运行 cord-in-a-box.sh 脚本时，脚本做的第一件事就是将构建 Ciab2.0 所需的配置，部署等文件下载到本机命名为 \(opencord\) 的目录下, 目录结构如下:

opencord 
   |--- build 
   |--- onos-apps 
   |--- orchestration

其中 \(onos-apps\), \(orchestration\) 文件夹包含的是 Ciab2.0 组件的库文件, 我们这里不予考虑. 与 Ciab2.0 构建过程相关的全在 \(build\) 文件夹中. 其中有两个重要的子目录是 \(maas\), \(platform-install\). 阶段⑤之前的构建脚本基本都在\(maas\)文件夹下, 之后的基本都在\(platform-install\)中. 当然最清楚的理解构建过程的方式就是看构建脚本了, 这里采用的是 Gradle项目自动化构建工具和 Ansible自动化运维工具结合构建起整个 Ciab2.0. 所以简单学习下这两个构建工具将会事半功倍.

关于Ciab2.0的安装就介绍到这里了, 当然安装过程中踩到了各种坑, 其中有一些在CORD的google论坛找到了答案. 由于个人知识水平有限, 难免有纰漏和表述不当的地方, 还望谅解.

posted @ 2018-03-06 09:20 nowgood 阅读(1145) 评论(0) 编辑收藏举报

刷新页面返回顶部

nowgood

梅花香自苦寒来