Horizon Is Easy, Horizon Is Complex

本文出自我的同事兼基友@monsterxx03 之手,本人稍作润色

 

Horizon Is Easy, Horizon Is Complex

如果要用一句话来概括Openstack Dashboard项目Horizon:它是一个基于django webframework开发的标准的python wsgi程序。如果要再加一句废话,它一般会运行在webserver(apache/nginx)上。

 

Why Is It Easy?

 

说Horizon简单,是指它的部署架构简单,就是个单纯的基于django的网站,后台甚至没有使用数据库。不像Swift,Nova这些项目,有非常多的组件(xxx-server,xxx-api…),理清楚各个组件之间的关系,数据流的走向都要费一番功夫。Horizon用到的技术也比较传统,没有异步非阻塞,消息队列,websocket这些比较时髦的东西(目前没有),前端也只是bootstrap+jquery+less,没有什么很前卫的东西。

用户从登陆到看到虚拟机列表的这个过程的数据流走向:

Why Is It Complex?

Horizon的复杂性分成两方面看:

  1. Horizon需要和几乎所有的OpenStack service api打交道, 而且各个服务可能就还有多个api版本,api多版本的兼容不是都能在client里完成的(比如Keystone),Horizon还需要针对各个api的多版本做兼容。
  2. Horizon代码本身很复杂,抽象,利用了django相当多的高级特性,可以说把oop的概念运用到了极致,但这也为过度自定制Horizon带来了麻烦。
 

Design Philosophy

Horizon是基于django开发的,要说Horizon的设计,不得不说django,

Django focuses on automating as much as possible and adheres to the DRY(Don't Repat Yourself) principle.

django的设计专注于代码的高度可重用,信奉DRY原则,一切面向对象,而Horizon可以说高度match了django的设计风格,good or bad就见仁见智了。

先说一点web开发的常识,网站程序基本有三部分组成,业务逻辑代码(Python),静态文件(js/css),模板(Python中的jinja,mako,nodejs中有jade), 用户向webserver发起请求之后,server程序找到当前url对应的模板,填充模板变量(输出成字符串形式的html源码),返回给浏览器,浏览器渲染页面。

如果是简单的程序,一个页面就对应一个模板,非常简单。一般一个网站有自己的统一风格,所有页面都会有一些相同的元素,每个页面单独写一遍很累赘,也不好维护,所以一般模板语言都有继承(extend),插入(include)等特性,来提高页面的复用率。

Horizon做得就更彻底一些,它将页面上所有元素模块化,网页中一些常见元素,表单,表格,标签页,全部封装成Python类,每个组件有自己对应的一小块html模板.当渲染整个页面的时候,Horizon先找到当前页面有多少组件,将各个组件分别进行渲染变成一段html片段,最后拼装成一个完整的html页面,返回浏览器。

简单总结Horizon的特点:

  1. 页面元素模块化
  2. 子面板可插拔
  3. All in One(从部署上来说,Horizon只有它自己这一个组件)
 

Dive into Horizon

 

Some Concepts

Horizon这套面板的设计分成三层:Dashboard → PanelGroup → Panel

Horizon中现有的dashboard有4个:

  1. project 普通用户登陆后看到的项目面板
  2. admin 管理登陆后可见,左侧的管理员面板
  3. settings 右上角的设置面板,里面可设置语言,时区,更改密码
  4. router(配置文件中将profile_support打开可见),ciso nexus 1000v的管理面板

每一个dashboard都是django中的一个app,django中的app可以理解成对业务逻辑模块化的一种手段,里面可以包含自己独有的url设定,模板,和业务逻辑代码.

每个dashboard下定义了一系列的PanelGroup,虚拟机管理对应到界面上就是一个PanelGroup(Manage Compute), 里面有一系列的子panel(Overview, Instances, Volumes…)。Swift,heat,neutron的管理面板各自都是一个PanelGroup,底下有各自的子panel.

Some Code

Horizon的源码中,包含两个代码文件夹

  1. horizon
  2. openstack_dashboard

Horizon这个包是一些在django基础上写的通用组件,表格(table),标签页(tab),表单(form),面包屑导航(browser),工作流(workflow),这些代码和openstack的具体业务逻辑没有什么关系,如果做一个新的django项目,理论上可以复用Horizon这个包中的代码。horizon/base.py中还实现了一套dashboard/panel机制,使得Horizon面板上所有的dashboard都是”可插拔”的,所有的panel都是”动态加载”的。

openstack_dashboard/dashboards/中是各个面板的具体实现代码,其中包括各个面板的模板文件, 和后端service交互的业务逻辑代码等。

 
 

FAQ

 

Horizon怎么实现dashboard的可插拔?

 

之前说过,Horizon中的dashboard就是django的app,在openstack_dashboard/settings.py中的INSTALLED_APP变量定义了目前已有的四个dashboard:

  1. openstack_dashboard.dashboards.project
  2. openstack_dashboard.dashboards.admin
  3. openstack_dashboard.dashboards.settings
  4. openstack_dashboard.dashboards.router

如果自己按照Horizon自定制dashboard的流程写了新的dashboard也需要加到这个配置文件中,新面板就能正常显示。

 

每个dasboard是怎么找到自己拥有的panel的?

 

每个dashboard模块下都有一个dasbboard.py文件里面定义了属于当前dashboard的PanelGroup,和各个PanelGroup下的Panel,在Horizon模块被导入的时候会去依次遍历Dasboard→PanelGroup→Panel,所有的dashboard注册到Horizon命名空间下,各个panel注册到自己的dashboard命名空间下。

 

每个panel是怎么找到自己的模板的?

 

这需要理解django中的template loader概念,简单的说,template loader就是一个处理request的视图寻找自己的模板文件路径的方法,django自带了好几种template加载机制,Horizon用到了filesystem,app_directories这两种,另外自己自定义了一种(horizon.loaders.TemplateLoader),loader的定义在openstack_dashboard.settings中的TEMPLATED_LOADERS变量。

  TEMPLATED_LOADERS = (
      'django.template.loaders.filesystem.Loader',
      'django.template.loaders.app_directories.Loader',
      'horizon.loaders.TemplateLoader',
  )

举例:

当点击左侧project(这是个dashboard)下的instance(这是个panel)标签时,页面会跳转到http://localhost/project/instances这个url,panel在的视图类中写了template_name=“project/instances/index.html”,查找这个文件的顺序是:

  1. 先找openstack_dashboard/templates
  2. 没找到再找openstack_dashboard/dashboards/project/templates/,这个目录不存在,还是没找到。
  3. 最后找openstack_dashboard/dashboards/project/instances/templates, 找了index.html这个文件。

 

怎么显示swift的面板?怎么显示heat的面板?

 

这里很好的体现了Horizon的动态特性,显不显示某panel,实际上并不由Horizon控制,而是由Keystone控制。一个后端的webservice需要集成进openstack的话,第一步是在Keyston处登记,在Keyston的service,endpoint这两张表内写入该service的的一些元数据信息(包括url地址)。

Horizon控制面板是否显示用了一套叫permission的机制,比如Container(swift的panel)要显示的条件是”openstack.services.object-store”。用户的登陆后的token中又service catalog信息,catalog中必须包含object-store这个service,满足,container这个panel就会注册到project这个dashboard之下,页面上就能显示,如果Keyston中没有swift的catalog信息,Horizon就不会注册container这个panel,swift的面板就不会显示。heat同理。

要了解permission的具体实现请看openstack_auth/backend.py 模块

 

普通用户看不到admin面板,这个是怎么实现的?

 

还是用到了上个问题提到的permission,Admin dashboard这个类中写的permission是”openstack.roles.admin”,则admin这个面板显示的条件是当前登录的用户有admin这个role,满足的用户就能看到admin dashbaord.

 

Horizon处理登录部分的代码在哪?

 

参看openstack_auth部分

 

Customize Horizon 

 

自定义css

要对Horizon的css样式做自定制,可以修改openstack_dashboard/static/less 目录下的less文件。

 

自定义js

要对Horizon中js的行为做定制,可以修改horizon/static/horizon/js/ 目录下的文件,Horizon的js文件都是针对具体某个页面组件做的行为定制,比如form提交时的行为,tab切换的行为,所以都放在Horizon目录下而不在openstack_dashboard目录下。

 

添加新的dashboard和panel

Horizon自带了两条命令,方便快速得生成基础代码:

  1. `python manage.py startdash test_dash` 自动生成一个叫test_dash的dashboard,之后将test_dash写入settings中的INSTALLED_APP中,Horizon就能加载此新面板
  2. `python manage.py startpanel test_panel -d openstack_dashboard.dashboards.admin –target auto` 会在Horizon的admin dashboard下生成一个叫test_panel的子面板
 

Event Driven Horizon

 

Horizon目前的实现是比较传统的全刷新网站,openstack中有不少操作是异步的api,比如创建虚拟机,snapshot,volume等等。这些api被调用后资源会进入一个状态迁移的过程,Horizon在前端页面上实现状态的实时刷新,用的是ajax轮训的方式,这种方式效率比较低,也有延迟,目前也有bp要为Horizon引进real time的特性,相关bp:

有一个实现草案:https://review.openstack.org/#/c/40198/1

原理是通过sock.io(python版基于tornado的ioloop实现)再写一个websocket的server.同时Horizon后台添加消息队列支持,监听openstack集群中的消息,监听到了自己需要的消息之后,通知websocket server,server再通知浏览器中的js.

不过这样做有一些问题,server上需要躲开一个端口专门处理websocket请求,还需要一个daemon监听消息队列的消息,这会增加Horizon的部署复杂度。社区决定将real time的实现放到I版做,这个实现草案中将整个Horizon本身也跑在了tornado server上,这里的性能问题有待商榷(主要是对eventlet的monkey_patch的原理有疑惑)。

 
 

吐槽

 

本来想写基于Horizon开发会带来的不便利的地方,想了一下,先写些离题的东西。

首先喷一下django的DRY原则,很多程序员都追求自己的代码里没有冗余的代码,希望系统像一个精密的机械每个齿轮都紧紧得咬合,没有一个多余的零件,也不要出现两个相同的零件,这就是所谓的DRY(don't repeat yourself)。但是也有一句话流传的很广:“DRY有毒”。DRY是不是有毒,我觉得要看写的是什么程序,如果就是一个在后台默默跑着的server,它和外部交互的协议都是定死的,那把接口实现之后无论怎么重构代码,追求架构上的DRY都不过分。

 

但网站这种项目,终端消费者是人而不是其他程序,它和外部交互的协议就是html页面。人是最喜新厌旧的,所以会出现网站改版这种事,说白了网站程序它和外部的交互协议三天两头都有可能变化。当你费尽奇淫巧计,用上各种Design Pattern,OOP设计,最后老板说:“那什么,我想把这个页面的按钮做成大号的,而且点了之后框给我跳两下再出来”,就开始郁闷了,你和boss说,按照我的优良OOP设计,所有页面上的按钮都继承自一个BaseButton,他们的动画效果都是预先定义好的,按钮点了之后对话框能从上下左右出来,就是不能跳两下再出来,可以改,但是会破坏我原本的优良设计。喂喂,根本没人会来理你,看页面的人在乎的只是这个按钮而已。

 

可能你会说,这个例子里,我设计的按钮类不够强大,它应该写的更加抽象,子类的行为要更加灵活。但要知道,程序员能实现的架构的复杂度与层次性和个人的经验,项目所给的时间有相当大的关系。

说白了,就是水平不够,偏要去追求什么没有一行重复代码这种事情,而且给的时间只有个把月,最后的代码很DRY但是不够灵活,只会让自己陷入困境.把握程序的优雅与灵活之间的平衡是一件很难的事情,有时候要量力而行。

再回到Horizon这个项目,让我评价Horizon的代码架构本身(去除一些pep8的小问题,我个人并不是很待见pep8),我的评价是Excellent!反正在一些开源的基于django的程序的实现里,见过代码行数更多的,但没见过代码写的更漂亮的,至少是没见过比它用django用的更牛的。

 

但是Horizon也不是一开始就是这个架构,我记忆里E版的Horizon里那个DataTable的实现真的是百转千回,死活看不懂。现在在H版里的实现将DataTable这个组件进行了很详细的拆分,仍旧很复杂,但比以前的实现要清楚的多。

我曾经将Horizon的commit记录reset到第一条,看过它早期的一些实现变化过程,它早期的代码那叫个简陋,各种脏,各种修修补补,最早的commit记录是2011年1月,一直到现在2013年10月,将近3年的开发时间,一般公司,如果说我们做个面板,做个三年,最后做出来长Horizon这样,那肯定会有人跳出来说:“丫我拿php写一个,1个礼拜就能搞定,他妈你搞上三年,php是最好的语言,php万岁!”.

但Horizon的的价值对一般人来说在openstack api的可视化体现,对开发人员来说是优秀代码的学习范例,如果你用一种传统的方式去开发一个openstack面板,他可能可以把前端做的很炫,让Horizon显得很土鳖,但代码100%比不上Horizon,我的意见是你用django开发,后台写成Horizon这样,基本可以说是优秀到头了。

 

posted @ 2013-11-12 10:58  牛皮糖NewPtone  阅读(7873)  评论(4编辑  收藏  举报