#研发解决方案#大数据协作平台魔盒——日拱一卒，功不唐捐
郑昀 创建于2017/6/29 最后更新于2017/6/30
关键词：大数据，Spark，SparkSQL，HBase，HDFS，工作流，任务，Flow，Job，监控报警
提纲：
-
为什么要大数据协作？
-
什么是愿景？
-
我们的DataCube
-
工作流什么样？
DataCube 是数据中心刘奎组推出的大数据协作平台。从2016年3月29日我提出数据中心的大一统平台建设目标至今，已经过去了整整一年零三个月时间。其实在很久以前，基于 Hadoop 集群的单一离线计算任务的上传和管理工作，针对 Mesos 集群、HBase、HDFS 的监控报警，刘奎、王银卡、崔建伟、陈少明、李少杰等人已经开发就绪。但真正要把数据仓库计算方方面面搬进来，仍然等了一年时间，因为在底层，运维工程师们还构建了一个 DataFlash 集群，情况比较复杂。
DataCube，中文名字是魔盒。
当初，我说魔盒主要是围绕着这四个核心概念构建一个体系：
-
资源
-
数据
-
流程
-
操作
什么体系？
-
资源，能看见。
-
流程，能流转。
-
数据，能共享。
-
操作，有记录。
出了问题，随时能通过图形化界面排查。
不需要知道的，都隐藏在黑暗之中，被封装为黑箱。
流程驱动数据，再驱动操作，形成闭环。
在2016年年初，我还对于运维自动化平台 SimpleWay 也提出了我的愿景：
在我的想象中，到了 2016年Q3 所见到的是：
线上配置同步到CMDB且可视化：我能在 SimpleWay 上看到任意一台 Nginx、Redis、MySQL、ElasticSearch、ZooKeeper等的物理信息和配置；
资源的调拨和历史可视化：我能在 SimpleWay 上看到任意一台物理机什么时候采购的、什么时候上架的、在哪个机柜、上面都有什么应用、跑了什么虚拟机、承载了什么容器等等；
资源申请、运维操作的流程化：SA、Dev、QA 对资源的申请，或变更配置，工作流的流转以及操作登记备案。
其实，对未来的这些愿景大同小异，都体现了窝窝和云纵的研发哲学：Don't make me think.
0x00，为什么要大数据协作？
2016年的时候，数据中心虽然有自助式报表、即席查询、数据库变更订阅中心、元数据管理、实时数据大屏等管理工具，即使2017年进一步演变出来了数屏、数据开放实验室，但仍不成体系。
什么叫不成体系？
数据，不能共享。
流程，不能流转。
资源，无法看见。
操作，没有记录。
各个模块各自为战。最令我无法忍受的是，Hadoop 集群的离线计算和实时计算线下部署和线上发布还以手工操作为主。
所以，我着重强调用“流程贯穿”提升研发的生产效率。
0x01，什么是愿景？
我曾经说过，在内部讨论技术平台和体系的时候，不要束缚自己的想象力，不要说因为我现在是这样，所以我按此演进，只能是那样。
NO!
一定要切换到朴素无华的脑力和心态（是的，我喜欢用朴素无华这个词），进入使用者场景，想象怎么才是用起来最舒服的状态，或者你所见过的最应当如此、最顺其自然的流程。
我说，我要如此。
可能，最后真的能如此。
举一个例子：
研发中心的协作平台，申请服务器资源是这个样子：
图1 我们这样申请测试资源
那时候我们期望如此。
后来梦想成真。
0x02，我们的DataCube
那么现如今，魔盒能做到什么呢？
先来一张靓照：
图2-0 DataCube靓照
生产环境的它有这些功能：
-
DashBoard
-
流程管理：
-
任务：
-
任务列表
-
任务详情
-
任务更新
-
任务删除
-
创建任务（Spark任务，SparkSQL任务）
-
工作流：
-
工作流列表
-
工作流详情
-
工作流编辑
-
工作流删除
-
创建工作流
-
配置流程
-
展示流程拓扑图
-
设定调度计划
-
DataFlash：主要是监控报警
-
集群概览
-
DataFlash实时监测
-
近一周报警走势
-
今日报警分类图
-
今日报警日志列表
-
Mesos
-
概览
-
实例列表
-
监控指标
-
报警规则（设置）
-
HBase
-
概览
-
实例列表
-
监控指标
-
报警规则（设置）
-
HDFS
-
概览
-
实例列表
-
监控指标
-
报警规则（设置）
-
系统管理：
-
公共资源配置
对 DataFlash 集群（Mesos/HBase/HDFS）的监控报警，暂且不提。大概齐长下面这个样子：
图2-1 针对DataFlash集群的监控报警体系
我们讲一下最新的工作流。
0x03，工作流什么样？
我作为一名数据仓库工程师，首先创建一个离线计算任务：
图3 创建任务
我可以创建一个 Spark任务 或 一个 SparkSQL 任务。
我不需要上传 jar 包。
指定 git 仓库地址即可，以及任务入口类名，还可以设置动态参数。
系统可以帮你构建和上传，不需要你操心。
提交任务之后，可以进入任务详情，亲手构建和发布上线。
图4 任务详情
这里的“发布上线”指的是，从测试环境推送到生产环境。当然了，生产环境需要对这次推送确认。
有了任务，还需要有工作流。
我们的工作流往往很复杂。
譬如这样的：
图5 工作流详情页上半部分
工作流中的任务可以依赖于其他任务或工作流。
我们在工作流身上设置时间调度规则。也可以选择立即执行。
可以在工作流详情页的下半部分看到执行详情：
图6 工作流详情页下半部分
点击上图中的工作流名称，可以看到本次执行的拓扑图，下图中的红色代表执行失败：
图7 工作流执行详情
还可以一路点击进去看到底错在哪里了：
图8 工作流执行-任务详情
还是解决不了问题的话，就点击查看日志，不再赘述。
总之，我们可以通过魔盒的图形化界面，解决85%～90%的大数据日常调度、管理和部署工作。
而这就是我们最初设定的愿景。
加速高质量的交付，提升开发者的价值。我们技术团队所做的每一个步骤、每一个过程都是叠加的、递增的，日拱一卒，功不唐捐。
下一步需要做什么？
实时计算还没有纳入其中。继续努力。
-EOF-
关注我的订阅号：
注：头图来自于bing.com
