本文笔者详细介绍了开发自助分析平台的重要性、自助分析平台的具体方案和选型,一起来看看吧。
一、为什么要开发自助分析平台
上一篇文章讲到《数据中台实战入门篇:数据中台对内、对外合作机制》。这时数据中台团队已经做了几个比较大块的功能模块,和各个产品线的合作越来越紧密。
每个月每条产品线都有一些数据需求,每条产品线都有N个指标,数据中台主要的开发任务就是数据指标,现在已经发现开发资源已经赶不上运营提需求的速度。如果每个指标都按照之前那个流程,开发周期会很长。
这时我和团队的技术负责人讨论了一下,决定引入一套自助分析的工具,这样数据中台只用负责指标的计算也就是模型设计、数据开发,把最终的计算结果和自助分析工具结合,运营就可以通过拖拉拽的方式形成自己的看板。
一些特殊的需求再让后端开发和前端参与,这样后端开发和前端开发可以做一些其他大模块的开发。
之前一个数据指标的开发需要产品经理、模型设计师、数据开发、后端开发、前端开发、测试、UI,现在只有一些特殊的需求需要后端开发、前端开发的参与,直接提高了30%左右的开发效率。
二、自助分析平台产品方案
我们先看下目前市场上的数据产品关于看板模块是怎么做的:目前市场上比较成熟的数据产品:Growingio、诸葛io、神策这三个产品。你会发现他们的产品有一个共同点,都只有2个大功能:一个是数据看板,另外一个是分析模块。
我们先讲一下看板功能,简单来说一个制作看板,一个是使用看板(我的看板)。逻辑都是先制作看板,通过选择指标、维度、过滤条件、特殊条件的选项,以拖拉拽的方式就可以定制自己的看板。当看板制作完成后,就会分类形成自己的看板库。
另外一个功能是使用看板,可以将看板库中的看板取出,形成自己的看板。这个看板可以同时在移动端和PC端显示,也可以通过地址分享给其他人看或者以H5的形式嵌入其他产品。
制作看板功能
我的看板功能
这样的看板功能和传统的看板功能有一个很大区别就是,使用者只看到他关心的数据,形成了看板的“千人千面”。
另外由于看板都是配置的,可以节省大量的前端开发和后端开发。基础的看板,运营的同事是可以配置的,前端开发只用解决一些比较特殊的需求。
有了这么一个功能,以后无论数据中台接入多少个产品线,这些产品线的看板功能是不用再一个一个开发,这样会节省大量的开发资源。
三、自助分析平台技术选型
怎么实现这么一个强大的看板功能呢?
自己从头到尾开发一套,会付出大量的开发成本,我拉上数据中台的技术负责人给他讲了这个功能的重要性。
刚好我们的技术负责人对这一一块还是有一定的研究,给我看了一下目前市场上比较成熟的3种自助分析框架,这些框架我们可以与数据中台做个集成,形成数据中台的自助分析模块。
一个是商用收费的大数据可视化组件叫帆软,在国内做的比较好。还有两个开源的工具叫达芬奇和supset。达芬奇是国内的来源组件,Supset则是国外的来源组件。让我们来分别看一下。
1. 帆软
先看下帆软制作报表的过程:第一步是处理数据源数据源,这个需要技术人员将数据库的数据链接到帆软,并将数据做进一步的处理;
主要就是将数据库的库表字段转化为运营、产品可以理解的名称。
可以通过URL连接各种数据库
字段可以重命名
运营人员通过选择选择数据源,字段名称,计算方式,就可以配置出自己想要的图表。
图表的显示可以有很多种方式包括报表、折线图、饼图、柱状图等常规图表。
2. 达芬奇
达芬奇有这么几个功能:
(1)数据源管理,这个主要是给数据开发用。数据开发需要把计算好的数据,一般是ads层的数据同步到达芬奇,达芬奇支持n种数据源的链接。
(2)当数据抽取过来后,还有一个问题就是,原始数据运营人员是看不懂的,因为都是数据库的字段,比较偏技术,需要进行一层处理,至少是要把字段重新命名的,这里还是需要数据开发的技术人员处理一下。
(3)第三个功能看板制作器,这个可以给运营直接使用。
运营人员看到的是处理过的数据,通过拖拉维度、指标、过滤条件这些指标,完成看板的制作,看板可以是类似excel的报表显示,常规的柱状图、折线图、饼图等也是可以的。
(4)最后一个功能是我的看板。运营人员可以快速找到自己制作的看板,形成自己的看板。可以通过拖拉拽的形式调整看板的位置,每个看板界面会生成一个分享链接,看板数据支持导出、分享。
3. SUPERSET
Superset和达芬奇功能类似,也有数据源的接入、看板的制作,没有看板管理功能。
Superset整体还是偏技术,很多地方需要写sql,甚至想做的好看一点需要写css。但是它灵活性更高,图表可视化甚至可以与echart做对接。
可以看下其中一些界面,Superset针对数据源的管理,主要是给技术人员使用。
Superset的看板制作器功能,有很多是技术人员用的SQL、JASON、CSS等字眼,这些运营、产品是很难理解的。
Superset的看板管理器也有分享的功能,但是不能通过拖拉拽的形式改变看板的位置。但是Superset可以与第三方的看板管理功能做集成,比如百度的E-chaet
Superset专门针对技术人员或者懂SQL的人员提供的SQL可视化工具。
最终结论
三个可视化自助分析工具我们都看了一下,帆软当然是做的最好,体验最好,但它不是开源产品,要收费。
由于它不是开源的,没有源码,我们很难做集成。我们希望把制作看板的界面直接可以开放给产品、运营使用,直接在数据中台操作,帆软是没办法集成过来的。
对于supset来说,还是偏技术一点,至少是懂sql的人才能用。开放给数据分析师来用是没有任何问题的,但是开放给运营使用,还是太难用。
达芬奇属于折中的选择,看板的制作、看板的管理功能能够直接开放出去给运营、产品人员来用。
另外因为达芬奇是开源的可以直接集成到数据中台,但是唯一不足就是功能太简陋比如我们在查找指标时,显示的是一个分页的列表,当我们指标少的时候还好,当指标有很多,很难快速找到我们想要的指标。
对比下来最后我们还是决定先用开源的达芬奇来做自助分析平台的底层开发框架,但是我们需要做一些定制的开发:
- 指标可以分模块,分类,可以支持简单的快速搜索指标。这样产品和开发同事就可以快速找到他想要的指标。这是需要改源码的,可以交个前端开发搞定;
- 移动端也要有我的看板功能。达芬奇制作的看板是可以自适应屏幕显示,它支持H5,每个看板都会生成一个地址。我们需要做的就是保存每个用户建立看板的地址,然后再让前端开发加载这个地址。这样就很轻松完成了我的看板功能。
数据中台的自助分析平台是越早引入越好,因为它能解决你70%-80%的看板需求,看板的设计思想更加人性化。
传统的一个指标一个界面的功能无法满足所有的人,我的看板看板功能只要你引导产品和运营学会这种方式配置看板,他们看到的数据都是他们自己关心的数据。
本文来自博客园,作者:大码王,转载请注明原文链接:https://www.cnblogs.com/huanghanyu/