数据中台/数据仓库

 

目前架构：

TIDB+fineBI  (很好的平衡了OLTP和OLAP的数据处理需求）

1.TiDB属于对于实时数据分析的支持做的特别好，支持水平扩展与高可用，内部集成spark作为计算引擎，

2. fineBI可以拖拖拽拽就可以快速实现数据的组合和导出，丰富的报表展现形式，细致的权限控制，

建议：fineBI只作为一个展示平台，不在fineBI平台上配置比较复杂的sql逻辑，80%原始数据都在TiDB计算好后同步到fineBI

 

建议架构：

数据源：业务数据+日志+文档  ，通过sqoop或者别的同步工具同步到数据仓库

数据仓库：hadoop+hive（分层），离线（T+1）通过shell+hive  sql或者python+hive sql来处理

实时数据：kafka+flink处理，结果同步到redis或者mysql

 

 

数据中台/开发中台

中台这个最早由阿里在2015年提出的“大中台，小前台”战略中延伸出来的概念，灵感来源于一家芬兰的小公司Supercell——一家仅有300名员工，却接连推出爆款游戏，是全球最会赚钱的明星游戏公司。

Supercell面向全球市场推出了《部落冲突》《卡通农场》《海岛奇兵》《皇室战争》和《荒野乱斗》五款游戏，国内的中台策略做的比较好的公司是字节跳动

 

数据中台解决的问题可以总结为如下：

1. 效率问题：为什么应用开发增加一个报表，就要7,8天时间？为什么不能实时获得用户反馈数据？当业务人员对数据产生一点疑问的时候，需要花费很长的时间，结果发现是数据源的数据变了，最终影响上线时间。产品同学提出了一个新的功能，技术同学实现后，产品同学如何快速查看新上线的功能的使用情况，比如有多少人使用，每天的点击率是多少，功能平均响应时间是多长........

2. 协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但因为是别的项目组维护的，所以数据还是要自己再开发一遍，即重复造轮子。最终要做到对数据能够通过表的名字就知道表里边存的是什么类型的数据