读书笔记1-数据中台(数澜科技)
——从技术、架构、设计、运营、管理5个维度系统总结数据中台实现方法论
PART1前言(WHY)
IT到DT
信息化演进之路,“让数据用起来”
数据中台3个核心认知
1.需要提升到基础设施的高度,进行规模化投入 ;
2.需要全新的数据价值观与方法论,形成平台级能力;
3.需要业务、数据、分析综合性人才,尽快启动人才储备。
数据中台3个发展阶段
1.探索阶段:技术与现有业务结合,迅速形成可见、可展示的成果;缺点是缺乏整体规划,每个项目都要从头到尾走一遍,底层数据支持效率会大幅下降。
2.整合数据应用提升效率:1)数据汇聚/交换能力;2)数据资产化能力;3)数据服务化能力
3.重构数据空间和业务空间
PART2数据中台是什么(WHAT)
什么是数据中台
数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,够贱的一套持续不断把数据变成资产并服务于业务的机制
数据中台必备4个核心能力
1.汇聚整合;2.提纯加工;3.服务可视化;4.价值变现
数据中台业务价值-赋能业务、核心壁垒
1.以客户为中心,用洞察驱动企业稳健行动;2.以数据为基础,支持大规模商业创新;3.盘活全量数据,构建核心壁垒以持续领先
数据中台技术价值-能力多、成本低、应用广
1.应对多数据处理需求;2.丰富标签数据,降低管理成本;3.支持跨主题域访问;4.数据可快速复用
PART3数据中台建设方法(HOW)
数据中台建设方法论
1种战略行动:企业级战略规划
2种保障条件:1.需要有组织保障;2.需要提升全企业数据意识:1)数据采集意识、2)数据标准化意识、3)数据使用意识、4)数据安全意识
3项目标准则:1.数据可见;2.数据可用;3.数据可运营
4套建设内容:1.技术体系;2.数据体系;3.服务体系 ;4.运营体系
5个关键步骤:1.理现状:组织、业务、数据、技术现状;2.立架构:组织、业务、技术、应用、数据架构;3.建资产:数据集成、资产萃取、数据标准、数据质量;4.用数据:数据安全、场景服务;5.做运营:监控审计、价值评估、质量评估、资产排名
数据中台架构
1.数据汇聚;2.数据开发;3.数据体系;4.数资管理;5.数据服务体系 ;6.运营体系和安全管理
PART4企业数据能力评估(WHO)
企业数据应用成熟度评估
1.统计分析阶段
2.决策支撑阶段
3.数据驱动阶段
4.运营优化阶段
什么企业适合建设数据中台
1.有一定的信息化基础,沉淀了数据,实现了业务数据化过程;
2.企业业务有丰富的数据维度及场景,特别是多业态型集团企业;
3.企业有数字化转型、精细化经营的需求。
PART5数据中台架构讲解(Detail)
数据汇聚联通-打破数据孤岛
数据采集汇聚
1.线上行为采集:1)客户端埋点:全埋点、可视化埋点、代码埋点;2)服务端埋点
2.线下行为采集
3.互联网数据采集:网络爬虫,Nutch、Scrapy
4.内部数据汇聚:Canal、Sqoop、DataX
数据交换产品
1.数据源管理:1)关系型MySQL、oracle;2)Nosql:Hbase、Redis、elasticsearch、Cassandra、MongoDB、Neo4J;3)网络和MQ:kafka、HTTP;4)文件系统:HDFS、FTP、OSS、CSV、TXT、Excel;5)大数据相关:hive、impala、kudu
2.离线数据交换:1)读取插件;2)写入插件;3)数据交换核心模块
3.实时数据交换:1)数据订阅服务CLIENT SERVER:数据订阅和读取、任务实例启停控制;2)数据消费服务:任务状态控制、数据解析、过滤、转换、写入等
数据存储
1.在线与离线
2.OLTP与OLAP
3.存储技术:1)分布式系统;2)Nosql数据库;3)云数据库
数据开发-价值提炼
产品能力
1.离线开发:核心功能点作业调度、基线控制、异构存储、权限管控等,离线套件封装包括数据加工、分析 ,在线查询,即席分析等能力;整合任务调度、发布、运维、监控、告警等。
2.实时开发:核心功能点元数据管理、SQL驱动开发、组件化配置
3.算法开发:可视化建模及notebook建模,常用语金融风控与反欺诈、文本挖掘分析、广告精准营销、个性化推荐
数据计算能力4种类型
1.批计算:MapReduce、spark
2.流计算:storm、flink、spark streaming,应用场景如流式ETL、流式报表、监控预警、在线系统
3.在线查询:elasticsearch、Redis,应用场景如画像服务、搜索、圈人场景
4.即席分析:impala、kylin、clickhouse,应用场景如交互式数据分析、群体对比分析
数据体系建设-夯实基础
贴源数据层ODS
仅做多源数据的汇聚、整合;
在ODS不做字段命名统一,可与业务系统字段名保持一致;
若采用增量同步方式,需要同时建立增量表和全量表
统一数仓层DW
细分为明细数据层DWD和汇总数据层DWS,从业务视角组织数据,常用维度建模方法
1.划分数据域:1)数据调研;2)业务分类;3)数据域定义:划分业务范围;4)总线矩阵构建:数据域下的业务过程与维度信息梳理
2.指标设计:保持一致性,原子指标+时间修饰词+其他维度修饰词=派生指标
3.维度表设计:1)选择维度;2)确定主维表;3)梳理关联维表;4)定义维度属性
4.事实表设计:1)过程:确定业务过程;定义粒度;确定维度;确定事实;冗余维度属性
2)类别:事务事实表-记录业务事务级别数据(增量更新);周期快照事实表-记录时间周期内的聚集事实或状态度量(增量更新);累计快照事实表-覆盖一个事务从开始到结束之间所有关键事件(全量刷新)。
标签数据层TDM
面向对象建模,跨业务、域整合打通
1.确定对象:人、物、关系(事实关系与归属关系)
2.对象ID打通
3.标签类目设计
4.标签设计
5.标签融合表设计:横表or纵表?
应用数据层ADS
从统一数仓层、标签层抽数、面向业务特殊需要加工业务特定数据
1.需求调研
2.盘点现有数据能否满足;个性化数据加工
3.组装应用层数据
数据资产管理-承上启下
什么是数据资产
企业拥有或控制、能带来未来经济利益的数据资源
数资管理现状
缺乏统一的数据视图;数据基础薄弱;数据应用不足;数据价值难估;缺乏安全的数据环境;数据管理浮于表面
数资管理4个目标
1.可见:数据资产地图
2.可懂:元数据管理,数据资产标签化
3.可用:统一数据标准,提升数据质量和数据安全性
4.可运营:组织管理制度与价值评估体系
数资管理11大职能
1.数据标准管理:对数据的表达、格式及定义的一致约定。业务术语标准、参考数据和主数据标准、数据 元标准、指标数据标准。
2.数据模型管理:概念数据模型、逻辑数据模型、物理数据模型。
3.元数据管理 :元数据是描述数据的数据。技术元数据、业务元数据、管理元数据。元数据常应用于:1)元数据浏览检索;2)血缘分析与影响分析;3)冷热度分析。
4.主数据管理:用来描述企业核心业务实体的数据,如供应商、客户等。
5.数据质量管理:从业务、管理、技术入手。准确性;完整性;一致性;有效性;唯一性;及时性;稳定性;连续性;合理性。
6.数据安全管理:通过评估安全风险,设置数据安全等级、完善数据安全管理制度及技术规范,保证数据被合法合规、安全采集、传输、存储和使用。
7.数据价值管理:度量数据内在价值,成本与应用价值。
8.数据共享管理:包括内部共享、外部流通与对外开放。
9.生命周期管理:1)不可恢复数据-建议保存;2)可恢复数据-灵活调整。
10.标签管理:1)数据分类标签如来源、更新频率、归属部门等;2)根据某些行为组织的内容标签如还贷能力等。
11.数据资产门户:1)数据资产地图;2)数据资产目录;3)数据资产检索
数资管理级别评估
初始级—>受管理级—>稳健级—>量化管理级—>优化级
数资管理的7个成功要素
1.强有力的组织架构;2.清晰的数据战略;3.重视数据的企业文化;4.合理的制度与流程;5.标准与规范;6.成熟的软件平台;7.科学的项目实施
数据服务体系建设-“API-最后一公里”
3大数据服务核心能力
1.基础数据服务:面向对象是物理表数据,主要场景包括数据查询、多维分析
2.标签画像服务:面向对象是标签数据,主要场景包括标签圈人、画像分析
3.算法模型服务:面向对象是算法模型,主要场景包括智能营销、个性化推荐、金融风控
4种常见的数据服务
1.查询:1)支持配置查询标识;2)支持配置过滤项;3)支持查询结果配置
2.分析:1)支持多源数据接入;2)高性能即席查询;3)多维数据分析;4)灵活对接业务系统
3.推荐:1)支持不同行业推荐;2)支持不同场景推荐;3)支持推荐效果优化
4.圈人:1)支持人群圈选;2)支持人群计量;3)支持多渠道对接
3种对接服务的数据应用
1.数据大屏:1)需求调研;2)数据开发;3)数据服务封装;4)可视化展现
2.数据报表:1)传统报表-记录;2)统计报表-统计;3)分析报表-分析(BI类报表)
3.智能应用:1)个性化推荐应用;2)精准营销应用
数据中台运营机制与安全管理-安全质量是基础、提效降本是关键
数据中台运营的4个价值切入点
1.统一战略;2.搭建组织;3.打造氛围;4.实践创新
数据资产运营的4个目标
1.可阅读-读取门户或数据地图;
2.易理解-标签化;
3.好使用-API服务体系;
4.有价值-价值评估
数据资产运营链路
1.看-资产门户
2.选-意向资产库
3.用-服务接口
4.治-标签治理及数据治理
5.评-资产评估
数据资产运营执行
1.资产信息组织登记;2.数资宣传推广;3.搭建服务保障平台;4.持续治理优化;5.价值评估
数据资产安全管理
1.分级分类管理;2.脱密和加密;3.监控和审计
数据成本运营
1.存储成本;2.计算成本
大数据平台安全管理
1.统一安全认证和权限管理;2.资源隔离;3.数据加密;4.数据脱敏;5.容灾备份;6.其他(匿名发布、数字水印、数据溯源、角色挖掘等)