中电金信：数据管理的“工艺”和“柔”性艺术

数字化转型将数据作为重要的资源和决策依据，通过收集、加工、分析和利用大数据，来优化业务流程和支撑业务决策。中国信通院在“2023数据资产管理大会”上分享了数据管理发展的六大趋势，其中认为“DataOps将打造数据开发治理融合的新范式”“数据编织塑造下一代数据架构”。那么，为何需要DataOps，基于DataOps的研发工艺有何过人之处和具体实践？基于Data Fabric的新一代数据仓库更“灵活”更“柔”？Data Fabric落地关键能力和应用场景有哪些？本期Gien享汇视频由中电金信数据资产平台产品架构师、资深技术专家戴永恒向大家解密。

 

1. 高效、灵活、安全：数据管理的发展趋势

数字化转型将数据作为重要的资源和决策依据，数据资源最重要的承载就是数据仓库。从系统架构及内核引擎角度来看，数据仓库从第一代的单机分型数据库、第二代传统MPP数据仓库演进为融合大数据技术的湖仓一体的实时数仓，以及云原生数仓。从数据管理和开发软件视角来看，数据仓库从工具化向流程化、自动化、智能化阶段演进，每个阶段都有代表性的数据管理产品，让数据管理更高效、灵活和安全。

 

2. 数据工程的工艺化：基于DataOps的研发工艺管理

关于DataOps业内有很多理解，中电金信用”工艺化“来形容，强调数据产品研发过程的自动化、规范化和价值化，以保证研发的速度、质量与效率。

具体实施工艺如下：

· 研发速度：构建自动化的数据产品研发工具链路，利用工具提升研发速度，且发展智能化工具。

· 研发质量：构建规范化的数据产品研发工程工艺，利用工艺保障研发质量，且发展智能化工艺。

· 研发成效：构建费效化的数据产品研发价值度量，利用量化提高研发成效，且发展智能化度量。

 

源启数据资产平台就是这样的产品，将DataOps融合到从开发需求到资产运营的整个数据研发流程，在每一个研发阶段匹配自动化的研发工具，再将原始需求撰写、加工需求评审、数据模型设计等研发过程规范化，将以人为主的数据交付模式升级为以“流程+工具”为主的数据交付模式。

 

3. 从刚性走向柔性：基于Data Fabric的新一代数据仓库

“柔性”数据仓库的两大支柱一是让数据更灵活的NL2SQL，二是逻辑数仓，两者融合起来才能实现更为灵活的数据仓库。基于Data Fabric的新一代“柔性”数据仓库能够更灵活地适应业务的快速发展，让各类指标得到即时响应和生成。