记一份电网信息化建设企业信息分析平台规划

　　在项目建设过程中，应需求，其规划大数据信息化平台建设总体方案。

一、   总体原则

　　双创信息化平台建设遵循技术创新、应用创新，遵循国家、电网公司技术导向，充分考虑技术先进性，应用创新性。建设具备公司特色、具备创新特性、符合公司规范、满足公司发展及应用的一站式大数据信息化平台，提升公司大数据应用建设灵活性，充分发挥公司大数据资产价值。

　　双创信息化平台是在全业务统一数据中心上的完善、细化和提升，而又不对原架构造成指标考核影响。平台是技术、管理和应用的全面创新。整体平台独立部署，技术上借鉴全业务统一数据中心建设的技术积累成果，复用部分全业务统一数据中心在源系统数据接口为原系统减负，顶层架构遵循国网公司全业务总体设计，功能、模块、组件细化设计建设全新的、开放式平台，基于创新平台建设出彩大数据应用能够无缝迁移到全业务以向国网公司汇报。

　　创新平台定位为公司大数据分析应用创新建设环境，旨在支撑大数据分析应用建设开展，遵循国网公司数据不出平台的建设要求。

二、   总体方案

　　信息化板块总体框架规划遵循国网公司信息化建设标准体系、运维管理体系、安全管理体系。总体技术选型采用混搭技术架构，总体框架如下图：

信息化板块总体框架图

 

1、基础设施

　　主要包括机房、网络、主机、存储、负载均衡设备、安全装置等。

2、基础运维架构

　　包括主机服务管理、网络服务管理、主机监控、机房管理、用户桌面管理等。

3、数据源层

　　包括公司统推一级、二级系统、自建系统，外部系统，其中对全业务统一数据中心建设已接入系统进行梳理，创新平台数据接入工作部分接口沿用全业务源端接口;一级系统数据进行业务梳理申请下发,该部分根据需求合总部全业务建设进度进行细化;外部系统目前已有得外部系统数据进行梳理接入,考虑到外部数据多样性,考虑建立外部数据接口。

4、数据采集层

　　建立离线同步、准实时同步、实时同步功能，建立消息中间件（离线、准实时、实时）同步结构化数据、量测数据，以及具备消息开放能力。

5、数据存储层（数据仓库）

　　建立三层架构数据仓库，操作数据层（ODS）、公共明细层（DWD）、公共汇总层(DWS)。操作数据层存储源系统操作数据，公共明细层逐步建立，主要是经过唯一来源确认得主要业务数据，公共汇总层基于公司层面大数据建设，从度量、维度等角度建立汇总数据。基于数据采集层消息中间件建立缓存应用，支撑准实时业务应用相对静态数据应用。

6、数据计算层

　　建立离线计算、实时计算框架，主要采用数据库计算和大数据计算框架。对外提供数据计算运行能力。建立存储元数据管理区，管理数据计算数据源调用。

7、数据服务层

　　该层包括数据计算服务和工具数据源层。数据计算层，基于开发语言和关系映射框架（ORM、Hibernate）封装数据计算服务，支持SQL和NoSQL，满足不同能力水平厂商的数据计算开发。工具数据源层（应用数据层，ADS），是指分析所用工具的数据源，存储数据计算集，按照专业、主题、单位进行划分，技术选型上可用（PG、HBASE等）。

8、技术工具服务层

　　主要包括数据分析工具、数据挖掘工具、数据可视化工具。集中自开发应用页面部署环境等。其中自开发可视化应用需通过权限集成。

9、应用发布层

　　统一的应用审核发布、访问出口，包括授权管理、质量管理、应用情况分析、应用商店、综合评价等，在线管理应用生命周期。

10、应用层

　　基于平台建设的大数据应用，三层应用架构，支撑高层领导决策、中层管理提升、基层业务优化。

11、平台管理

　　共包括三大部分：公共组件模块、数据资产管理模块、平台自动化运维模块。建立数据资产管理体系、平台运维体系、平台开发规范、平台应用规范等。

11.1．公共组件模块

　　建设数据静态脱敏、数据动态脱敏组件，应用于数据设计、测试、开发环节。建立公用数据接口（Open Api），统一开放式应用环境接口调用。

建立消息中心，在线发布服务目录、规范等。

11.2．数据资产管理模块

　　建立数据资源管理，包括元数据管理，数据权限管理（数据权限隔离）、在线授权，数据质量管理，数据应用管理，溯源数据管理等。数据资源对外在线开放。

基于该模块建立数据资源管理规范体系，数据应用规范等。

11.3．平台自动化运维模块

　　包括接口运维和、数据运维两大模块，以及安全管理、监控警告等。

　　形成平台运维体系，提升平台服务能力。

12、平台服务模块

　　包括统一开发平台和信息在线开放平台。

12.1．信息在线开放平台

　　建立资源在线申请、数据字典在线查看（可提供脱敏的样例数据）、溯源标在线查询确认等。在线管理公司分析应用建设。建立公司分析应用上、下线管理规范。

12.2．统一开发平台

　　包括数据全过程开发、应用全过程开发、应用运维管理等。

　　建立应用生命周期管理规范。

三、   建设内容

　　创新平台整理建设思路为总体设计、分步实施，中心主体内容建设与对外服务并行。具体建设如下：

　　一是规划软硬件资源，包括机房、主机、网络、存储等。资源到位即开展环境搭建。

　　二是开展中心运行环境搭建，包括各层运行环境。

　　三是研发数据采集层组件，开展数据接入工作。

　　四是搭建统一开发工具，对外开放数据开发、分析应用环境服务，同步建立服务目录、应用规范、管理规范、分析应用建设规范。

　　五是开发数据资源管理系统，同步借助信通公司运维团队开展数据字典梳理工作，建立数据字典开放架构，建立数据分权限、分单位、授权功能。

　　六是研发公共接口、公共组件、OpenApi对外开放，研发统一应用法管理平台。

　　七是研发数据运维、接口运维自动化模块，提升平台可用性。