政府大数据平台定位（转）

政府大数据平台定位

政府大数据平台不仅是国家大数据战略的重点项目，同时也是智慧城市公共信息平台和应用体系建设的重要组成部分。该平台将以城市统一的地理 空间架构和人口、法人等信息资源为基础，叠加各部门、各行业相关业务信息，围绕各部门资源共享范围和授权使用范围，建设信息化支撑平台，加快促进跨部门协 同应用。
按照国家大数据战略，在当前共享政策法规不健全、部门信息系统相对独立的现实情况下，采取“物理分散、逻辑集中”的方式，以统一平台开放数据交换接口的方 式推动数据共享和开放，是最具可行性的。通过三级规划与五级实施能力结合，最终形成行业汇集，区域共享的政府大数据格局。
普元为政府客户定制的大数据平台定位是行业和区域的数据汇集平台。为区域或行业内各部门间信息共享、各单位数据服务开放和行业产业融合应用，提供最为有利的技术支撑。

政府大数据平台总体架构

普元理解的政府大数据在内部强调的是共享，对于社会强调的是开放，面向大数据产业和行业应用强调的是融合。而随着数据体量增大、共享成为常态化、数据安全隐私愈发受重视等内外部环境变化，政府数据治理和统一运营管控是政府大数据平台建设的重要组成部分。
围绕五大核心能力，普元政府大数据平台（政府）由存储架构、共享交换、数据治理、开放运营和融合应用五部分内容组成

政府大数据平台5大功能

海量存储、高效计算的存储与处理架构

随着物联网和移动互联网的兴起，政府数据量增长明显，海量数据的处理与传统架构完全不同，原有小型机加商业数据库的方式已不能完全胜任， 部分领域数据需要引入新架构。普元的大数据存储于处理架构包括分布式存储、分布式资源管理及分布式文件架构。
分布式存储：传统BI的瓶颈在于软硬件绑定、商业垄断和处理性能，基于但数据开源体系的算法模型和并行计算能力，只需要传统的PC机集群即可达到高效的运算能力，大大节省了硬件资源的投入。
分布式资源管理框架：采用通用的开源Hadoop资源管理框架，确保大数据技术的先进性与良好的兼容性。
在线数据计算引擎：大数据平台的Hbase与Spark是在线高速存储引擎，作为高速处理引擎的内粗数据存储库，响应与查询传输效率是比传统数据存储的几十倍。

灵活普适、过程透明的共享与交换平台

普元的大数据共享交换平台主要由数据交换作业调度和交换管理两部分组成。

数据交换作业调度主要通过调度ETL引擎和消息、服务引擎以及文件引擎，完成政府单位内部数据整合、跨部门数据共享、社会数据接入等大数据共享交换作业。其中：
对于实时性要求较高的数据，如服务网点、办事状态信息等，可以通过数据查询服务获得，或者以消息通知的方式推送。
对于实时性要求不高的数据，如企业基本信息、人员资质等，可基于ETL机制以增量的方式定时更新到应用系统。
对于数据量较大的数据，如每日的台账数据，可基于文件传输机制提供。

交换管理主要实现数据共享交换过程的可视化，将原本不透明的数据共享交换行为，通过日志台账、仪表盘、统计报表等方式变为可见、可管控、可优化的受控行为。

围绕标准、持续改进的大数据治理平台

政府数据在共享共用、开放运营及行业应用过程中，数据来源于各个业务系统，只有建立对数据质量的信任，才能放心地进行使用。所以数据治理和质量保障在政府大数据平台建设中显得由为重要，普元的大数据治理平台主要包括信息资源目录动态管理和数据质量管理两部分。
信息资源目录动态管理，通过各类采集适配器，从数据库、存储过程、Excel模板、ERWin、Perl日志、Hadoop Hive等数据源自动化地、动态地采集元数据信息，经过统一的分析转换，形成全局的数据地图。结合政府业务主题，建立行业或区域的信息资源目录。通过血统 分析和影响分析则帮助管理者有效掌握数据变化的来源和目的，并准确地追踪数据变化在全局范围内的影响。
数据质量管理基于统一的数据标准，建立数据质量的评价体系，进而通过持续的自动化的数据质量检核，并生成数据质量报告。数据质量检查有助于发现各类数据质量问题，为数据质量的改进提供参考依据，并验证改进效果，从而促进数据质量的不断提升。

安全可靠、统一开放的大数据运营平台

普元大数据运营平台主要包括数据服务集成管理、能力开放和资源监控三部分。
数据服务集成管理是实现能力聚合的核心。各个业务系统的业务能力和数据能力以服务的形式提供出来，注册到ESB，并由ESB统一发布，形成统一的、标准的能力集合作。
能力开放平台聚合ESB上的能力集合，通过加密、签名、脱敏、分级授权等方式，在安全可控的基础上，有选择地提供给第三方应用使用，实现数据服务能力开放，作为面向社会开放的平台，需要具备支撑互联网级别的并发响应的能力。
资源监控平台：为运营团队人员提供管理工具，支持服务发布和运行监控，作业调度管控，数据资产管控和安全审计等。不仅需要对数据库、数据服务等资产的运行 状态进行管控，还需要实时把握能力开放情况，通过动态监控和预警帮助运维管理人员随时掌握系统运行状态，提前预防及处理问题。

数据驱动、业务融合的大数据应用平台

数据共享、开放的最终目标都是为了要创造价值，数据的价值主要通过应用进行体现。大数据应用平台主要包括实时大数据分析与数据挖掘分析展现两部分。
基于数据驱动理念的实时大数据分析，能够预定义丰富的事件触发、条件匹配和各种自动执行的动作，还可以通过灵活的策略定义将各种事件、条件、动作、告警和 计划表有机地结合起来，服务于各种大数据融合应用场景，（如：比对从政府内部和社会外部获取的数据，当社会停车场监控和道路卡口监控同时发现同一车牌出现 时，立即触发套牌告警程序，预测车辆行进路线并指派交警跟单等），深入挖掘数据价值，最终将社会和政府的大数据融合到政府治理的具体业务流程中。
数据挖掘分析与展示提供了可视化、便捷、灵活的智能报表分析、统计、决策工具集，为业务人员提供自助式信息展现服务，快速支持数据分析和数据挖掘，提升决策的整体洞察能力。数据分析与应用：自助数据分析、自助数据挖掘、精准数据预测。