大数据平台能力要求
（一）建设背景及政策依据
大数据能力平台已成为智慧建设的必要基础
2021年初开始要加快推进国家规划已明确的重大工程和基础设施建设，其中要加快 5G 网络、数据中心等新型基础设施建设进度，“新基建”概念呼之欲出。
“新基建”是服务于国家长远发展和“两个强国”建设战略需求，以技术、产业驱动，具备集约高效、经济适用、智能绿色、安全可靠的现代化基础设施体系。近年来，我国高度重视新型基础设施建设，不断加快并完善 5G 基建、大数据中心、人工智能等领域的“新基建”建设布局。以“新基建”牵引，夯实经济社会高质量发展的“底座”和“基石”，对于引燃“十四五”产业动力新引擎、助力数字经济发展、构建智慧和谐社会具有重要意义。
为了切实推动“新基建”产业发展，提升“数字经济”的比重，结合国家对“互联网＋政务服务”建设的指导方向和我省数字政府建设的工作需求，搭建大数据能力平台是最终形成智慧的城市大脑过程中承上启下的一步。
建设大数据是构建城市大脑的重要组成部分
通过建设大数据平台都建设 ，为经济发展、政务服务与社会治理进行全方面的赋能，全面推动政府数字化转型，并为构建城市大脑奠定基础。
建设大数据能力平台是落实市级大数据发展政策要求
市级大数据局要以“无条件共享、按需求使用”为原则，加大所有市直属部门、各区县和主要公共服务单位大数据资源归集共享力度，建设大数据“资源湖”，完善人口、法人、空间地理、信用信息、电子证照、城市感知、行为事件等公共基础数据库；围绕政务服务、企业经营、市场监管、社会保障等主题，梳理相关领域信息数据，构建主题数据库；整合共享各部门业务数据库，对接融合科研机构、公共事业单位、互联网企业等社会数据；按照省统一标准规范，建设大数据地市分结点，并通过省市两级数据共享交换平台的互联和数据资源目录对接来实现数据的共享。
依托大数据能力平台建设数据资产化管理体系，实现数据资产分级分类管理，促进公共数据有序开放与规范管理，围绕医疗卫生、教育文化、物流产业、社保就业、科技创新、信用服务、市场监管、地理空间信息等社会治理和民生服务重点领域，促进公共数据有序开放与规范管理。制订数据资源开放管理制度，建立技术标准、信用体系、安全保护和保密审查等制度和机制。通过建设大数据能力平台，实现对数据资源的全流程全链路的整合和处理，包括在数据工厂内的数据开发、监控运维、数据地图服务、数据质量、资产管理、数据服务和安全等，实现数据汇聚和数据上云；并对数据进行符合数据标准和模型的治理，支持数据模型物理化及跨项目复制；能够对数据进行打标签，并生成数据画像；实现对数据的全链路展示和全景监控，并实现对全市信息资源的管理。
建设需求分析
基于大数据能力平台，对全量数据采集、清洗、治理、标准化，建立数据治理标准化体系，实现数据质量监控、数据运维、数据成本管理、血缘影响分析、数据权限控制等，对全市数据进行全生命周期管理，为各应用提供全量、标准、干净、智能的数据，推进数据的有序管理与共享交换。。加强数据分析与梳理，提升汇聚数据的关联效应，实现海量数据的质量自动稽核和安全管理，为数据应用提供可靠有效的基础支撑。建设包括政务服务、决策保障、跨域协作、经济调节、市场监管、社会治理、公共服务、环境保护等领域专项大数据分析与可视化展示应用。大数据“资源湖”可为各部门的决策分析提供数据基础，各部门无需自建大规模数据仓库，只需开发算法模型，基于“资源湖”加载算法，即可获取分析结果。
大数据能力平台以数据为基础，以数据全链路加工流程为核心，提供数据汇聚、研发、治理、服务等多种功能，既可满足平台用户的数据需求，又能为上层应用提供各种行业解决方案。
全域数据汇聚，推动政务业务的数据协同
形成统一的跨部门、跨地域、跨层级的信息交换共享机制，全面汇聚全市各类公共数据，逐步实现立体化、多层次、全方位的数据服务体系，有效支持电子政务公共服务能力提升。
数据上云
提供跨网络、跨网闸等复杂网络环境，实现批量、实时多源异构数据的便捷同步或接入，系统提供完善的数据接入配置、任务运行监控、数据对账等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。支持基于业务场景的流程配置，跨多种异构存储/计算平台快速部署和复制。
数据工厂
数据工厂提供一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。数据工场赋予用户仅通过单一平台即可实现数据传输、数据计算、数据开发、数据分享的各类复杂组合场景的能力。提供完善的数据集成、数据开发、监控运维、数据质量、数据地图、数据资产管理、数据服务。
智能数仓
支持构建数据标准和质量规则，并将其贯彻到数据质量探查、分析、保障的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性、可用性，通过客观量化评估指引数据治理工作的螺旋式上升过程。
算法服务
算法服务基于大数据开发的数据智能应用搭建提供一站式的算法/数据研发管理平台。
多维数据分析，精准支撑社会服务与管理
基于大数据平台的全局宏观数据分析，形成城市级的宏观数据主体分析应用，有效支持领导决策、政策研究以及资源投放。
智能标签
能够将治理后的数据以业务化视角进行建模、查看、管理及使用，并提供业务衍生标签的自定义功能，为上层应用提供统一的标签数据目录和标签调用接口，支持沉淀回收上层应用制作的模型标签，实现高价值标签共享复用。
画像分析
画像分析可基于智能标签提供的标签体系进行多维度分析，按照业务需求圈定特定群体范围，实现对复杂群体数据的简易化统计、筛选、加工、沉淀，建立单实体全方位个性化档案，通过可视化线索分析来实现对于目标群体的精准定位。
深入数据洞察，辅助社会治理与高效运行
利用大数据平台，基于感知层（摄像头，传感器等物联设备）的实时事件的感知、研判及传递，形成捕获—响应—处理的联动体系，支撑城市智慧运行。
深入、多维、智能大数据洞察，可提供自助式数据挖掘工具，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，快速发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。
智能数据服务，促进产业经济与社会发展
通过政务大平台数据开放应用，形成“公共数据服务社会应用、社会数据反哺公共数据”的良性循环促进机制。利用平台在政务服务领域全面融合各个数据源中的数据，按业务主题分析对象进行数据整合，轻度汇总加工，计算各类算法标签，形成政务服务基础支撑库，并面向应用提供智能数据服务。
在本项目中需要按“自然人、法人组织、信用信息、行为事件、物联感知、地理空间、电子证照”等数据域对数据进行数据抽象和整合，面向各数据域切分的对象和业务过程建模。
整体建设规划方案
按照《国务院关于加强数字政府建设的指导意见》的规则要求，结合“互联网+政府服务”建设现状，牢牢抓住大数据应用的痛点，以云计算、大数据、物联网、区块链、人工智能等技术为支撑，以“统筹规划、集约建设、共享共治”为原则加强大数据顶层设计。
大数据建设体系规划
在大数据能力平台项目的建设中，需要规划出一个完整的大数据建设体系，用以全面指导整个大数据的建设，包括大数据能力平台的建设、大数据管理制度、大数据的治理运营的流程与规范、大数据的应用与共享机制等。
数据汇聚
整合现有公共数据资源，布局行业数据引入，逐步形成城市 数据枢纽。
技术驱动
搭建大数据能力中台，与行业先进技术保持同步演进；打造城市大数据运营、智能应用等数字孪生技术能力。
服务赋能
促进大数据供给侧改革，围绕大数据各项能力开放，推动数据应用创新发展，激发数据价值。
大数据平台定位与价值规划
大数据能力平台的核心是汇聚全市各类公共数据，建立面向全市政务服务、经济发展、社会治理与公共服务的数据资源库与数据服务。为智慧城市大脑的构建提供全面、高效、安全、智能的数据管理与应用支撑，是数字、智慧建设总体战略与落地规划中的重要组成部分。
项目建设目标
通过大数据能力平台项目建设，以数字化、数据化、智能化、智慧化为实施路径，加快实现“平台通、数据通、信用通、业务通”，推动政府全方位、系统性变革和数字化转型,建立服务高效、治理精难，决策科学的新型政府运行模式，提升政府运行效能，优化营商环境，为推动“新基建”产业发展奠定基础。
按省、市两级加快推进智慧城市与数字政府的建设要求，结合当前大数据平台建设现状，抓住大数据应用的痛点，以云计算、大数据、物联网、区块链、人工智能等技术为支撑，推进大数据能力平台建设。为推动的数字化转型，为构建城市大脑，建设智慧提供全方面、智能化的数据支撑，助力建立服务高效、治理精准，决策科学的新型政府运行模式，全面提升政府运行效能。
使能高效协同，全面优化数据动态更新与同步机制
推动公共数据完整归集，按需及时同步和更新公共数据，形成大数据枢纽，保证委办间政务协同。
驱动数据应用，进一步完善大数据基础、主题库建设
完善基础、主题数据库建设，推动数据资源整合及数据分析应用。
聚焦服务赋能，初步构建数据中台能力体系
搭建统一流数据治理与处理中台，并完善数据共享服务与数据分析和可视化 服务，提升数据共享与创新应用效能。
加强数据运营，推动全市数据统一标准化管理及运维
构建统一数据开发与调度，增强数据管理能力建立统一数据运维和自有的大数据组件技术栈，保障平台稳定运营。
确保安全可控，完善数据安全和平台安全管控
建立完整的平台安全和数据安全管控体系，保障数据安全管控。
项目建设内容
数字大数据能力平台建设项目，将以标准化数据仓库建设为理论基础，以数据中台建设为目标，围绕智慧城市建设，实现政务数据、视频图像、物联感知、社会行业等全域数据的归集、清洗、加工，提升数据服务化能力，以数据支撑各项政务、社会管理以及经济发展等业务，以业务反补数据，实现业务数据闭环，为政务服务、经济建设、城市管理，社会治理等实现全方位的数据赋能。
因此，本次大数据能力平台建设项目的建设内容主要是要搭建统一的大数据能力平台；建立大数据资源中心，完成标准化数据仓库的建设；并构建基础及融合业务应用数据库，为政务处理、经济发展、社会民生、城市管理等实现数据赋能。
完善大数据能力平台建设
在现有平台基础上，按照项目建设目标，完善整个大数据平台能力与功能建设，让平台可以支撑整个大数据管理与应用。具体建设内容包括：
Ø 建设数据治理平台
建设大数据治理子平台，提供数据标准管理、元数据管理、数据质量管理能力，实现对数据的规范治理与管理；提供数据工厂能力，实现对归集的数据进行清洗、加工，支撑业务的数据应用需求。
Ø 建设AI能力平台
建设市级公共人工智能平台，提供包含机器视觉、语音识别、自然语言处理等基础模型为主的通用AI引擎以及满足一网通办、一网统管、经济发展、城市规划等智能场景应用所需的算法库，结合机器学习算法、深度学习算法、多维分析，在海量数据中计算、分析和建模来挖掘出数据价值，输出统一的公共算法服务能力，统筹匹配各部门聚焦的业务需求，更高效的从数据中获取应用价值。
Ø 建设GIS基础平台
建设数据地理信息服务平台，依托市级空间地理底图和各类图层信息台，建立统一的地名地址标准和数据库，叠加“一标多实”各类要素数据，实现各类地理数据资源的有序关联，完善地图更新和转换联动机制，支撑全市各部门对地图的统一服务需求。
Ø 建设数据可视化平台
建设数据可视平台，提供基于拖拽的强大格式定义、可视化报表与图形化定义能力，支持用户非常方便控制报表中内容的精确布局，也可以很方便地制作各种不同维度的报表内容，并将包括表格、地图分布、文本内容等有用、关键的信息集成在各种看板设备上(PC、Pad、手机、大屏等)。
Ø 建设安全管理平台
在数据安全保障的大环境下，建设数据安全管理平台支撑提升全市数据资源在数据加密、脱敏、分级分类、防泄漏、安全审计分析和权限管理等数据安全防护能力。
在大数据能力平台的建设实施阶段，要同步实施密码应用的实施，配合大数据能力平台的应用完成其密钥应用实施，最终达到实际的密钥安全应用需求，为大数据能力平台提供底层安全保障，并达到符合密钥应用安全性测评要求。
Ø 建设统一运维平台
建设统一运维管理平台，提供统一监控运维功能，保证整个大数据能力平台的稳定与高效运行，并提升数据资源全生命周期的保障执行力和运维效率。
Ø 建设可视化运营指挥大屏
建设可视化指挥大屏，基于全市公共数据归集基础，以高质量发展实际需求为驱动，通过多源数据融合和多维全景分析，通过全局态势可视，监测预警洞察能力，辅助提升城市发展科学决策水平。
建设政务数据资源中心
制定市内公共数据汇聚的标准规范和管理制度，归集全市各政务单位的公共数据，形成全市的数据资源湖。经过对数据进行清洗、转换、融合、治理后，形成高质量的公共数据资源，构建形成标准化数据仓库。
Ø 建立级数据湖
构建全市公共数据的存储与计算空间，支撑各类数据资源的汇聚存储、处理计算与查询应用，并依据部门类别、数据源类别等提供资源隔离的多租户数据应用空间。
Ø 建设基础库
建设、优化全市统一的基础人口综合库、法人综合库、空间地理库，支撑全市人口基础数据相关应用。
Ø 建设主题库
汇聚全市居民、政务部门相关数据，建设城市码、应急主题库，为全市提供电子身份证、应急管理等数据应用。
建设大数据赋能应用
基于全市的数据资源湖，利用经过治理后的数据，可以针对某一特领域的业务数据共享、应用需求，按主题归集形成专题库和主题库，并面向政务部门及社会进行数据开放。并持续开展、深入大数据的应用探索，围绕跨部门、跨领域、跨行业的数据应用需求，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，逐步建立不同领域的应用专题或主题库构建面向全市多部门提供统筹的数据共建共享共用的数据服务。
Ø 城市码应用
综合人口、公安、民政等各类数据，建立市民电子身份证模型，构建城市码大数据应用，实现"一人一码"，支撑健康码、医保社保、公共交通出行等各类便民应用。
Ø "一次办好"政务服务
借助大数据平台，逐步实现立体化、多层次、全方位的电子政务公共服务体系，推进信息公开，促进网上办事实时受理、部门协同办理、反馈网上统一查询等服务功能，加快推进智能化电子政务服务初步应用，不断拓展个性化服务，进一步增强政府与社会、老百姓直接的双向互动、同步交流。
Ø 交通治理
针对交通卡口以及城市道路的视频数据及图像数据，对于交通事故、交通违章、精细化管理策略等，通过人工智能手段，即可实现自动化监控、智能化管理。
Ø 路政治理
基于AI算法，结合相关数据，针对路政提供相应的符合的智能路政管理平台，并从多个场景进行智能化管理。
Ø 安全治理
构建智慧城市的安全系统，需要做到对异常变化的敏锐感知。要充分发挥人工智能的技术优势，针对人、车、物、地、事件信息进行实时采集与分析，将危险源、隐患、事故等数据相联动关联，实现对复杂场景的敏锐感知与精准掌控。
Ø 工地管理
采用智能化信息化管理的模式对施工现场的人员、设备、物资、安全、质量等做管理和控制，包括安全违规行为识别、人员及车辆进出管理、物料智能配置、高塔危险设备监控等。
Ø 市场监管
建设全市市场监管大数据应用服务，通过提供基础监管数据库、精准市场日常监管、市场监管信息共享等关键数据指标服务，助力更新政府市场监管逻辑、消除信息不对称、增强监管合力、解决监管力量落差问题、降低市场监管成本。
Ø 智慧旅游
汇聚全市旅游相关的各类数据，包括：旅游景点相关数据、旅游行业企业数据、旅游产业收入数据、旅游游客接待数据、游客分布分析数据、全市居民外出旅游相关数据等，建设全市统一、专业的旅游数据库，支撑全市各类与旅游相关业务的数据应用。
Ø 智慧农业
建设全市统一的农业大数据应用与展示服务，汇聚农业研究、环境、生产与市场相关数据，构建农业综合信息服务、农业数据监测预警、农业环境监测等关键指标数据服务，为指导全市农业生产与制定发展决策提供全面的数据支撑，推动农业快速与高质量发展。
Ø 全民健康
建设全市集中、全面的市民健康大数据应用服务，通过汇聚全市医疗机构与个人健康相关数据，建设全市医疗数据共享、公众健康指数等关键指标数据服务，助力降低医疗成本，预测流行病的爆发，改善全市人民健康状况，提高整体生活质量。
Ø 应急处置
面向应急管理常态与非常态业务需求，按照不同事件专题应用的需求重新整合形成应急专题库。提供事件周边应急资源的分析功能，包括医院床位数、应急物资、避难场所等，便于市领导对现场进行应急指挥，全面提高的应急处置能力与水平。
数据治理平台建设方案01
数据治理流程
1) 标准录入
数据治理平台会包含部分5大库数据标准，行标、部门标准等需由实施人员从客户处采集后录入系统
2) 同步数据结构
由于数据治理过程需采集数据元并标准化，故需先将生产库需桥接库表的数据结构录入前置库
3) 元数据采集
将数据结构采集入数据治理平台
4) 标准化
实施人员为采集来的元数据挂接数据标准，标准化其元数据格式属性、值域等
5) 落标及数据桥接
部门管理员根据标准化的字段属性，将生产库数据桥接到前置库
6) 质检及整改
中心管理员对前置库数据进行质量检查及整改
7) 数据集成
中心管理员将质检后数据集成到治理库
8) 逻辑质检
中心管理员对治理库的数据根据业务需求进行逻辑层质量检查
9) 资源挂载
部门管理人员对已完成数据治理的治理库数据进行资源挂载
治理过程产出
通过数据治理工作后，形成的数据治理成果物。
AI能力平台建设方案
2021年4月20日，国家发改委正式给出了“新基建”的定义：新型基础设施是以新发展理念为引领，以技术创新为驱动，以信息网络为基础，面向高质量发展需要，提供数字转型、智能升级、融合创新等服务的基础设施体系。其中信息基础设施包括：基于新一代信息技术演化生成的基础设施，比如，以5G、物联网、工业互联网、卫星互联网为代表的通信网络基础设施，以人工智能、云计算、区块链等为代表的新技术基础设施，以数据中心、智能计算中心为代表的算力基础设施等。融合基础设施包括：深度应用互联网、大数据、人工智能等技术，支撑传统基础设施转型升级，进而形成的融合基础设施，如智能交通基础设施、智慧能源基础设施等。
可以看出不论信息基础设施还是融合基础设施，都对于人工智能技术的应用寄予很大的期望和支持，同时人工智能在提升政府管理智能化水平，提升业务工作效率，降低运营处成本，提高安全性解决方案等方面，都具有非常优异的表现。而AI人工智能在政务的整个业务流程中同样能起到极高的作用。
AI能力平台概述
AI能力平台是一个融合的开放性平台，平台集合了智能化数据标注、自动化机器学习和开放平台三为一体，为大数据平台提供所需的业务支撑能力。
AI能力平台优势：
1、可以赋能给大数据平台以人工智能自学习的能力，大数据平台可以结合归集的数据情况或实际各委办局的业务情况，自行训练应用模型及能力接口输出；
2、AI能力平台可以提供私有化部署解决方案，保证所有政务数据和敏感数据都是在政务内网环境运行，所有标注和训练工作也是在政务云上执行，保证了数据的安全性；
3、AI能力平台具有标准化的应用界面，无需具有研发经验，普通职员即可根据指导说明完成数据的标注、模型的训练、接口的生成等流程，真正实现AI能力的标注化赋能；
4、AI能力平台具有世界先进的优化算法，对于物理服务器资源要求极低，与业界同行相比，节约硬件资源投入50%以上；
5、针对国家的信息安全方面要求，我方所有算法能力完全可以在国产化平台上运行；
6、AI能力平台具备成熟的产品设计和标准的部署方案，可以实现快速部署，快速落实场景开发应用。
AI能力平台之智能标注平台
智能数据标注平台是一个AI半自动化数据标注平台。
通过机器学习技术和深度学习技术，结合自研SaaS数据标注系统，对需要处理的数据进行清洗、任务分配、智能预标注、智能质检，实现半自动化的数据标注和质检，大幅提升标注速度、减少质检工作量、降低人力成本。
AI能力平台之自动化机器学习平台
企业自动化机器学习平台是一个低门槛的自动化AI应用构建平台。自动化机器学习平台是综合运用自研的机器学习、图像分类、图像检测、图像分割、文本分类、文本匹配、序列标注、机器学习回归、机器学习分类、机器学习时序等技术，搭建起来的用户自主机器学习平台。
通过企业自动化机器学习平台，用户可以根据自身的需求，通过平台生产自身想要的AI应用。
AI能力平台之开放平台
AI开放平台是一个综合性AI服务平台。
AI技术正在我国的各行各业落地，人们也热衷希望通过AI技术提升效能。但是苦于AI技术的门槛和背景，无法直接使用AI技术。AI开放平台的诞生，就是为了降低AI使用门槛，让人人均可使用AI，使用AI赋能工作和生活。
在AI开放平台，用户可直接使用我们提供的基础AI能力、场景化的AI能力和封装好的解决方案，对工作和生活进行AI赋能，大幅提升工作效率。
GIS基础平台建设方案
建设数据地理信息服务平台，依托市级空间地理底图和各类图层信息台，建立统一的地名地址标准和数据库，叠加“一标多实”各类要素数据，实现各类地理数据资源的有序关联，完善地图更新和转换联动机制，支撑全市各部门对地图的统一服务需求。
总体建设方案
建设GIS基础平台，提供统一的地理资源定位、区域资源覆盖等服务，并具有灵活组合、快速开发等特点。用户可直观体现资源位置情况，帮助用户做好资源分配、资源管控、区域布局分析以及资源整合。
平台管理方案
Ø 统一管理
对GIS引擎、API进行统一管理、授权，提供强大的管理功能。
Ø 流程化支持
服务申请、图层申请均有工作流引擎管控。
Ø 系统监控
平台拥有完善的监控体系，确保对每一处细节均有监控和记录。
Ø 灵活组合
GIS展示离不开引擎和前端工具，基于引擎API，通过能力平台的配置化，可对以上两点进行自由组合和切换。
Ø 能力丰富
基于展示目前系统提供了多种API支撑，通过对API整合，覆盖了90%以上的展示效果，可无需配置，直接展示。
Ø 快速扩展
平台提供了扩展接口，通过对各引擎的封装，提供了不同的扩展接口，可快速扩展，满足业务要求。
平台功能建设
能力GIS产品的作用主要是在于基于地理位置，展现资源情况，通过地理位置分析资源分配、利用以及后续发展方向，避免因为资源分配不合理、复用不高造成资源的浪费，同时对整体的布局把控、发展方向、资源监控提供有力的支撑。
Ø 地图引擎
提供地图支撑服务，包括图层、自定义样式，达到业务展示要求。
Ø 资源网关
基于脚本语言实现GIS工具，通过灵活组合达到地图展示效果。
Ø 管理平台
实现多租户服务管理，对租户实现统一管理，资源、服务分配。
平台特点与价值
GIS能力平台立足于技术的不断更新完善，为企业提供更专业的GIS应用软件，协助企业规划，提升企业的资源利用以及有效的资源监控管理，充分挖掘资源潜力。
（八）安全管理平台建设方案01
在数据安全保障的大环境下，建设数据安全管理平台支撑提升全市数据资源在数据加密、脱敏、分级分类、防泄漏、安全审计分析和权限管理等数据安全防护能力。
在大数据能力平台的建设实施阶段，要同步实施密码应用的实施，配合大数据能力平台的应用完成其密钥应用实施，最终达到实际的密钥安全应用需求，为大数据能力平台提供底层安全保障，并达到符合密钥应用安全性测评要求。
总体建设方案概述
大数据能力平台的环境安全部分对标《网络安全等级保护基本要求》(GB/T 22239-2019)的三级要求，从物理环境安全、网络与通信安全、边界安全、安全计算环境、安全管理中心五个角度进行规范，应确保承载大数据能力平台可满足等保三级要求并定期开展测评整改。
总体安全保障方案
数据的全生命周期安全防护是大数据能力平台安全防护的重中之重。安全防护体系遵循数据安全能力成熟度模型(GBT 37988-2019)和《政务信息共享数据安全技术要求》（送审稿）设计，对数据的采集、传输、存储、处理、交换、销毁全过程进行安全防护。
因此，在大数据能力平台安全管理平台设计过程中，将遵循内生安全为主外置安全为辅的原则，优先利用大数据能力平台各子平台自身的安全能力。针对不充分的内生安全能力，通过数据安全子平台提供定制化的安全能力并与各子系统集成实现全局赋能。
平台建设架构设计
数据安全是大数据平台建设的重中之重，平台整体安全防护体系包括数据资源平台环境安全和数据全生命周期安全两大核心要素，结合数据安全能力成熟度模型，数据安全生命周期各阶段主要防护能力，大数据能力平台的安全管理平台功能架构设计如下：
其中数据质量能力由数据治理子平台提供，传输和共享交换过程中的数据加密、校验能力、数据水印和接口安全由数据共享交换子平台提供，存储过程的介质安全、加密、分层分级、备份归档和过期数据处理能力以及分布式处理安全由大数据基础支持平台提供，数据支撑平台提供数据软销毁软销毁能力，介质销毁能力则有基础环境运维服务商提供。
其他需要通过数据安全子平台提供定制化的安全能力并与各子系统集成实现全局赋能，包括统一的身份和权限管理、统一的敏感数据发现、分类分级管理和数据防泄漏能力、统一的加密秘钥管理、统一的数据脱敏、统一的数据水印、统一的安全审计分析。
统一身份和权限管理
- 统一用户管理
对用户数据进行集中管理，形成标准身份库，实现用户信息的全生命周期管理，用户信息自动同步到各应用系统。
收集梳理各用户信息来源，建立统一的身份数据中心；完成从上游系统同步用户、组织机构数据；实现与下游应用系统同步用户、组织机构信息并提供数据同步接口，提供对用户和组织机构维护功能；提供用户、组织机构等信息批量操作功能；可支持定义多套组织机构，能够灵活扩展用户和组织机构属性定义；需支持分级分权的组织结构管理功能；需支持用户管理工作流功能，并提供待办任务提醒功能。
- 统一认证服务
需提供多种认证方式和认证策略，以满足不同应用系统认证服务的业务规则的需要，具体内容包括但不局限于如下方面：
认证方式：提供多种即插即用的认证方式，包括用户名密码、静态口令校验、图片检验码、短信认证、邮件认证、口令、OTP令牌认证、UKEY认证、指纹、人脸识别、二维码扫码等，可以集成现有的指纹认证方式，同时也支持人脸、声纹等生物认证方式集成扩展；支持多种认证技术按策略进行认证链组合，支持组合认证、双因素认证、二次认证等认证方式，以便满足不同场景的认证要求。
认证方式分级：认证方式建立分级管理机制，不同的认证方式划分为不同的级别，实现不同的认证等级，对应用系统、用户可分别提供不同认证等级管理，仅当用户等级高于应用认证等级时才能访问该应用系统。
移动认证：平台需支持移动端应用的接入，提供统一认证服务，包括提供移动门户接入和SDK模式接入等。
- 统一权限管理
提供对用户身份统一权限配置和统一访问控制等服务。能够针对各类业务、栏目等资源授以相应权限范围，将用户实体与其角色、岗位、部门等权限属性相分离，使每个人员都具备不同应用权限，实现每级或每个用户只能在自身权限范围之内访问相应的业务、栏目等资源。
满足基于“管用审”原则的权限管理模型，访问主体分为管理员、业务员、审计员；角色分为管理类、使用类、审计类；访问客体功能菜单分为管理类、使用类、审计类、共用类。
实现统一组织架构、人员管理，对用户的属性、权限进行划分设定。采用基于角色的授权方式，可以动态维护角色，并把用户添加到指定的角色中去。
统一用户管理基于数据库目录开发。目录服务的作用是对所有用户进行统一用户管理和认证，目录服务基于数据库目录技术，集中存放所有用户的信息及其安全凭证，还存放系统中所有的对象的属性、安全凭证、访问权限等信息，提供集中式的管理、授权、验证、权限检查服务。
需提供完备的权限管理功能，包括统一身份管理与访问控制平台自身权限和各应用系统内部权限两部分。具体内容包括但不限于以下内容：
平台权限：平台需实现基于角色的权限管理，根据用户所属平台角色配置相应平台权限菜单。平台角色可分为但不限于以下角色：系统管理员、业务参数管理员、平台操作员、应用管理员、审计管理员、普通用户。
细粒度权限控制：支持通过为用户分配应用系统角色实现应用系统细粒度的权限控制；能够实现对应用系统菜单权限、按钮权限、数据权限等细粒度权限的控制。
自动权限管理：支持基于用户组和资源组的自动权限管理，按照用户属性对用户进行分组，对应用系统资源进行分组，建立资源组，配置用户组拥有的资源组权限策略，实现自动权限管理功能；支持单独对用户进行应用系统访问授权和角色授权，如果该用户拥有相关的用户组权限，那么取并集得到用户最终拥有的应用系统权限；支持将某个应用系统访问权限赋予对应的用户组或者应用，解决新增应用的授权问题。
权限互斥检查：支持对离职用户的应用权限进行一键收回；支持职权分离检查，可设置角色冲突、岗位冲突检测策略，并具备告警机制；支持系统间、系统内岗位互斥、角色互斥。
分级授权管理：支持对平台系统进行分级分段管理。可按照组织、用户、应用、认证方式等要素划分管理级别，且管理员只能管理其管辖内的用户与系统资源，不可跨区管理，但管理级别支持向上继承。可以进行管理权限的划分，把部分管理权下放到各个单位，如对本单位的人员进行管理等添加、删除。
- 统一审计管理
支持对系统管理日志、用户认证与操作日志、访问应用系统日志进行审计，并能够支持通过风险策略实时监控并干预用户异常行为，防范非法登录风险。具体内容包括但不限于以下内容：
账号管理审计：对系统管理操作进行审计，支持应用系统孤儿账号检查；支持检测出孤儿账号中的活动账号和非活动账号；支持对检测出的孤儿账号进行自动或手工处理，消除孤儿账号。
账号合规检查审计：支持对应用系统账号进行合规性审查，包括以下功能，检测应用系统子账号总数、检测应用系统已绑定账号数、检测活动账号和非活动账号、检查账号信息与身份管理系统中用户信息的一致性。
安全审计功能：审计应覆盖到用户管理与访问控制的每个环节，包括管理员对系统的管理行为审计、普通用户的访问行为审计、系统的运行情况审计；审计应记录应用系统重要的安全相关事件，包括重要用户行为、系统资源的异常使用、授权操作、重要系统功能的执行和账号、用户数据及组织架构的变更等；相关事件的记录应包括日期和时间、类型、主体标识、客体标识、事件的结果等；建立综合审计展示视图，将审计信息进行集中展现和展示，根据记录数据进行分析，可生成审计报表，并对特定事件，提供指定方式的报警；提供对审计信息数据进行签名处理，防止人为修改审计内容。一旦发现审计内容被修改，审计信息自动进行特殊标识。
（九）安全管理平台建设方案02
统一的敏感数据发现
以敏感数据识别为基础，实现数据分类分级管理和数据泄露防护。
敏感数据识别规则配置：提供对敏感信息识别的策略配置，支持对敏感信息的识别与判断，需支持的策略包括但不限于关键字、正则表达式、标识符、数据指纹、机器学习等。系统需内置常见敏感数据类型的标准识别策略。
敏感数据扫描：支持对HADOOP结构化文件、半结构化文件、非结构化文件和压缩文件、传统数据库和NoSQL型数据库进行敏感数据扫描，根据敏感数据规则进行识别，发现环境中存在的敏感数据；
流量敏感数据识别：实现对明文流量的分析，根据敏感数据规则进行识别，发现流量中的敏感数据；
敏感数据扫描任务管理：实现对敏感数据扫描识别建立单次任务以及全量或增量的周期性任务管理；
敏感数据发现结果管理：对各类型的敏感数据扫描结果进行标准化存储并建立索引，实现对敏感数据识别结果的查询、展示和明细查看；
敏感数据分布展示：对全局敏感数据识别结果进行分析、统计，对于敏感数据的分布情况进行视图绘制，能够通过多种视图展示敏感数据的分布情况。
统一的数据脱敏管理
实现对大数据平台各种存储环境中的数据进行静态脱敏，将数据脱敏到结构化、非结构化文件或数据库，实现对数据进行基于场景的动态脱敏，保护敏感信息确保数据在使用过程中的安全性。
数据静态脱敏：支持文件到文件、文件到库、库到文件等不同形式的异构数据源间的静态数据脱敏，需支持HADOOP结构化文件、半结构化文件、非结构化文件和压缩文件、传统数据库和NoSQL型数据库，支持txt、excel、csv等常见文件格式。
脱敏任务管理：提供统一WEB控制台进行静态任务的配置，脱敏任务中包括源数据选择、目标位置选择、脱敏策略配置等内容。通过统一web控制台进行任务的创建、配置、编辑、删除和执行，实现暂停执行和继续执行控制，并跟踪脱敏任务的执行进度。创建的脱敏任务通过调度器，根据业务需要在后台定时执行。
脱敏接口：提供静态数据脱敏任务创建API接口、任务执行api接口、任务进度查询api接口。其他子平台平台可以通过接口调用的方式，来完成对敏感数据进行静态脱敏处理。
数据动态脱敏：支持Hadoop大数据组件的动态脱敏服务，对实施人员后台访问敏感数据过程中进行实时脱敏；支持业务系统web页面中的敏感数据进行脱敏处理，当业务人员访问业务系统web页面时，根据业务需要对页面中存在的敏感数据进行脱敏处理。
可定制脱敏规则：提供脱敏规则管理功能，可以根据不同的数据脱敏场景，为每个脱敏任务配置个性化的数据脱敏规则；内置常见的脱敏规则算法：姓名、手机号、地址、银行卡号、生日等等；可根据常用场景配置脱敏规则策略模板，减少人工配置工作量，提升效率；
统一的分类分级管理
分类分级规则管理：支持不同用户可定义不同的分类分级规则，规则支持多条件组合，如敏感数据类型、特定类型数据的数量等；
分类分级扫描：支持基于分类分级规则发起分类分级扫描，确定扫描对象的安全分类分级；
分类分级结果上报: 对分类分级扫描结果实时或定时上报数据治理子平台和数据智能管理子平台，形成分类分级属性或标签。
统一的加密秘钥管理
部署统一密钥管理系统提供密钥管理服务，各子平台与秘钥管理系统进行密钥管理通信，之后对存入的敏感数据调用指定密钥进行加密保护。
安全密钥生成：密钥采用由国家密码管理局批准使用的物理噪声源产生器芯片生成的随机数。密钥生成后由加密卡中的内部密钥加密后存储。支持SM系列的密钥生成与管理，支持对称算法及非对称算法密钥生成与管理。
秘钥生命周期管理：提供对称密钥、非对称密钥、证书、模板等加密对象的状态管理和属性管理。完成对加密对象的生成、存储、激活、更新、归档、注销、销毁等安全生命周期管理操作及加密对象属性的获取、添加、修改、删除等操作；
密钥安全传输：客户端密钥获取支持SSL、用户名口令及wrapping key等多种认证及加密方式，几种方式可灵活组合配置。保证敏感信息在经过网络传输过程中的安全性，避免接口通信信息泄露、中间人攻击、重放攻击等可能性。
加密解密运算：对于敏感数据加密上层应用系统可指定密钥标识通过密钥管理系统完成数据密码运算，秘钥管理系统中的密钥不会暴露在系统之外，保证密钥的安全；
备份/恢复：支持用户密钥、模板、证书等重要数据的备份/恢复机制，用户可方便的在Web管理界面完成密钥备份操作，导出加密文件在本地妥善保存。
统一的安全审计分析
采集大数据能力平台基础环境网络安全设备日志和各子平台的操作系统日志、应用日志，按照合规要求进行集中存储和审计分析，对关键边界流量进行采集分析，发现网络安全和数据安全风险。
安全日志采集：支持对网络安全设备日志、操作系统日志、大数据能力平台各系统应用日志的采集。支持采集节点通过Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等协议主动采集数据或者Syslog、Webservice、Flow等协议被动接收数据；
安全日志存储：支持安全日志的分布式存储，能够满足至少6个月的日志存储要求；
安全日志处理：支持基于业务需要对采集到数据类型进行统一格式化处理，满足存储层数据格式定义的要求；支持对需求扩展字段内容的补全，关联补齐后形成完整的数据，能够丰富数据以便于后期的统计分析；
安全日志检索：支持以多种组合条件的安全日志查询检索，支持使用lucene语句进行高级查询检索；
安全日志分发：支持以JDBC、RESTful、消息订阅、分布式文件等共享方式将安全日志按需进行分发以满足外置的安全分析审计需求；
安全日志分析：通过风险识别规则的设定，对安全日志进行集中审计分析安全风险。支持针对所包含的关键信息提取出来构成审计的规则项进行分析的关键字分析；支持基于操作者、时间、地点、发生次数进行统计与分析的统计分析规则；支持组合判断多个事件判断操作行为性质，发掘隐藏的相关性，发现可能存在的违规行为的关联分析规则。需结合实际业务情况，完成网络攻击、权限管理操作、敏感数据访问、异常数据操作、潜在数据泄露等关键场景的分析规则设定。
安全流量分析：部署流量探针接入关键边界流量数据，进行异常流量检测并联动威胁情报信息发现僵尸、木马、蠕虫、挖矿病毒、勒索病毒以及其他恶意程序和恶意攻击行为，并提供网络取证和流量还原能力。
安全事件处理：支持对发现的安全风险进行告警，支持通过自动和人工的方式进行事件分级分类和分析研判，消除无效告警，并对告警合并。通过搜索、列表、详情等方式对已确认与未确认的告警进行展现，同时对未确认的告警进行确认操作，确认完成后进行数据归档。
安全分析报表：支持对审计结果、告警信息根据自定义的模板，生成安全分析报表并支持导出
