http://www.sohu.com/a/163668318_465914
天津市公安局云计算平台项目分为：大数据部分、虚拟化部分、数据库部分，软件开发部分，预算分别为：2350万、3380万、2350万、2700万、合计1.078亿元。
目前数据库部分中标结果已经公布，详情：IBM、华为、柏科中标天津公安云平台（数据库部分：2098万）
中标供应商：厦门市巨龙信息科技有限公司
中标金额：2,198.5万元
项目需求书
一、项目背景
(一) 项目背景
云计算是信息技术发展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋势，云计算引发了软件开发部署模式的创新，成为承载各类应用的关键基础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基础支撑。
近年来，公安部门主导的城市智能感知网建设飞速发展和云计算技术的日趋成熟，为开展云计算、大数据深度挖掘分析、警务业务系统流程改造打下了基础。为了提升公安各级信息中心的整体支撑能力，集约化建设、集中化管理统一的云基础设施环境，并在此基础上开展数据深度应用，公安部统筹规划了在全国公安系统内建设部省两级云计算服务平台的总体目标。
公安部明确指出：按照《公安部关于大力推进基础信息化建设的意见》（公通字〔2015〕18号）的要求，部、省两级公安机关信息中心要抓紧建设具有大数据处理能力的公安云计算设施。省级公安机关科信部门要在公安部科技信息化局指导下，加强顶层设计和统筹规划，建设覆盖全省（自治区、直辖市）的公安云计算设施，面向本级及以下公安机关业务应用提供统一资源和服务。
我局为了落实公安部要求，按照市局信息化建设顶层设计，自2017年开始，市局不再批准各警种购置运行于公安网环境的各类硬件设备，由市局信息中心建设的云计算服务平台统一提供所需资源。由市局建设一个物理集中建设、逻辑分散应用、管理透明可见的云计算服务平台，采用先进的云计算、大数据、物联网技术，统筹各类设备资源，加强管理，充分提高设备利用效率，为各单位开展信息化建设提供支撑服务。
着眼于天津公安未来业务工作的需要，越来越迫切的需要一个基于云计算、大数据技术架构的平台，以实现全局IT资源的大整合，实现各类数据的大集中，充分利用云计算和大数据技术的高性能、高可用、高扩展的优势，为公安打造情报指挥、破案打击、治安防控、社会管理、执法监督、综合服务等大数据综合平台。
本项目建设的平台应能够部署在通用X86架构PC服务器集群，应用部分部署在虚拟服务器环境。网络环境为双万兆数据互联、千兆管理互联。大数据集群出口带宽为万兆。
(二) 建设目标
通过本项目构建天津市公安局云计算、大数据技术与服务体系架构，实现网络、存储、安全、数据、计算等各类软硬件资源的整合；构建信息深度共享、业务高效协同的公安大数据信息资源服务体系，强化海量数据的深度挖掘能力，为情报预警、打击犯罪、社会治理、服务公众等业务提供大规模并发数据的云服务能力，实现全局大数据计算能力共享，大数据计算服务全警覆盖；构建大数据示范应用平台，开展基于反恐维稳、打击犯罪、社区警务等重点业务领域的大数据预警预测分析破题应用，引领公安工作向主动警务、智慧警务发展。
(三) 项目建设内容
按照市局信息化顶层设计，云计算服务平台建设主要内容是：
（一）搭建云计算基础设施。建设纵向完整的各类网络、安全、计算、存储设备等基础硬件资源池，具备横向扩展能力。
（二）构建云操作系统，提供平台化服务。在基础设施云上部署云操作系统，面向业务系统提供云安全服务、负载均衡服务、虚拟计算服务、对象存储服务和大数据计算处理服务。
（三）搭建云计算数据资源中心。基于云平台基础架构体系，整合构建包含结构化、半结构化和非结构化数据的综合数据资源中心，完成数据的汇集、清洗、加载，管理数据处理流程，按应用需求完成数据格式转换，对数据进行预处理，建立各类专题库。
（四）建设开展云计算应用中心。运用大数据和云计算技术，结合公安业务应用需求，广泛开展面向全警的大数据智慧应用。创建五要素标签应用体系，将各要素进行数字化描述，根据已知推定未知，开展预测预警预防的破题应用。
（五）建设云计算安全保障体系。根据云计算平台的特点，评估云计算安全风险，明确安全需求，对云基础设施、云计算服务、数据资源、应用服务、用户等实施分层级、分类别、分授权管理，重点从云平台、云边界和云应用三个方面保障云计算安全。
（六）建设云计算标准化管理体系。对实时汇聚的海量数据进行标准化处理，并将标准化管理推向数据生产环节。
（七）建设云计算运维管理体系。包括云计算服务平台软硬件自动运维管理、与现有运维系统对接，以及运维监测处置。
（八）制定云平台相关管理规范。围绕云平台提供的服务内容，逐步形成云平台相关管理规范。
*二、验收要求
项目验收按照《软件需求说明书》执行。验收的内容包括：
-
系统功能：按照需求书的要求，检查系统功能是否达到设计要求。
-
系统性能：按照需求书的性能指标，测试系统指标是否达到设计要求。
-
文档资料：检查系统设计文档是否齐全、是否合格。
中标供应商所提供的软件系统需要经采购人认可的具备CNAS资质的第三方评测机构进行软件测评，费用由投标人承担。中标供应商所提供的软件系统的软件测评结果须达到采购人质量管理标准，通过软件测评并提交相应测评报告以此作为该项目最终验收的依据之一。
三、技术需求
第一包：天津市公安局云计算服务平台软件系统
|
序号 |
采购项名称 |
技术要求 |
单位 |
数量 |
|
1 |
大数据基础平台 |
采用成熟的云计算技术和大数据技术，实现计算资源、存储资源、网络资源等的统一配置和管理，为云平台的高效稳定运行提供核心云计算服务和大数据计算服务。 详细需求请详见“大数据基础平台台技术要求” |
套 |
1 |
|
2 |
云平台应用系统 |
为天津市全警提供基于云计算和大数据技术开展建设的各类业务应用和分析应用，针对当前天津市局的业务需求，本次云计算服务平台建设的业务应用包括大数据智慧警务示范应用、专业警种大数据应用以及现有应用上云（如天地E搜系统，天地E档系统，天地E控系统）等。 详细需求请详见“云平台应用系统设计要求” |
套 |
1 |
|
3 |
云应用支撑平台 |
云应用支撑平台是整个云计算服务平台的应用支撑系统，通过建立统一的数据、应用服务管理机制，提供丰富的数据及应用服务接口，支持跨系统及全平台的数据及应用访问服务，除系统内部的数据应用服务外，其他数据应用服务都通过服务层管理平台进行统一调配。同时提供统一的权限管理、身份认证、安全审计、消息服务、PGIS服务等支撑性应用服务。 详细需求请详见“云应用支撑平台设计要求” |
套 |
1 |
|
4 |
云数据库 |
云数据库负责存储和管理云计算服务平台的数据资源。云平台的信息资源规划和数据库设计主要内容包括数据接入及处理，数据上云以及针对数据展开的数据集成和数据管理。 详细需求请详见“云数据库技术要求” |
套 |
1 |
(一) 项目总体设计要求1.1 技术路线要求附件一：天津市公安局云计算服务平台软件系统详细技术需求
本次天津市云计算服务平台建设采用先进、成熟的技术路线，主要包括：
-
采用当前主流云计算和大数据应用技术；
-
采用多种数据库相融合的技术架构；
-
采用SOA（面向服务架构）体系规范设计；
-
使用JAVA语言按J2EE规范进行系统研发；
-
采用成熟的数据建模技术设计；
-
采用组件化模式开发技术；
敏感信息处理设计
因本项目设计大量的公安行业敏感数据，要求投标人详述针对本次项目采取的敏感信息处理设计方法。
1.3 总体架构设计
天津市公安局云计算服务平台总体架构设计遵循面向业务需求的设计思路，以云计算和大数据技术为关键支撑，以服务实战应用为根本目标，构建统一的IT基础设施资源池，为天津市警务应用系统提供敏捷、可靠、安全、弹性的IT基础设施服务，系统架构具备良好的可扩展性，保证云平台业务动态扩展和新业务快速上线。
天津市公安局云计算服务平台遵循“业务主导、先进实用；统一规划、分步实施；规范管理、保障安全”的建设原则，以可扩展的融合架构、云操作系统、大数据技术、分布式云数据中心架构，构筑云计算服务平台的架构、实现对高智慧、高性能、高可用、弹性、敏捷、安全数据中心的支撑。
天津市云计算服务平台按照基础设施层、数据层、支撑层、应用层进行纵向分层设计，辅以云平台标准规范体系、安全体系、项目管理体系与运维保障体系提供支撑。
应用层
应用层主要为天津市全警提供基于云计算和大数据技术开展建设的各类业务应用和分析应用，针对当前天津市局的业务需求，本次云计算服务平台建设的业务应用包括大数据智慧警务示范应用、专业警种大数据应用以及现有应用上云（如天地E搜系统，天地E档系统，天地E控系统）等。
支撑层
支撑层是整个平台的运行和服务支撑，通过建立统一的数据、应用服务管理机制，提供丰富的数据及应用服务接口，支持跨系统及全平台的数据及应用访问服务，除系统内部的数据应用服务外，其他数据应用服务都通过服务层管理平台进行统一调配。同时提供统一的权限管理、身份认证、安全审计、消息服务、PGIS服务等支撑性应用。
数据层
数据资源是云平台的核心资产，数据层的建设内容包括上云数据的综合治理（包括数据汇集、同步、整合、管理等），以及围绕掌握的数据资源建设云平台大数据资源库，大数据专题库，模型基础库，配置库和数据元库。
基础设施层
基础设施层是云平台的基础设施支撑层，采用成熟的云计算技术和大数据技术，实现计算资源、存储资源、网络资源等的统一配置和管理，为云平台的高效稳定运行提供基础硬件保障，同时提供核心云计算服务和大数据计算服务。
项目管理及标准规范体系
围绕云平台建设，标准体系由总体标准、数据标准、信息服务标准、应用支撑标准、网络基础设施标准、信息安全标准和管理标准等部分组成。
运行维护和安全保障体系
系统运行维护管理主要包括用户管理、日志管理、监控管理、配置管理、运维管理等，通过统一的监控平台对主机系统、网络、应用程序和数据库进行集中管理；安全保障贯穿系统整体结构中的各个层次，包括系统安全、网络安全、数据安全和应用安全等。
1.4 平台技术指标要求
1.4.1 云平台基础设施性能指标需求
分布式文件系统
-
支持15PB以上的扩展能力，随需扩展，系统不中断
-
系统性能可以实现线性增长，支持85GB/s系统吞吐
-
具备单一命名空间和单一存储池
-
可实现高密度、灵活的数据保护
-
数据分级存储，具备高性价比
NoSQL数据库
-
从数据源（如SFTP）导入到HBase,平均每节点的导入速度15 MB/s。
-
100%随机读：平均每节点读取记录条数30000条（每条记录1KB），响应时间<50ms。
-
100%随机写：平均每节点写入记录条数35000条（每条记录1KB），响应时间<50ms。
-
顺序扫描：平均每节点scan记录条数10000条（每条记录1KB），响应时间<50ms。
分布式关系型数据库
-
支持单表最多1600字段；支持单字段最大长度1GB；支持表最大分区数32k；支持单分区最大容量128TB。
-
数据导入单节点60MB/s，数据导出单节点200MB/s,集群整体导入/导出性能随节点增加线性增长。
-
顺序表扫描单节点性能1.2GB/s，扫表性能随节点增加线性增长。
-
行存压缩比3:1，列存压缩比10:1。
-
600亿条记录(15TB)精确查询，结果集10万条记录1秒内返回（点查询，索引扫描，随机IO）。
-
600亿条记录(15TB)使用50个不同条件并发查询，每个查询的结果集1000条记录1秒内返回。
-
亿级大表与十万级小表关联查询，响应时间<5秒。
分布式全文索引计算
-
入库：单节点 > 8000条每秒；
数据库资源池
-
采用64位RISC处理器，同时支持UNIX/Linux操作系统。
-
可以实时监测内部主要部件的状态，包含CPU、内存、PCI槽、分区等信息，支持SNMP协议。
-
支持虚拟化功能，且各虚拟主机以共享的方式使用CPU、内存、网卡、光纤卡等资源。
-
各虚拟主机资源可以动态地调整（增加和减少）。
-
可以实现分区在不停机的情况下动态从一台物理服务器迁移到另一台物理服务器。
1.4.2 云平台应用系统性能指标需求
大数据同步指标
-
数据从Oracle同步到Mpp数据库和HBase，抽取效率≥300GB/小时。
大数据资源服务总线运行指标
-
单总线节点可以满足1000万/日的请求访问；
-
单节点最大支持1000/s的并发访问；
-
请求响应时间（服务总线自身计算时间）<=1秒；
-
正常运行率>99%；
-
总线节点支持集群部署；
并发性指标
-
搜索和分析操作，并发数达到1000；
稳定性指标
-
搜索和分析各30次操作，准确率99.9%；
搜索查询指标
-
搜索查询并发<1000时，响应时间<2秒；搜索查询并发<2000时，响应时间<3秒；
比对分析指标
-
1000万条与1000万条数据比对碰撞，响应时间≤1秒；
-
1亿条与1亿条数据比对碰撞，响应时间≤3秒；
-
单人关系网络分析（确定关系模型），2层展现，响应时间≤2秒；
-
两人六度关系挖掘（确定关系模型），最大4层间接关系，响应时间≤3秒；
项目详细设计要求
大数据基础平台技术要求：本项要求投标人提供成熟产品
|
1、大数据平台集群及管理节点(282节点)： |
||
|
序号 |
指标项 |
参数要求 |
|
1 |
开放兼容 |
厂商大数据平台软件需提供Apache开源社区Hadoop 2.7及以上版本，需提供厂商平台组件版本号，提供证明材料。 |
|
提供不少于HDFS、MapReduce、Hive、Spark、Solr、HBase、Hive，Storm等组件，组件内核与Apache Hadoop开源社区版本保持兼容性，不使用私有架构和组件 |
||
|
2 |
基本功能 |
分布式数据库：大数据平台能够提供NoSQL能力，支持聚簇表/聚簇索引，支持将现有数据库中的多个具有相似功能或者存在业务关联的数据表聚簇到一个大表中，从存储层面确保在关键场景下的跨表关联查询的高性能，提供详细的技术实现方式。 |
|
分布式文件系统：文件系统应提供海量文件存储能力，支持亿级文件和PB级数据容量。支持POSIX/REST/FTP接口访问。支持多副本，支持跨机房容灾，支持在某个时间点创建文件系统快照，支持文件系统元数据周期自动备份，支持磁盘异构，支持分级存储。 |
||
|
离线计算：大数据平台提供批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。支持REST/SQL/类SQL接口 |
||
|
内存计算：提供分布式内存计算框架，大数据平台的Spark组件支持1.5及以上版本，帮助开发人员可以较快的分析出Job的执行流程是否合理，从而快速进行优化，支持python调用Spark Core、Spark Streaming、MLLib的接口来编写和提交应用。支持web界面上直接查看日志的功能，使运维更方便。 |
||
|
全文检索能力：提供全文检索能力，支持面向结构化数据、半结构化数据以及非结构化数据的全文索引能力。支持丰富的全文检索语法-支持精确、模糊、通配的搜索方式。融合HBase、Solr组件，对应用层暴露单一API（DDI、DMI、Solr API、HBase API等）），提供详细的技术实现方式。 |
||
|
SQL能力：大数据平台提供基于Hadoop的SQL引擎，完成SQL的解析、计划、优化、执行，数据的并行查询，支持JDBC、ODBC标准接口，兼容Hive的ORC文件存储格式，完全兼容标准SQL 2003语法，并提供基于hadoop平台SQL组件（Hive、Spark等）的统一接入能力 |
||
|
分析挖掘算法：大数据平台具备数据可视化、特征工程、数据建模以及机器算法学习库的功能，支持数据管理、数据探索、特征工程和管理、模型构建和管理、模型应用的全流程分析，支持使用拖拽式、交互式和向导式方式进行数据分析，同时对外提供大数据关系业务建模和关系分析服务能力 |
||
|
3 |
可靠性 |
大数据平台的所有业务组件的管理节点均实现双机HA，业务无单点故障，提供数据跨机房存放能力，提供对集群内服务器硬盘故障自动容错处理，具备硬盘热插拔，故障硬盘的业务恢复时间<2分钟，具备在系统整体掉电恢复后，能够正常恢复业务，并确保关键数据不丢失 |
|
4 |
安全性 |
大数据平台能够支持按照用户需要对HBase和Hive中的数据进行列加密。即可对所有数据进行加密，也可只对部分关键数据进行加密 |
|
支持基于角色的用户权限管理和基于WebUI的统一的用户管理界面，用户访问平台的各个组件的WebUI时支持单点登录，只需要登录认证一次，即可访问其它组件的WebUI |
||
|
大数据平台支持多租户管理，提供大数据统一租户管理平台，实现租户资源的动态配置和管理，资源隔离，资源使用统计等功能 |
||
|
5 |
易用性 |
提供大数据平台的接口文档、二次开发样例和二次开发指南，能指导开发人员完成应用开发；提供一键式软件依赖环境准备，在标准Linux已经安装完成的基础上，提供一键式工具完成大数据平台的OS依赖包的自动安装、磁盘自动格式化与分区挂载、NTP/Kerberos/LDAP基础服务自动配置。 |
|
|
|
提供自研的图形化大数据集成工具，支持在HDFS/HBase与关系型数据库、文件服务器间进行双向数据导入或者导出，同时在数据导入导出过程中，支持对文件进行合并、过滤、编解码格式转换等功能，数据集成工具应支持从SFTP、FTP向HDFS或HBase导入数据，并支持从HDFS或HBase向SFTP、FTP导出数据。 |
|
6 |
可管理性 |
大数据平台提供多租户管理，提供大数据统一租户管理平台，实现租户资源的动态配置和管理，资源隔离，资源使用统计等功能，能够提供模版式的一键安装功能，提供可视化、便捷的监控告警功能，为用户提供界面化的系统运行环境自动检查服务，帮助用户实现一键式系统运行健康度巡检和审计，保障系统的正常运行，降低系统运维成本。用户查看检查结果后，还可导出检查报告用于存档及问题分析，提供多租户管理方案及功能介绍。 |
|
7 |
增强特性 |
要求支持Hive的数据与其他关系型数据库数据进行跨库Join的功能，通过指定格式的建表语句在Hive创建关联关系型数据库的外表，提供这张表可执行Hive的查询功能。 |
|
要求支持Hive on Spark，Hive生成的任务，除MapReduce任务外，还支持生成Spark任务，通过Spark来执行，从而缩短HQL的执行时间。 |
||
|
要求提供统一的API同时访问HBase数据和Solr数据的能力，并将Solr的索引数据应用到HBase的查询中，加速HBase数据的查询。提供更方便的SQL接口访问HBase数据，自动解析SQL的Where条件使用Solr的索引以HBase数据进行过滤加速。要求支持敏感词过滤。每个索引集可以关联对应的敏感词集合，在查询的过程中，Solr服务可以对返回结果进行处理，过滤掉其中的敏感词。 |
||
|
要求提供大数据统一SQL的客户端，实现大数据平台SQL组件统一接入的能力。支持统一接入Hive，SparkSQL，Phoenix(HBase SQL层)，以及可自定义对接符合JDBC接口的其它组件。支持连接统一管理，同一个连接内切换不同的组件运行。实现Hadoop单进程内进程内使用同一个组件驱动不同版本，避免多版本组件并行。提供统一的客户端工具。 |
||
|
要求支持异构集群部署，在集群中存在不同硬件类型的服务器，允许在CPU类型，硬盘容量，硬盘类型，网卡类型，位置上有差异。支持数据存储时，智能感知硬件信息，磁盘可用容量，自动均衡，达到性能合理利用；同时给管理员提供自定义存储数据存储位置的能力，以支持更加个性化的异构存储策略。 |
||
|
支持服务资源周期调整，在共享大数据集群中，多种服务共享使用集群资源，各服务都存在着的繁忙时间段和空闲的时间段。该特性支持在不同的时间段设置不同的服务资源比例，达到集群资源的合理利用。 |
||
|
支持将不同类型的业务数据存储在RAM_DISK、DISK、ARCHIVE、SSD等存储介质。 |
||
|
支持在Spark中直接通过SQL方式访问HBase，方便用户在Spark应用中对HBase中数据的交互处理。 |
||
|
提供高性能、具有持续化能力的Flume Channel，提供图形化Flume配置界面，让用户易于配置Flume的source、channel、sink。支持Flume工作线程自恢复，提升Flume工作的稳定性。 |
||
|
提供机架组感知的副本放置策略，支持指定数据中心存储数据。当部分数据中心故障，存在可靠的数据中心保障系统的高可用性。 |
||
|
8 |
开发服务 |
要求提供至少90人/天的开发支持服务。包括服务组件样例指导、组件接口调用指导、数据导入指导以及表设计的指导。 |
|
9 |
配置及服务 |
*本次实际配置282个节点软件授权永久许可，3年软件维保服务 |
|
2、大数据流处理集群 |
||
|
序号 |
指标项 |
参数要求 |
|
1 |
基本功能 |
提供内存数据库Redis，版本不低于3.0 |
|
提供消息订阅分发组件Kafka。 |
||
|
提供图形化的安装维护管理系统，支持向导式的集群安装 |
||
|
2 |
可靠性 |
包括集群管理系统在内的所有业务组件的管理节点均实现双机HA，业务无单点故障，且集群整体掉电恢复后，能够正常恢复业务，并确保关键数据不丢失。提供相关技术文档。 |
|
支持业务平面和管理平面隔离组网，保证业务可靠性 |
||
|
3 |
安全 |
所有组件均提供权限控制和接入认证能力 |
|
4 |
品牌要求 |
*与大数据平台集群为同一品牌 |
|
5 |
配置及服务 |
*本次实际配置15个节点软件永久授权许可，3年软件维保服务 |
|
3、MPP数据库集群 |
||
|
序号 |
指标项 |
技术规格 |
|
1 |
技术架构 |
采用列存储技术和MPP+Shared Nothing架构，所有节点无共享，对等计算能力； |
|
采用自适应压缩算法，根据不同分布方式和数据类型自动选择最优算法。支持三级压缩选项，压缩比可达1:20； |
||
|
采用全自动维护的智能索引技术，无需人工建立索引； |
||
|
2 |
基本功能 |
符合 SQL 92 标准，支持 CREATE、ALTER、DROP 等 DDL 语法，支持 SELECT、 INSERT、 UPDATE、 DELETE 等 DML 语法，支持单表，多表联合查询； |
|
提供数据库，表空间, 表，索引，视图，存储过程，自定义函数等常用数据库对象的创建，修改和删除操作，支持数据库用户的创建，删除操作，以及用户权限的分配与回收； |
||
|
采用自动高效的并行 SQL 执行计划，充分利用多核 CPU 资源，并行处理海量数据，具有智能的算法适配功能，针对不同的数据分布及特征，会智能地选择不同算法进行处理； |
||
|
提供丰富的集群和数据库管理,监控工具； |
||
|
支持全文检索：1.支持内置（中/英文）全文搜索引擎（支持按词索引、按字索引、字词混合索引的创建）；2.支持全文数据和行列存表关联查询 |
||
|
要求至少支持百TB级的有效存储容量 |
||
|
3 |
系统性能 |
采用基于策略的数据加载模式，集群整体加载速度可达 2TB/h； |
|
系统能够通过增加服务器节点对计算和存储能力进行扩容，支持在线扩展，不中断当前系统的运行，性能线性提升。可扩展节点数量达到百个节点以上规模； |
||
|
4 |
配置及服务 |
*本次实际配置8个节点软件永久授权许可，3年软件维保服务 |
