视频大数据技术的应用以及存在的隐私泄露问题
现代社会的信息量正以飞快的速度增长，这些信息里又积累着大量的数据。预计到2025年，每年产生的数据信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理，以获取更多有价值的信息。在未来的“智慧城市”中，会有越来越大的结构化以及非结构化的数据。那么我们如何高效地存储和管理这些数据，如何分析这些数据呢？答案是，我们需要强有力的大数据处理系统进行支撑。
作为目前最火热的词汇之一，大数据在各个领域都已有了较为成熟的应用。在视频监控领域，大数据时代正悄悄来临。在城市安全、交通管理中将部署大量的视频监控设备，这些视频监控设备将产生大量的视频及其相关的数据，如交通卡口数据达到十亿条甚至更大级别，人脸库数据量达到千万条甚至更大级别。针对如此大级别的数据量，当前系统会逐渐暴露出数据检索速度越来越慢；数据统计、分析效率越来越低等问题，这些问题都需要一个成熟的技术来解决。
随着“智慧城市”中城市安全、智慧交通等的迅速发展，城市中非结构化的数据量越来越大。视频大数据技术侧重帮助各类客户从日趋海量的非结构化视频数据中快速发掘高价值的信息，协助客户提升其决策的效率和精准度。因此，视频大数据的处理好坏成了客户关注的焦点，视频大数据的处理技术也成了厂家能力的体现。针对“智慧城市”建设中大量视频数据的快速检索、统计分析的需求，海康威视等视频领域的领军企业已有了成熟的视频大数据的解决方案，目前已应用多个“智慧城市”的建设中。
一、视频大数据平台技术
针对结构化或半结构化数据的数据量特别大的场景，大数据平台作为应用平台的支撑平台，提供海量数据的高效处理能力。通过大数据平台，应用能够对这些数据进行高效地存储、检索(秒级)、分析和统计，切实地提高效率，提升用户体验度。
视频大数据平台一般以分布式集群的方式进行建设，集群能够对数据处理进行负载均衡，同时，集群能够方便地进行扩展，能够通过增加集群节点来提升平台整体性能。数据存储需要考虑以下几个方面：一、哪些数据需要保存到视频大数据平台；二、如果对原有系统进行改造，原有系统中已存在的那些数据该如何处理；三、如何保证数据的可靠性。视频大数据平台采用分布式计算，同时结合内存加速、负载均衡、本地处理，提供高效的数据计算能力。
视频大数据处理系统，在应对视频大数据处理中的存储问题，采用了分布式存储方式，提高了读写速度，并扩大了存储容量；在应对视频大数据处理中的计算问题，采用分布式计算系统，提高了数据分析和挖掘能力。视频大数据处理系统总体架构如下图所示，包括资源层、平台层、应用层三个层次。
视频大数据处理系统总体架构
资源层：包括IT基础资源、数据资源、视频资源等。能够产生、存储、处理海量数据的资源如过车数据、人脸数据、案事件数据等。
平台层：即视频大数据平台，包括数据存储、数据处理、数据迁移、集群管理等功能，同时为上层应用提供接口。视频大数据平台地位类似于数据库，但是它比数据库的处理能力要强大很多，可以对海量数据进行处理。
应用层：基于视频大数据平台提供的高效数据处理服务，行业应用平台(公安、交通、司法、能源、教育等)能够为用户提供海量数据的高效存储、检索、分析和统计等功能。
二、视频大数据技术在智慧交通中的应用
在智慧交通的道路交通应用中，卡口过车数据呈爆炸式增长。对于一个城市，每个卡口每天会经过成千上万辆车，假设一个城市有1000个卡口，每个卡口每天平均过车记录数为10000次，需要对一年内的数据进行处理，则过车记录总数为36.5亿。当卡口过车数据规模达到十亿级别甚至更大后，当前系统的运行速度越来越慢，过车信息检索、研判和分析的耗时越来越长，用户体验越来越差。使用传统的关系型数据库解决方案会使效率大大降低，或者在保证效率的情况下，会使软件、硬件投入成本大大增加，如采用小型机等。针对此类场景，可采用大数据技术，数据量特别大的过车数据由视频大数据平台来处理，视频大数据平台可提供足够大的内存和本地存储，同时，采用分布式计算，各节点并行进行计算，极大地提高数据处理的能力。视频大数据平台具有系统可靠、数据安全、数据处理能力高效、投入成本低、扩展能力强等特点。
交通卡口大数据应用设计如下图所示：
交通卡口大数据应用示意图
交通卡口大数据应用的不同之处在于后端子系统的设计。传统方案中，只有一个智慧交通平台；而大数据方案中，智慧交通平台之下多了一个视频大数据平台，海量的过车数据存储于视频大数据平台中，大数据平台为上层平台提供海量数据的高效处理服务。以10亿条数据为例，在检索、研判和统计分析等应用中传统方案检索时间是分钟级，采用大数据技术检索时间可以达到秒级。基于视频大数据平台，智慧交通平台实现了高效的检索、分析、统计等功能，能够为用户提供更好的服务。以下是目前可实现应用功能主要功能：
1.快速检索
能够根据精确条件/模糊条件快速查询出过车数据记录。大数据方案可以从数十亿条数据中快速筛选出目标过车记录，提高交通管理部门的执勤效率。
2.研判分析
研判分析包括频度研判、特定时间段车辆研判、初次入城、行车轨迹、跟车研判等应用。大数据方案可以迅速及时的发现事件信息，提高交通管理部门的快速响应能力。
3.统计分析
统计分析包括车流量统计、车流量对比、车辆违法统计、特定时段车流量、行车轨迹统计等应用。大数据方案可以实现更大范围的交通流量数据统计，可以更加全面完整的反应一个城市的交通状况，为交通管理部门决策提供数据支撑。
三、视频大数据技术在智慧安全中的应用
在智慧安全的案件侦缉等应用中，经常需要进行人员信息的查询，人员信息库中的一个重要组成部分是人脸库，人脸库包括人员的基本信息、头像图片以及根据头像建模而得的人脸特征向量。其中案件侦缉中一个重要的应用是人脸检索，即从视频图像中提取人带人脸的特征向量跟人脸库中的数据进行比对，查询出来此人的基本信息。当人脸库数量达到1000万级别甚至更大后，目前人脸检索方式会出现瓶颈。因为在人脸的检索过程中需要检索整个人脸库，需要将整个人脸库导入到内存中以提高检索效率，对服务器内存要求高，而当前大多人脸检索方案不支持集群架构，只能增加单服务器的内存以满足需求，容易出现瓶颈。针对此类场景，可采用人脸检索的大数据解决方案，人脸库保存于视频大数据平台中，视频大数据平台采用集群架构，并且可平滑扩展，可以提供足够大的内存，同时，采用分布式计算，各节点并行进行计算，极大地提高数据处理的能力。
人脸检索大数据应用设计如下图所示：
人脸检索大数据方案示意图
人脸检索大数据应用的不同之处在于后端子系统中加入了视频大数据平台。智慧安全应用平台为用户提供人脸检索功能；视频大数据平台存储人脸库数据，进行高效的人脸分析比对，为应用平台提供人脸检索服务。以1000万条数据为例。如果传统的方式数据库需要管理员进行手动的分库分表操作，随着数据的增长维护工作量会越来越大，同时也很难保证系统的正常运行；采用视频大数据技术可以轻松的做到系统的横向扩展，保证系统高效的运行。基于视频大数据平台，智慧安全应用平台能够为用户提供快速的人脸检索功能。
四、隐私问题分析：
从以上视频大数据架构可以看到，智慧交通是可以通过海量视频数据分析定位车辆的轨迹行踪的，而智慧安全可以进行人脸匹配，同样可以跟踪人员位置信息，如果进行合理的安全防护，极有可能被恶意利用进行攻击。比如，通过系统跟踪分析某人员经常上下班的路线进行劫持，分析某人员进场进出的场所判断该人员的作风、习惯等，并精准实施诈骗、推销等，在某种程度上来讲，已经不仅仅是信息泄露的问题，甚至已经有可能危害到人身安全。
五、防范建议：
1、数据安全：即保证原始数据的保密性、完整性和可用性，具体可参考本人另外一篇文章：http://www.cnblogs.com/fishou/p/4220989.html
2、隐私安全：(1)、做好上层应用对原始数据的严格权限区分。公安部、交通部、教育部等部门可能都使用同一份原始视频数据，但是具有不同的目的和需求，在设计时应予以区分对待。比如：公安部实施犯罪分子人脸识别和定位，则该部门在查看原始视频时可以包含完整的人脸数据而对其它无用敏感数据进行屏蔽或干扰。因此，公安部的应用可以包含对人脸检索和分析的功能但不包含其它多余的功能（比如：车辆检索）。而交通部可能更关心车牌信息以及相关的统计和定位，则该部门可以在查看原始数据时包含车牌信息，同样对其它不需要的敏感信息进行屏蔽和干扰，并可实施对车辆的大数据分析但不包含不必要功能（比如：人脸识别）。这里也体现了一种安全设计中的“最小权限”权限原则，即只赋予能够完成任务的最小权限，这里的“权限”即提供的信息。(2)、进行敏感操作时的认证要求。进行大数据统计后的结果体现了直接的隐私信息，因此如何避免该功能被恶意利用和滥用显得非常重要。比如：公安部对人脸识别的功能属于敏感操作，因此，在执行该操作时应当需要更多的认证因素来确认使用者的身份信息。
3、关于加密：视频流不像普通的文本流，其消耗资源是相当大的，如果直接对原始视频流加密存储，必定对系统造成一定程度影响，增加成本。根据以上场景，我们可以考虑将涉及隐私的数据单独切割加密，比如：人脸和车牌数据。这些数据由会使用到的部门单独加密，用不到的部门将无法解密查看。而不牵涉到隐私数据的视频可直接明文存储，这些数据仍然可进行大数据分析和统计。比如：客流和车流统计。
