高性能存储机制在视频监控中的应用与挑战：视频汇聚EasyCVR管理平台存储详解

随着科技的飞速发展和社会的不断进步，视频监控已经成为现代社会治安防控、企业管理和家庭安全不可或缺的一部分。而视频监控存储技术，作为整个视频监控系统的关键环节，其性能与可靠性直接影响着监控数据的保存、查询和分析。随着监控摄像头的使用越来越广泛，视频监控存储技术也变得越来越重要。

一、视频监控存储技术的现状

目前，视频监控存储技术主要包括本地存储和网络化存储两种方式。本地存储以数字硬盘录像机（DVR）为代表，它通过在设备内部设置硬盘，将监控图像数据按照盘符顺序依次写入硬盘。这种存储方式具有设备便宜、维护成本低等优点，因此在一些对数据安全性、实时性要求不高，传输量较小的视频监控系统中得到了广泛应用。然而，本地存储也面临着数据分散、存储量小、无法在线扩容等问题，这在一定程度上限制了其应用范围。

随着互联网的发展，网络化存储逐渐崭露头角。网络化存储利用网络技术，将存储设备与计算机或其他设备连接起来，实现数据的集中存储和管理。这种存储方式具有部署灵活、访问简单、支持大容量存储等优点，因此在构建新一代视频监控系统时备受青睐。网络视频监控系统的存储部分也开始走向网络化，使得用户在存储的部署和访问上更加便捷。

二、视频监控存储技术的发展趋势

1、高清与超高清技术的应用

随着对图像质量要求的不断提高，高清（HD）和超高清（4K、8K）摄像技术逐渐成为视频监控的主流。这种高分辨率的摄像机能够更准确地捕捉细节，为监控系统提供了更丰富、更清晰的图像数据。然而，这也对存储技术提出了更高的要求，需要存储系统具备更高的性能和更大的容量，以应对日益增长的数据量。

2、智能视频分析和人工智能技术的应用

人工智能技术的快速发展为视频监控存储技术带来了新的机遇。通过利用人脸识别、行为分析、车辆识别等智能视频分析功能，监控系统能够更智能地处理和分析图像数据，提高监控效率和准确性。同时，人工智能技术还可以帮助优化存储策略，实现数据的自动分类、压缩和备份，降低存储成本并提高数据安全性。

3、云存储技术的应用

云存储作为一种新型的存储方式，具有弹性扩展、高可靠性、易于管理等优点。将视频监控数据存储在云端，可以实现数据的远程访问和共享，方便用户随时随地查看和管理监控数据。同时，云存储还可以提供强大的数据备份和恢复功能，确保数据的安全性和完整性。

在这里不得不介绍视频汇聚系统EasyCVR视频安防综合管理平台的录像及存储功能。

安防视频监控EasyCVR视频汇聚管理平台是TSINGSEE青犀旗下一款支持多流媒体协议接入、兼容多类型监控源设备的视频监控综合管理系统 。EasyCVR平台能在复杂的网络环境中（专网、局域网、广域网、VPN、公网等）将前端海量的设备进行统一集中接入与视频汇聚管理，可兼容Windows系统、Linux系统以及国产化操作系统等。

EasyCVR平台支持对接入的固定摄像头进行录像回放。服务端录像回放分为两种存储方法：服务器本地存储与对象云存储。视频汇聚EasyCVR安防监控平台特点如下：

• 视频汇聚管理：智慧安防监控EasyCVR视频管理平台能在复杂的网络环境中，将前端监控设备统一集中接入与汇聚管理；
• 多协议接入：支持国标GB/T28181协议、RTMP、RTSP/Onvif协议、海康Ehome、海康SDK、大华SDK、华为SDK、宇视SDK、乐橙SDK、萤石云SDK、GA/T 1400协议等；
• 24小时监控：支持7*24小时实时高清视频监控，能同时播放多路监控视频流，视频画面1、4、9、16个可选，支持自定义视频轮播；
• 流媒体分发：能对外分发RTMP、RTSP、HTTP-FLV、WebSocket-FLV、HLS、WebRTC、ws-fmp4、http-fmp4等视频流，支持在多终端设备上观看；
• 录像回放与存储：支持视频录像、存储、回放功能，可通过调阅视频录像查看现场事发经过，将视频录像作为追溯责任的证据；
• GIS地图：可根据设备的地理位置信息，在地图上实现可视化、空间化点位布局展示、调阅视频；
• 系统运维管理：具备权限/用户/角色管理、设备分级分组管理、鉴权管理、服务器集群等管理能力；
• 拓展性：平台提供标准的API接口，方便进行开发和集成。

三、视频存储高性能机制

1、自适应条带化

条带化是传统的RAID0模式采用的一种实现技术。条带化技术的普遍定义是将一块连续的数据切分成很多个小的数据块，然后并发地存储到不同物理硬盘上，实现对数据进行写入或读取时可以获得最大程度上的I/O并发能力，从而获得优异的性能。

经过条带化处理的数据可以并发地写入到三块磁盘，而未经条带化处理的数据每次只能写入到一块磁盘中，因此数据经过条带化后的写入性能则是未经条带化的写入性能的3倍。

2、智能缓存

存储系统通过存储缓存机制提供冷热数据分层能力：

• 将热数据存储在高速缓存层（如SATA固态硬盘、PCIe固态硬盘等），以保证访问热数据时能够快速返回成功。
• 定期将缓存层上的冷数据回刷至底层机械硬盘（HDD），腾出空间使得业务数据写入时无须等待即可快速写入缓存层。

缓存机制相比传统存储的缓存机制有以下几点优势：

• 降低数据写入开销，减少SSD损耗：缓存分层可同时提供写缓存与读缓存能力。
• 分层作为写缓存：数据写入时，分层可作为写缓存使用。
• 分层作为读缓存：当业务读取数据时，分层可作为读缓存使用，此时上层业务可以直接从分层中读取缓存数据，整个过程数据仅需写入一次，写入开销比传统缓存机制降低一倍。

3、高性能文件分层

支持配置高性能文件分层模式，通过RDMA协议构建高性能低时延存储集群，并在关键IO路径上结合轮询与共享内存机制降低读写时延。

高性能文件分层模式选用RDMA网络和NVMeSSD的硬件模型，RDMA网络可降低存储读写时延，NVMESSD可保证在高吞吐场景下的读写带宽。

4、文件特征名预读

在使用文件系统的场景下，存储可以通过特征名预读机制对上层应用性能进行深度优化：

通过提取文件的特征（包括文件名、大小、类型、目录位置等等），再结合人工学习算法，预测上层业务对文件的访问行为，提前将文件缓存到内存中加速访问速度，提供应用级性能优化。

5、智能小文件合并

传统存储在承载海量小文件的业务场景下存储系统的元数据服务会面临性能瓶颈（如地理测绘、人脸识别等业务场景通常会产生KB级别的小文件），大量的随机小文件写入存储系统时，会造成大量的写入放大问题，并且由于机械硬盘的随机IO速率远远低于顺序写入速率，会导致存储的写入效率低下。

通过智能小文件合并技术，对海量小文件场景下的性能进行了深度优化，可以有效提升数据写入效率。

• 上层业务产生大量随机小文件，向存储层随机写入大量小文件；
• 缓存层对小文件进行合并操作，将随机的小文件合并成大块顺序文件；
• 将合并完成的大文件数据从缓存层顺序写入存储底层数据盘，提高写入效率。