物联网时代存储告急 边缘存储如何缓解存储压力?

云妹导读:

随着物联网技术与 5G 网络的快速发展,千行百业正在迅速联网化,随之带来的数据量将变得不可估量,存储空间恐将告急,海量数据在哪里分析,在哪里存储,成为相关从业者亟待解决的问题。大家开始寻找新的存储解决方案,边缘存储由此而生。

提起边缘存储,就不得不提到中心存储。“边缘”和“中心”是一对相对概念。传统云计算架构下,存储集群是部署在云服务厂商中心机房的。如京东智联云在全国有北京、上海、广州、宿迁四大数据中心,把存储集群架设在这些数据中心,并通过网络对外提供存储服务,就是中心存储,也就是传统的云存储服务。

如果把存储集群,部署在中心机房以外的区域,也通过网络提供存储服务的,都可以叫做边缘存储。而我们在选择边缘存储部署位置时,会有一定的倾向性。

举个例子,如果我们来存放华北某二线城市里汽车行车记录仪录制的视频,我们肯定会优先选择在这座城市的某个地方部署一个边缘存储服务,不会选择在北京部署。原因很简单,同城上传显然优于异地上传。而如果必须选择在北京部署,还不如直接使用京东智联云的中心存储服务,不需要费事再搭一套边缘存储了。存储集群靠近数据产生地,是边缘存储的一个重要特点。

相对于边缘存储而言,我们如果选择中心存储,有一些问题是不好解决的:

首先,如果我们的业务会在短时间内产生大量数据,这些数据如都需要存下来,那么我们至少要保证数据的上传速度是大于数据产生速度的,否则数据会在本地不断积压,再大的本地缓存也不够。这种对上传响应延时非常敏感的场景,就不太适合把数据存到中心存储了。

其次,当同时产生数据的终端数量非常多时,我们就需要一个非常大的上传总带宽,才能满足高并发上传的需求,而中心机房的带宽是非常昂贵的,成本问题也可能导致我们舍弃中心存储。

最后,一些极端场景需求。如果有监管方面的强制要求,数据只能存放在自建机房,不能存在第三方云厂商的机房里;或者产生数据的终端是在一个局域网中,不通外网,这些情况就肯定无法考虑中心存储了。

边缘存储的部署地点非常灵活,我们可以利用这一特性来规避中心存储的以上问题。如果业务对上传响应延时非常敏感,就把边缘存储部署到离数据产生地最近的位置,甚至可以和业务部署到同一个机房,保证最大的上传速度。如果业务需要一个非常大的总带宽,我们就可以选择带宽成本较低的机房,或者通过部署到本机房或拉通专线,使流量从高成本的公网流量变成零成本的内网流量。

下面,我们从带宽成本、响应延时、数据安全性几个方面,对边缘存储和中心存储两种方案进行对比

细看边缘存储与中心存储对比的几大优势,我们会发现私有云存储也同样拥有。但私有云存储是完全独立部署的,与中心存储没有关系,而边缘与中心是可以互通的,主要体现在以下几个方面:

  1. 元数据可以存储在中心。用户的上传操作可以通过智能调度,上传到最优的边缘节点。而在下载时,用户不需要关心文件存在中心还是边缘节点,由中心自动调度到资源所在的节点;;

  2. 数据可以同步到中心。私有云存储如果遇到集群容量不足的情况,只能通过扩容,增加机器的方式来解决,而边缘存储可以将重要的数据同步至中心,从而实现弹性扩容。考虑这样一种场景:业务产生的大部分数据在存储一定时间后是可以删除的,而也有少量的重要数据,如日志文件等,是需要长期保存的。虽然需要长期保存的数据量小,但从长时间看,总有一天会遇到容量不足的情况。这种场景下边缘存储比私有云存储是有突出优势的;

在我们身边,视频监控无处不在,有商店、银行等商业监控设施,还有违章监控、电子停车等公共监控设施,甚至有行车记录仪、家用摄像头等个人监控设施。每时每刻都会产生大量的视频数据,如果要把监控数据集中存储,比如一个城市的违章监控数据、一个厂区的视频监控数据,就是一个对上传响应延时非常敏感、总带宽非常高的存储场景。

如果使用中心存储方案,存储架构将如下图:

▲视频监控中心存储方案▲

由于中心存储方案上传依赖公网,公网带宽成本高、响应延时敏感的痛点暴露无遗。

而如果使用边缘存储方案,存储集群可以部署到视频处理集群所在机房,从视频处理集群到存储集群不再依赖公网:

综上所述,视频监控场景大概是最适合边缘存储的场景了。随着物联网的迅猛发展,在边缘产生的数据将越来越多,由此产生越来越多的边缘存储和边缘计算需求和场景。

欢迎大家通过工单或京东智联云客服 400-615-1212(7*24 小时),联系我们使用京东智联云边缘存储。

推荐阅读:

欢迎点击京东智联云,了解开发者社区

更多精彩技术实践与独家干货解析

欢迎关注【京东智联云开发者】公众号

posted @ 2020-11-03 14:36  京东科技开发者  阅读(239)  评论(0编辑  收藏  举报