云原生时代 容器持久化存储的最佳方式是什么?

云妹导读:
在存储专题的上一篇文章《送你4句口诀 云存储选型不再犯难》中,云妹为大家的云存储选型提供了几种方法,只需记住 4 句口诀,就能选到适合自己应用特点的云存储服务。本篇文章我们将深入介绍云存储产品体系中的文件存储服务,并看看它在容器环境下如何提供持久化的共享型存储?
首先,我们来看一下云端文件存储具有哪些特点?
云文件服务(Cloud File Service)是一个全托管的简单、易用、高可靠的文件共享存储服务,具有自动弹缩的容量及性能管理等特点,完整支持POSIX语义接口,可平滑对接上云企业内部各种应用系统,并满足容器共享存储、AI训练、大数据分析、视频渲染处理、动态网站以及在线教育等场景下的存储服务需求。

云原生、容器对存储的需求

相比虚拟机,容器的设计寿命更短,一旦容器销毁,所有的临时数据也将随之消失。当然,如果没法实现容器的持久化存储,容器应用程序的使用将会十分受限。容器化的应用需将要保留的数据持久化到容器外部的Volume数据卷中,该存储设备不会随着容器生命周期的终结而消失。持久化数据卷又分为共享和非共享两种类型,非共享数据卷只能被某个节点挂载使用,共享数据卷则可以让不同节点上的多个Pod同时使用。
为什么是云文件存储服务?
对有状态的应用来说,共享型的卷存储能够很方便地支持容器在集群各节点之间的迁移。由于以微服务架构为主的容器应用多为分布式系统,容器可能在多个节点中动态地启动、停止、伸缩或迁移。因此,数据被不同节点共享访问的文件系统存储,天生可以支持有状态的容器应用的灵活扩容、迁移。
同时,容器是面向应用的运行环境,数据通常要保存到文件系统中,即存储接口以文件形式更适合应用访问。云文件存储服务天生具备共享访问,支持POSIX语义接口,可以无缝支持共享容器数据卷。

云文件存储在线教育场景下的最佳实践

在线教育是基于视频直播的企业日常运营典型业务场景,往往依赖于众多的IT系统联合构建而成。在疫情因素的影响下,在线教育行业迎来一波上云高峰。依托于云计算的技术设施特性,能够帮助企业避免业务侧重复工作、快速扩容、提高资源利用率、降低开发和运维成本。对在线教育架构的云原生优化,大大减少了运维和测试的工作量,方便对运行版本的控制,简化了集群规模管理调度,相比虚机降低了不少成本。
京东智联云为在线教育平台量身定制了多场景解决方案,凭借强大的基础设施服务能力和完善的存储产品矩阵、以云上文件存储服务为核心构建全流程生态,为在线教育企业在课程录制、课程回看以及课程互动监控等场景提供完善的解决方案。通过 IO路径优化、智能监控、智能弹缩资源解决热点均衡问题,为多集群,数千个课堂的互动、录制及回看的视频直播平台提供了完整的技术基础,提升了用户体验。

如上图所示,各类客户终端通过网络负载均衡路由到Kubernetes集群,根据课堂需要启动录制Pod,用以视频、音频的录制,增加课堂互动设置等,该类Pod会将录制的视频流直接写入云文件存储中。
在线教育高峰期间会有数千个课堂,即数千个录制Pod共享写文件存储;录制完成后,需要对录制内容进行简单的编辑处理,生成可回看的素材,该类任务录制完成的数量动态拉起编辑Pod,对文件存储进行读写编辑,最后生成回看文件;后期将回看文件上传到云对象存储中,供学生及家长回看课堂内容。
京东智联云解决方案带来的优势:

  1. 安全快速的弹性扩缩容能力:应对业务高峰时短时间内扩容,及低谷时的缩容;
  2. 多并发、高性能的共享文件存储:加速录制内容的并发写入能力、编辑内容的读写能力,为业务的流程流畅稳定提供基础;
  3. 智能感知热点及故障,自动迁移Pod:通过智能监控,自动迁移的能力,结合共享存储的特点,重保在线业务的稳定;
  4. 完善的技术支持团队:专业的团队,及时的响应,为客户减少运维投入及压力,提供稳定可靠的技术保障。

京东智联云文件存储技术方案

如下图所示,容器存储控制面是通过标准的京东智联云CSI,规范的API接口创建、删除、加载、卸载Volume:

  • 首先,调用Kubelet启动Pod,挂载京东智联云文件服务;
  • Kubelet根据配置文件找到云文件服务挂载信息,挂载到指定目录下(/var/lib/kubelet/pods/*/volumes/jdcloud-cfs/nas-pv);
  • Kubelet创建Pod,并将京东智联云文件服务的挂载目录映射到/workload目录,完成控制面的挂载映射流程,接下来Pod即可读写Storage Class里云文件服务的PV。

容器存储在京东智联云文件存储上可实现共享持久化数据存储,支持数千个Pod共享读写访问,不但可降低容器存储容量规划管理的复杂度,还能提高存储空间利用率,同时在Node、Pod出现访问热点、故障时可以快速切换恢复,保障业务连续性。
著名分析机构Gartner在最近发布的《在生产中运行容器和 Kubernetes 的最佳实践》报告中,指出2022年将有75%的组织在生产中使用容器化应用。使用容器编排应用,一方面可以更好地统一调度CPU、内存,另一方面可统一管理容器中的持久化数据及状态控制信息。随着容器被应用的越来越广泛,云原生成为助力企业全面拥抱云计算的最佳捷径,同时对容器存储提出了更高的要求,而京东智联云存储平台提供一贯的稳定性、极高的性能,严格的网络安全隔离性、无限制的横向扩展能力以及智能灵活的弹缩能力,完美满足容器对存储的各种需求。

推荐阅读:

送你四句口诀 云存储选型不再犯难
京东智联云新一代分布式数据库TIDB架构揭秘
比MySQL快839倍!揭开分析型数据库JCHDB的神秘面纱

点击【京东智联云】,可了解更多存储知识
更多精彩技术实践与独家干货解析
欢迎关注【京东智联云开发者】公众号

posted @ 2020-10-27 19:34  京东科技开发者  阅读(287)  评论(0编辑  收藏  举报