为什么迁移上云
传统存储面临的挑战现如今,数据与土地、劳动力、资本、技术并称为五大生产要素,数据成为数字经济发展的重要引擎。大数据时代,数据处理的需求急剧增长,越来越多的智能设备以及新应用如区块链、机器学习训练和AI等产生大量的数据,传统单一的存储面临着如下挑战:
为什么迁移上云基于上述考虑,越来越多的组织认为应该将存储负载迁移到云端,以提升整个组织的效能和科技竞争力,迁移上云带来了哪些好处呢?
本地存储&云存储使用量对比使用传统式存储,需要购买新的存储系统、存储容量,还需要为未来的发展预留一部分容量,同时未来如果业务量规模扩大,还可能需要在数据中心托管并维护总容量,这都将大大增加成本。 使用云存储,用户可以按需使用服务以满足存储需求,由云厂商在其数据中心托管和维护底层系统,用户不必操心。 |
|||||||||||||||||||||||||||||||||||||
如上图所示,传统存储与阿里云云存储使用存储服务时占用容量的对比(上图数字仅为示例,实际数据可能存在差异):
传统存储:
阿里云存储: 阿里云云存储支持多种计费方式,比如可以根据分配容量(如EBS)或者实际存储容量(如OSS、NAS)进行计费,支持先使用后付费的按量付费方式,也支持购买优惠资源包;但用户不必为昂贵的硬件存储设备和存储系统付费,只需要关注自己需要使用的存储空间即可。更详细的计费逻辑,我们将在后面的课程展开讲解。 “基于存储产品快速搭建网盘”课程,本课程是阿里云云存储系列认证中第一阶段的课程,主要介绍阿里云块存储(EBS)、文件存储(NAS)、对象存储服务(OSS)等云存储产品的基础概念与产品特性,同时,我们将基于存储产品搭建网盘,教会大家使用存储产品的基本操作,陪伴您开启云上存储服务的第一站。
课程目标学习完本课程后,您将能够:
课程场景(提示:本课程为场景化教程,旨在帮助学员理解真实的应用场景,该场景讲述如何利用阿里云存储产品搭建网盘。) 小浩为一家能源公司存储团队的成员,随着公司业务的发展,数据量呈现爆发式增长,存储扩容的成本不断增加,同时业务反馈近期出现了系统响应较慢的情况,公司希望小浩能够提出有效的解决方案。 小浩通过调研分析,考虑采用云存储,未来计划逐步将数据从线下迁移到线上。这个方案是否有效呢?接下来,让我们一起参与小浩的调研过程,并学习如何利用阿里云存储产品搭建存储服务。 主要的存储类型小浩了解到,无论是本地存储还是在云环境中,都有三种主要的存储类型: 块存储、文件存储和对象存储。在开始使用云存储服务之前,我们先来一起学习一下主要的存储类型的技术原理,并学会区分它们。
块存储(Block Storage)块存储是一种将数据存储为固定大小块的数据存储方式。块存储将数据分成多个块,每个块的大小通常是固定的,比如4KB、8KB、16KB等。块存储的数据结构相对固定,无法进行自由的调整。块存储通常用于文件系统、关系型数据库等领域,常常用于存储大量的数据,以提高数据读写效率。块存储的优势在于存储效率较高,可以快速存储和检索数据。
文件存储(File Storage)文件存储是一种将数据存储为文件的数据存储方式。文件存储将数据分成多个文件,每个文件可以包含多个数据块。文件存储通常用于存储大量的数据,可以通过文件系统等方式进行管理和访问。文件存储的优势在于可以灵活地管理和访问数据,并且可以支持大规模的数据存储和管理。
对象存储(Object Storage)对象存储是一种新型的云存储服务,它将数据存储为对象的形式,可以更好地满足大量非结构化数据存储和管理的需求。对象存储将数据分为多个层次,每个层次都有自己的命名空间和属性。每个对象都有一个唯一的标识符,可以通过这个标识符访问和管理数据。 您可以使用 RESTful API、HTTP 和 HTTPS 查询对象元数据,以查找和访问对象。对象存储经济高效:您只需为已用的内容付费。它可以轻松扩展,因而是公共云存储的理想之选。它是一个非常适用于静态数据的存储系统,其灵活性和扁平性意味着它可以通过扩展来存储极大量的数据。对象具有足够的信息供应用快速查找数据,并且擅长存储非结构化数据。 |
|||||||||||||||||||||||||||||||||||||
阿里云存储产品大图了解完云存储的优势后,小浩计划选用云存储来存放公司的业务数据,正好了解到阿里云官网aliyun.com有免费试用的活动,小浩准备先了解了解阿里云存储系列产品。 阿里云存储产品包含了一些核心的存储服务及其密切相关服务,存储产品大图如下所示:
块存储(EBS)什么是阿里云块存储(EBS)块存储EBS(Elastic Block Storage)是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储。 块存储支持在可用区内自动复制您的数据,防止意外硬件故障导致的数据不可用,保护您的业务免于硬件故障的威胁。 阿里云块存储(EBS)能做什么
文件存储(NAS)什么是阿里云文件存储(NAS)阿里云文件存储NAS (Apsara File Storage NAS) 是一个可大规模共享访问,弹性扩展的高性能云原生分布式文件系统。面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务,支持智能冷热数据分层,有效降低数据存储成本。 阿里云文件存储能做什么(NAS)
对象存储(OSS)什么是阿里云对象存储(OSS)阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务,提供 99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。 阿里云对象存储能做什么
总结:块存储、文件存储、对象存储之间的对比 |
|||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||
存储产品选型策略基于上面的调研,小浩向公司建议使用阿里云的云存储,初步了解了阿里云的几种存储类型后,他需要基于实际业务决策使用哪种云存储产品。
业务的最佳存储解决方案由需求驱动,根据业务应用的不同特征选择合适的存储服务,涉及到多种的因素:
于是,小浩结合实际生产情况,问了自己几个问题:
业务存在热数据、冷数据;有些数据会在短期内经常访问,但后续访问较少
目前业务吞吐量适中,未来可能存在较大业务波动
归档数据需要长期存储,但部分业务数据需要定期删除
希望数据是不能丢失或损坏的,也不能受到恶意更改,同时也要兼顾安全性和成本 基于此,小浩计划尝试使用阿里云对象存储OSS和文件存储NAS,并在使用过程中熟悉不同的存储类型,以便后续进行业务场景的选型,首先他需要掌握OSS和NAS的基本概念和产品功能。 |
|||||||||||||||||||||||||||||||||||||
对象存储OSS入门对象存储OSS基础概念与常用功能小浩登陆阿里云对象存储OSS控制台后,面对众多配置选项,小浩想要了解对象存储的基本概念,才能进行合理的资源配置。 基础概念1. 存储空间(Bucket):用户用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间,提供了标准存储、低频访问存储、归档存储、冷归档存储等存储类型。个人网盘频繁的进行文件上传、下载、分享等操作;个人网盘需要频繁的进行文件上传、下载、分享等操作,小浩对比后,选择使用“标准存储”。
|
|||||||||||||||||||||||||||||||||||||
2. 地域(Region):OSS的数据中心所在物理位置。阿里云地域选择可以遵循就近原则,优先选择更靠近用户群的地域节点。个人网盘使用者小浩居住在杭州,地域优先选择“华东1(杭州)” 。
3. 对象(Object):对象是OSS存储数据的基本单元,也被称为OSS的文件。在个人网盘场景中,Object为存放在对象存储OSS Bucket中的照片文件、文本文件、视频文件等。 4. 读写权限:通过Bucket ACL权限列表与权限描述,小浩设置Bucket ACL权限为私有,Bucket的拥有者可以对该Bucket内的文件进行读写操作,其他人无法访问该Bucket内的文件。
|
|||||||||||||||||||||||||||||||||||||
5. 访问域名(Endpoint):OSS对外服务的访问域名,Endpoint格式为:外网Endpoint是oss-{Region}.aliyuncs.com,内网Endpoint是oss-{Region}-internal.aliyuncs.com。通过OSS内网地址访问OSS资源时,不收取流量费用。个人网盘场景中ECS实例部署的网盘软件可以调用OSS内网Endpoint。
6. 访问密钥(Accesskey):简称AK,指的是访问身份验证中用到的AccessKeyId和AccessKeySecret。OSS通过使用AccessKeyId和AccessKeySecret对称加密的方法来验证某个请求的发送者身份,可通过控制台创建AccessKey,AccessKey的来源有:
了解Endpoint和Accesskey的概念后,在使用SDK或工具时,需要配置访问域名(Endpoint)和访问密钥(Accesskey)。
掌握上述基础概念之后,对使用OSS的流程进行了总结: 创建Bucket时,登陆OSS控制台,根据实际业务需求选择离请求源最近的地域(可参见oss开服地域)。用户在通过SDK/工具操作访问oss资源时,需配置访问域名Endpoint和用来验证请求是否合法的AccessKey进行访问,如果验证成功,才能成功操作oss资源(可参考鉴权流程)。
对象存储OSS常用功能总结小浩已经熟悉对象存储的基本概念,通过对象存储OSS控制台完成了Bucket的创建。接下来小浩想要探索一下对象存储OSS的常用功能,他梳理了使用OSS的常见场景。
对象存储OSS资源访问方式及流程小浩思考,如果还有其他同事想要一起参与文件上传和管理的工作,除了控制台之外,是否还有其他访问方式呢? 阿里云对象存储OSS提供了多种访问及操作OSS资源的方式:阿里云控制台、OSS提供的工具、OSS提供的SDK。如下所示:
控制台
工具
SDK
|
|||||||||||||||||||||||||||||||||||||
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战