腾讯云从业者认证5-云存储产品介绍
1.云存储基础知识
存储发展
- 本地存储/DAS
- 存储区域网络SAN
- 分布式存储ServerSAN
- 软件定义存储SDS
存储类型
存储形式 | 主要特点 | 举例 | 应用场景 |
---|---|---|---|
块存储 | 通过 LBA 读写数据块,高速传输 | DAS,SAN,CBS | 数据库 |
文件存储 | 通过文件名/目录,读写文件,权限控制 | NAS,FTP,CFS | 文件共享 |
对象存储 | 通过对象 ID/元数据读写对象(键-值) 快速读写 | COS,S3 | 视频,图像大文件存储 |
存储介质
磁盘 | HDD机械盘 | SSD固态盘 |
---|---|---|
读写原理 | 盘片旋转、磁头读写数据 | 主控器通过块地址 LBA 并发读写 |
读写性能 | 较弱 | 较强 |
写入次数 | 无限制 | 不同主控可读写次数不一样 |
功耗噪声 | 高功率电机驱动,功耗高,噪音大 | 功耗低,噪音小、待机功能 |
抗震 | 高速运转磁头抗震很差 | 芯片存储超强抗震 |
数据恢复 | 删除后可借助软件恢复 | 删除后很难恢复 |
价格 | 较低 | 较高 |
存储分级
- 存储分级: 基于数据访问频率、性能要求与成本考虑将数据存放在不同的存储设备上,不同分级存储可以自动迁移。
- 我们需要考虑到存储访问的局部性和存储方案的性价比
- 标准存储
- CBS/CFS/COS
- 低频存储
- COS(低频存储)
- 离线存储
- CAS归档存储
存储分级 | 标准存储 | 低频存储 | 归档存储 |
---|---|---|---|
数据持久性 | 99.999999999% | 99.999999999% | 99.999999999% |
服务可用性 | 99.95% | 99.9% | 99.9% |
响应 | 毫秒级 | 毫秒级 | 需提前申请恢复 |
最短计费时间 | - | 30天 | 90天 |
支持地域 | 全部地域 | 全部地域 | 仅支持中国大陆地域 |
存储费用 | 标准 | 较低 | 极低 |
数据取回费用 | - | 较低 | 较高 |
读写请求费用 | 极低 | 较低 | 极低(需回复才可请求) |
存储类型 | 特点说明 | 应用场景 |
---|---|---|
标准存储 | 用于高频高速访问的热点数据; 高可用性、高性能、高吞吐量。 | 热点视频、社交图片、移动应用、游戏程序、动态网站 |
低频存储 | 用于低频少量访问的数据; 高可靠性、高性价比。 | 网盘数据、大数据分析、政企业务数据、低频档案、监控数据 |
归档存储 | 极少访问的大量的冷数据; 低成本的海量存储。 | 档案数据、医疗影像、科学资料、影视素材 |
2.云存储产品介绍
云硬盘 CBS
- 云硬盘 ( Cloud Block Storage,CBS )是 CVM 使用的持久性块级存储服务。
- 类型∶系统盘/数据盘﹔普通云硬盘/高性能云硬盘/SSD 云硬盘。
- 可靠性达 99.9999999%,同可用区内数据保存 3 副本。
云硬盘类型 | 普通云硬盘 | 高性能云硬盘 | SSD云硬盘 |
---|---|---|---|
存储介质 | 普通磁盘存储 | 增加cache机制 | 全NVME SSD 存储 |
数据可靠性 | 3 副本 | 3 副本 | 3 副本 |
磁盘大小 | 10GB-16TB | 50GB-4TB | 100GB-4TB |
单盘IOPS | 数百-1000 | 1500-4500 | 2400-24000 |
单盘吞吐量 | 40-100MB/S | 75-130MB/S | 128-260MB/S |
访问时延 | 小于 10ms | 小于 3ms | 小于 3ms |
应用场景 | 常规工作负载的低成本场景大数据、数据仓库、日志处理 | 均衡价格和性能的混合介质业务逻辑处理、低延迟应用 | 对延迟敏感的核心业务关系型数据库和 NoSQL 数据库 |
- 云硬盘快照
- 快照是云硬盘在指定时间点的数据备份,只能云硬盘的同地域使用快照,快照属于增量备份,仅保存前一次快照后更改过的数据。
- 应用场景
- 数据日常备份
- 数据快速恢复
- 数据多副本应用
- CBS优势
- 可靠, 数据写入三份, 跨机架存储
- 弹性, 自由配置容量, 扩容业务不中断
- 高性能,SSD,单盘提供共24000随机IOPS
- 易用性, 操作简单, 节省部署成本
- 快照备份, 快照备份, 快照创建实例
- 云硬盘的应用场景︰
- 关系型数据库/NoSQL 数据库
- 企业办公应用
- 海量数据分析
文件存储 CFS
- 文件存储 (Cloud File Storage , CFS) 提供安全可靠、可扩展的共享文件存储服务。
- 支持 NFS v3.0/v4.0,CIFS/SMB 协议,支持 POSIX 访问语义(例如强数据一致性和文件锁定)。
- 用户可以使用标准操作系统挂载命令来挂载文件系统。
类别 | 文件存储CFS | 云硬盘CBS |
---|---|---|
吞吐量级别 | 单客户端100MB/S(上限1.5GB/S) | 上限600MB/S |
共享性 | 多客户端共享 | 不共享 |
冗余 | 3份 | 3份 |
权限控制 | 支持POSIX权限 | 无 |
使用方式 | 挂载后使用 | 挂载后安装文件系统 |
- 企业文件共享
- 流媒体处理
- Web服务及内容管理
- CFS 可以作为一种持久性强、吞吐量高的文件系统,用于各种内容管理系统,为网站、在线发行、存档等应用存储和提供信息。
- 大数据应用
对象存储 COS
- 对象存储 (Cloud Object Storage , COS ) 是无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务,无需挂载就可使用。
- 数据以对象(Object) 形式存放在用户自助创建的存储桶 (Bucket)中。
- 可通过按地域分配的域名对 COS 中的数据直接进行数据访问、下载或管理。
- 访问控制
- 可通过对象地址对 COS 中的对象进行访问与下载:
https://dmcos01-12xxxxxx69.cos.ap-guangzhou.myqcloud.com/%E5%9B%BE%E7%89%8701.jpeg
dmcos01-12xxxxxx69
是用户自定义存储桶名cos.ap-guangzhou.myqcloud.com
是系统按地域分配域名%E5%9B%BE%E7%89%8701.jpeg
是编码后的对象名
- 共享权限: 私有读写、公有读私有写、公有读写
- 用户权限∶完全控制、数据读取、权限读取、权限写入。
- 可通过对象地址对 COS 中的对象进行访问与下载:
- 产品优势
- 高安全性——全面防护,分权管理
- 防盗链功能,用以屏蔽恶意来源的访问
- DDOS 攻击防护和 CC 攻击防护
- 过滤恶意攻击数据包,清洗出正常流量
- 多级分权限管理系统
- 高性能——智能调度,访问可靠
- 智能调度︰访问可靠 COS 支持分块和并发发起请求。
- 最优的 BGP 链路上传。
- 结合 CDN 降低时延,提高下载速度。
- 高扩展性——方便接入,一键迁移
- 详尽的 RESTful API 接入说明和丰富的 SDK 接入工具
- 无缝迁移工具
- 高性价比——按量付费,自动扩容
- 无需采购、部署和运维费用;
- 根据使用量收取费用;
- 无最低限制,可随时无限扩容。
- 高安全性——全面防护,分权管理
- 应用场景
- COS主要存储非结构化数据,如视频、音频、图片、文件等。
- 应用场景︰内容分发、UGC 应用数据存储、大数据分析与处理等
归档存储 CAS
- 归档存储 (Cloud Archive Storage,CAS )) 是低成本、高可靠且易管理的云端离线存储服务。
- CAS 通过文件库 Vault(存储容器)来存取档案 Archive(存储对象)。
- 取回模式
- 加急模式
- 1 到 5 分钟,紧急访问支持 256 MB 以下文件的快速读取,收费较高。
- 标准模式
- 3-5 小时取回数据,收费适中。
- 批量模式
- 5-12 小时批量获取大量数据,收费较低。
- 加急模式
- 产品优势
- 安全性:
- 支持分级鉴权
- 支持指定条件访问、指定人员、指定操作、指定资源多维度复合鉴权
- 扩展性:
- 自动扩容
- 单用户无存储容量上限
- 无需提前准备设备扩容
- 成本低:
- 每 G 单价远低于在线存储,低于友商
- 按量付费,无最低使用量限制
- 安全性:
- 应用场景
- 在金融、保险、医疗、直播、会计等多个行业往往需要保存甚至 10 年以上的合规性文件,如文书档案、患者病例、视频截图、合同档案等。
3.腾讯云存储服务
存储网关CSG
- 存储网关 (Cloud Storage Gateway ) 是一种混合云存储方案,即插即用,屏蔽后端存储差异,实现本地存储与公有云存储的无缝衔接。
存储网关 | 访问协议 | 后端存储 |
---|---|---|
卷网关 | ISCSI | COS 对象存储 |
文件网关 | NFS | COS 对象存储 |
磁带网关 | VTL | CAS 归档存储 |
- 产品优势
- 接口开发,协议转换
- 公有云:HTTP,RESTful,API
- 存储网关:iSCSI(DAS,SAN),NFS(NAS),VTL(虚拟磁带)
- 数据安全,加密存储
- 1.本地 USB Key 加密∶随机加密或全部加密
-
- 分块加密:数据在上传前分块加密
- 带宽压力,压缩上传
- PDF:2.5(压缩比)
- 文本文件:3
- 图片:1.5
- 数据库文件:2.5
- 读写延时,访问加速
- 读: 热数据达到本地存储读性能
- 写∶上传缓冲区提供写入本地的速度
- 接口开发,协议转换
- 应用场景
- 混合云负载、备份及容灾、数据分发、数据迁移
存储迁移CDM
- 云数据迁移 (Cloud Data Migration,CDM) 是 TB~PB 级别安全可靠的离线迁移上云服务。
- CDM 优势∶高效传输、安全保护、状态跟踪。
- L80设备是M30设备的升级版
- 产品优势
- 安全性
- 设备端加解密、自行管理密钥
- 与腾讯云 CAM 服务集成,管理任务进度和权限
- 数据迁移完成后,擦除设备磁盘每个扇区,保障数据不会被第三方读取。
- 高效性
- 高速稳定
- 小文件优化
- 专业物流
- 低成本
- 高性价比
- 高效去重
- 安全性
- 应用场景
- 海量数据归档
- 备份云端数据分析处理
- 弱网环境迁移数据
日志服务CLS
- 日志服务 (Cloud Log Service , CLS ) 是一站式日志服务平台:
- 日志采集∶通过 LogListener .API 实时采集
- 日志检索∶实时索引、亿级日志检索秒级返回结果
- 日志投递︰日志可以投递到 COS,实现日志生命周期管理
- 日志类型:
- 系统日志、应用日志、移动端日志、嵌入式设备日志等。
- 产品优势
- 高速检索
- 配置快速生效,秒级检索返回
- 大容量日志存储: 支持从每日 TB 级日志数据采集存储需求
- 弹性扩容
- 支持从 MB-TB 级别的日志数据量
- 无需提前准备设备扩容
- 高性价比
- 按实际使用量付费,价格低廉
- 无需担心资源被闲置浪费
- 高速检索
- 应用场景
- 通过日志采集与分析,解决故障排查定位,业务指标监控、客户行为分析、安全审计等问题。
4.腾讯云存储计费方案
CBS 计费方案
- 包年包月
- 预付费
- 元/GB*月
- 至少使用一个月
- 存储需求长期稳定的成熟业务
- 按量计费
- 后付费,购买时冻结 3 小时的费用,每小时计算一次费用并冻结下一小时的费用,每天汇总后进行一次结算。
- 元/GB*小时
- 按小时结算,随时购买随时释放
- 适用于电商抢购等存储需求大幅波动场景
- 硬盘快照按总存储容量进行收费,每个地域单独结算,目前仅支持按量计费后付费方式,以小时为单位整点结算,国内主要区域提供一定量的免费额度。
CFS 计费方案
- 按量付费: 基于文件实际存储容量,按小时计费和计算;
- 存储容量: 按单位小时内实际使用存储空间最大值(峰值) 计算;
- 阶梯分段: 基于不同地区按不同的存储容量阶梯到达计费∶
- 免费容量: 截止 2019 年 5 月 31 日前,每个 CFS 用户可享受 10GB 免费容量。
COS 计费方案
- 计费方式:
- 预付费资源包(中国大陆)
- 按量后付费(所有区域);
- 结算方式:
- 免费额度>资源包>按量计费
- 按日结算∶流量费用
- 按月结算∶存储容量费用、请求费用、数据取回费用
- 存储容量费: (元/GB/月,月结)
- 存储容量费用=月均存储容量*存储容量单价;
- 月均存储容量=当月日均存储容量之和/当月天数;
- 日均存储容量=当日每 5 分钟存储容量之和/288(采样点数)。
- 请求费用计费: (元/万次,月结)
- 读/写请求: 通过 API、SDK 等发送 COS 请求指令实现数据上传、下载、查询、删除操作
- 请求费用=每万次请求单价*月累计请求次数/10000 (向下取整)。
- 月累计请求次数不足 1 万次,按 1 万次计算。
- 数据取回费: (元/GB,月结)
- 基于用户读取数据的容量进行计费
- 标准存储不收取,低频存储收取;
- 数据取回费=每 GB 单价*月数据取回量。
- 流量费用: (元/GB、日结)
- 基于用户通过读取存储的数据时产生外网流量累加值计算
- 收费流量类型∶外网下行流量、CDN 回源流量、跨区域复制流量
- 流量费用=每 GB 单价*日累计流量
- 存储容量费: (元/GB/月,月结)
CAS 计费方案
- CAS 采用按量后付费、按月结算,次月 3 日出账单
- 费用组成
- 存储空间费
- 与COS相同
- 流量费用
- 外网出流量: 基于通过外网直接访问归档存储,产生的流量;
- 相同地域的内网出入流量、外网入流量免费。
- 流量费用=外网出流量*单价
- 请求费用
- 按请求次数计费︰读请求(GET/HEAD),写请求 (PUT/POST/DELETE ).
- 请求费用=请求次数*单价
- 数据读取费
- 基于数据读取模式 (加急模式、标准模式、批量模式)确定计费单价;
- 数据读取费=读取数据存储容量*单价。
- 提前删除费
- 未满足 CAS 最短存储时长 90 天而提前删除数据、需收取被删除数据剩余天数的存储费用。
- 数据提前删除费用=删除的存储量*(90-已保存天数)*日单价
- 存储空间费
CDM 计费方案
- CDM 计费基于设备租用费∶基于设备数量和使用时间
- 服务费用=设备台数×单价;
- 超时费用=(使用天数–免费天数)×单价
- 可退还押金=设备台数×单价。
- 数据上云费用∶免费,设备寄回之后,由腾讯云负责将数据导入云存储中
- 物流费用: 由专业的物流团队负责,费用不需要用户承担。