google cloud storage products
https://cloud.google.com/products/storage/
BigTable
Cloud Bigtable 是 Google 面向大数据领域的 NoSQL 数据库服务。它也是为 Google 搜索、Analytics（分析）、地图和 Gmail 等众多核心 Google 服务提供支撑的数据库。
https://cloud.google.com/bigtable/docs/?_ga=2.253537231.-792515609.1538018833
Cloud Bigtable 是稀疏填充的表，可以扩展到数十亿行和数千列，可让您存储 TB 级甚至是 PB 级的数据。每行中都会有一个被编入索引的值；这个值称为行键。Cloud Bigtable 非常适合以非常低的延迟存储大量单键数据。它可以低延迟支持高读写吞吐量，是 MapReduce 操作的理想数据源。
适合的场景
如果应用需要非常高的吞吐量和可扩展性来处理非结构化键/值数据，而数据中的每个值通常不超过 10 MB，使用 Cloud Bigtable 非常适合。Cloud Bigtable 还非常适合作为批量 MapReduce 操作、流处理/分析和机器学习应用的存储引擎。
Datastore
Firestore
- 用户生成的内容
- 通过移动网络上传的内容
Cloud Firestore 是一种灵活且可扩展的数据库，适用于在 Firebase 和 Google Cloud Platform 上进行移动、网页和服务器开发。与 Firebase 实时数据库一样，它可以通过实时侦听器使您的数据在各个客户端应用之间保持同步，并为移动和网页应用提供离线支持，以帮助您构建无论网络延迟时间或互联网连接状况如何都能快速响应的应用。Cloud Firestore 还提供与其他 Firebase 和 Google Cloud Platform 产品（包括 Cloud Functions）的无缝集成。
永久性磁盘（块存储）
- 虚拟机磁盘
- 在多个虚拟机之间共享只读数据
- 为运行中的虚拟机快速创建耐久备份
- 数据库的本地存储空间
https://cloud.google.com/persistent-disk/
Google 永久性磁盘是适用于 Google Cloud Platform 的一种耐用的高性能块存储服务。永久性磁盘提供 SSD 和 HDD 存储空间，两者都可以关联到 Google Compute Engine 或 Google Kubernetes Engine 中运行的实例。存储卷可以透明地调整大小、快速备份，并支持多个读取器同时读取。
regional persistent disk
regional persistent disks provide durable storage and replication of data between two zones in the same region.
If you are designing robust systems on Compute Engine, consider using regional persistent disks to maintain high availability for resources across multiple zones. Regional persistent disks provide synchronous replication for workloads that might not have application-level replication.
Regional persistent disks are designed for workloads that require redundancy across multiple zones with failover capabilities.
A write is acknowledged back to a VM only when it is durably persisted in both replicas. If one of the replicas is unavailable, Compute Engine only writes to the healthy replica. When the unhealthy replica is back up (as detected by Compute Engine), then it is transparently brought in sync with the healthy replica and the fully synchronous mode of operation resumes. This operation is transparent to a VM.
In the rare event both replicas become unavailable at the same time, or the healthy replica becomes unavailable while another one is being brought into sync, the corresponding disk becomes unavailable.
Google Compute Engine支持的存储类型对比
| 地区标准 永久性磁盘 | 区域 永久性 磁盘 | 地区 SSD 永久性磁盘 | 区域 SSD 永久性 磁盘 | 本地 SSD | Cloud Storage 存储分区 | ||
|---|---|---|---|---|---|---|---|
| 存储类型 | 高效可靠的块存储 | 在区域中两个地区间进行同步复制的高效可靠的块存储 | 快速、可靠的块存储 | 在区域中两个地区间进行同步复制的快速可靠的块存储 | 高性能本地块存储 | 经济实惠的对象存储 | |
| 每个实例的最大空间 | 64 TB | 64 TB | 64 TB | 64 TB | 3 TB | 几乎无限 | |
| 访问范围 | 地区 | 地区 | 地区 | 地区 | 实例 | 全球 | |
| 数据冗余 | 地区 | 多地区 | 地区 | 多地区 | 无 | 区域或多区域 | |
| 静态加密 | 有 | 是 | 是 | 是 | 是 | 有 | |
| 自定义加密密钥 | 有 | 是 | 是 | 是 | 否 | 有 | |
| 支持的机器类型 | 所有机器类型 | 所有机器类型 | 所有机器类型 | 所有机器类型 | 大多数机器类型 | 所有机器类型 | |
块存储性能指标
| 地区标准 永久性磁盘 | 区域 永久性 磁盘 | 地区 SSD 永久性磁盘 | 区域 SSD 永久性 磁盘 | 本地 SSD (SCSI) | 本地 SSD (NVMe) | ||
|---|---|---|---|---|---|---|---|
| 最大持续 IOPS | |||||||
| 读取 IOPS/GB | 0.75 | 0.75 | 30 | 30 | 266.7 | 453.3 | |
| 写入 IOPS/GB） | 1.5 | 1.5 | 30 | 30 | 186.7 | 240 | |
| 读取 IOPS/实例 | 3000 | 3000 | 15,000 - 60,000* | 15,000 - 60,000* | 400,000 | 680,000 | |
| 写入 IOPS/实例 | 15000 | 15000 | 15,000 - 30,000* | 15,000 - 30,000* | 280,000 | 360,000 | |
| 最大持续吞吐量 (MB/s) | |||||||
| 读取吞吐量/GB | 0.12 | 0.12 | 0.48 | 0.48 | 1.04 | 1.77 | |
| 写入吞吐量/GB | 0.12 | 0.12 | 0.48 | 0.48 | 0.73 | 0.94 | |
| 读取吞吐量/实例 | 180 | 180 | 240 - 1200* | 240 - 1200* | 1,560 | 2,650 | |
| 写入吞吐量/实例 | 120 | 120 | 240 - 400* | 120 - 200* | 1,090 | 1,400 | |
Storage(对象存储)
- 流式视频
- 图片与 Web 资源库
- 数据湖
- 备份
- 媒体内容归档
- 长尾内容
- 遵守法规要求
https://cloud.google.com/storage/docs/
特性
| 特性 | 内容 |
| 加密 |
Cloud Storage 在将数据写入磁盘之前，始终会在服务器端对您的数据进行加密，无需额外费用。除了此标准行为外，您在使用 Cloud Storage 时，还可以使用其他方法加密数据。以下内容总结了您可以使用的加密选项： |
|
对象元数据 |
元数据用于标识对象的属性，并指定了访问对象时应如何处理对象。元数据以键值对的形式存在。 元数据的可变性各不相同：有些元数据您随时可以修改，有些元数据您只能在创建对象时设置，有些元数据您只能查看。
|
|
Cloud Pub/Sub Notifications for Cloud Storage |
Cloud Pub/Sub Notifications 将存储分区中对象的相关更改信息发送到 Cloud Pub/Sub（随后，信息以消息的形式添加到您选择的 Cloud Pub/Sub 主题中）。例如，您可以跟踪存储分区中创建和删除的对象。每个通知都包含相应的信息，这些信息说明了触发通知的事件以及发生更改的对象。 |
|
对象版本控制 |
为了支持检索已删除或覆盖的对象，Cloud Storage 提供了对象版本控制功能。本页面介绍了此功能以及使用此功能时可用的选项。要了解如何启用和使用对象版本控制，请参阅使用对象版本控制。 启用对象版本控制可防止 Cloud Storage 的数据被覆盖或意外删除。启用对象版本控制会增加存储费用，可以通过配置对象生命周期管理删除旧对象版本，以在一定程度上缓解存储费用增加。 |
| 生命周期管理配置 |
您可以将生命周期管理配置分配给存储分区。该配置包含一组适用于存储分区中的当前和未来对象的规则。当对象满足其中一个规则的条件时，Cloud Storage 会自动对该对象执行指定的操作。以下是一些示例用例：
|
| 请求者付款 |
每次用户访问存储分区或对象等 Cloud Storage 资源时，都会产生与发出和执行请求关联的费用。此类费用包括： 通常，资源的项目所有者需支付这些访问费用；但是，如果请求者随其请求一起提供结算项目，则会针对请求者的项目进行计费。在您的存储分区上启用“请求者付款”功能后，您可以要求请求者在其请求中包含一个结算项目，从而对请求者的项目进行计费。在某些情况下，启用请求者付款功能能够为您带来便利；例如，您想要向用户提供大量数据，但您不希望承担他们访问这些数据所产生的费用，在这种情况下，建议您启用此功能。 |
| 存储分区锁定功能 |
您可以在创建新存储分区时包含保留政策，也可以将保留政策添加到现有存储分区。为存储分区设置保留政策可确保在达到保留政策所定义的保留期限之前，不能删除或覆盖存储分区中的所有当前和未来的对象。尝试删除或覆盖尚未到达保留期限的对象会导致失败，并返回 例如，假设在存储分区有两个对象：对象 A 是一个月前添加的，对象 B 是两年前添加的。如果您向该存储分区应用保留期限为 1 年的保留政策，则无法在将来 11 个月内删除或覆盖对象 A：它当前的存在时间是 1 个月，必须至少达到 1 年才能被删除或覆盖。而对象 B 可以被立即删除或覆盖，因为其存在时间超过了保留期限。如果您决定覆盖对象 B，则此新版本的对象 B 的存在时间将从 0 年开始重新计算。 为了帮助您跟踪单个对象何时可以被删除，具有保留政策的存储分区中的每个对象都具有保留失效时间的元数据。此元数据显示对象达到保留期限的日期和时间。 保留期限以秒为单位。但为了方便，某些工具（如 Google Cloud Platform Console 和 gsutil）也允许您使用其他时间单位设置和查看保留期限。 该功能适用于医疗或金融等，有存档时限审计要求的存储内容。 |
|
对 gzip 压缩文件进行转码 |
在 Cloud Storage 中，转码是指系统在将文件传送给请求者之前自动更改文件的压缩状态。如果转码生成的文件是 gzip 压缩文件，则可视为压缩式转码，而如果生成的文件已不再是 gzip 压缩文件，则可视为解压缩式转码。Cloud Storage 支持解压缩形式的转码。 |
|
跨源资源共享 (CORS) |
同源政策是在客户端网络应用（比如网络浏览器）上实施的安全策略，用于防止来自不同来源的资源之间发生交互。虽然这种安全措施可用于防止恶意行为，但也可能会阻止已知来源之间开展的合法交互。例如，App Engine 上托管的页面（网址为 跨源资源共享 (CORS) 规范是由万维网联盟 (W3C) 制定的，该规范旨在克服这一限制。Cloud Storage 支持此规范，这意味着，它允许您将存储分区配置为支持 CORS。在上述示例中，您可以配置 |
Filestore
- 主目录
- 渲染和媒体处理
- 应用迁移
https://cloud.google.com/filestore/docs/
特性
| 特性 | 描述 |
| 访问控制 |
Cloud Filestore 不支持 Kerberos，以保护对 Cloud Filestore 实例的访问。请改用下面描述的 Linux 和 Cloud Identity and Access Management (IAM) 选项。 Cloud Filestore 文件共享具有固定 IAM 权限只能控制对 Cloud Filestore 操作（例如创建 Cloud Filestore 实例）的访问权限。Linux 权限则决定对 Cloud Filestore 文件共享上的操作（如读取或执行）的访问权限。 |
| 网络 |
定 VPC 网络中的所有内部 IP 地址都可以连接到 Cloud Filestore 实例。 如果您使用的是除默认网络以外的 VPC 网络，则可能需要创建防火墙规则，以启用与 Cloud Filestore 实例的通信。 |
| 可靠性 |
Cloud Filestore 内置地区级（同城）存储冗余功能，可保护您的数据免受设备故障的影响，并确保数据在数据中心维护期间的可用性。 Cloud Filestore 实例位于区域内的各个地区中。区域是指您可以在其中运行资源的特定地理位置。每个区域都被划分为几个地区。例如，美国中部的 us-central1 区域包含 us-central1-a、us-central1-b、us-central1-c 和 us-central1-f 地区。 |
| 可用性与恢复 | 如果发生需要 GCP 重启 Cloud Filestore 实例的可恢复错误，该实例应在两分钟内再次可用。如果 Cloud Filestore 实例所在的地区处于关闭状态，则该实例不可用 |
| 支持协议 | Cloud Filestore 在 Cloud Filestore 实例上使用 NFSv3，并支持任何与 NFSv3 兼容的客户端。 |
性能指标
| 标准 | 高级 | ||
|---|---|---|---|
| 最大读取吞吐量 | 100 MB/秒 (1 TB)、180 MB/秒（10 TB 以上） | 1.2 GB/秒 | |
| 最大写入吞吐量 | 100 MB/秒 (1 TB)、120 MB/秒（10 TB 以上） | 350 MB/秒 | |
| 最大 IOPS | 5000 | 60000 | |
| 每个共享的最大容量 | 63.9 TB | 63.9 TB | |
| 客户实现的典型可用性 | 99.9% | 99.9% | |
| 协议 | NFSv3 | NFSv3 | |
| 层级 | 大小 (TB) | 读取 (Tput) | 读取 (IOPS) | 写入 (Tput) | 写入 (IOPS) |
|---|---|---|---|---|---|
| 标准 | 1 | 100 MB/秒 | 600 | 100 MB/秒 | 1000 |
| 标准 | 10+ | 180 MB/秒 | 1000 | 120 MB/秒 | 5000 |
| 优质 | 2.5+ | 1.2 GB/秒 | 60000 | 350 MB/秒 | 25000 |
性能测试指令
以下示例对最大写入吞吐量执行基准化分析：
fio --ioengine=sync --direct=0 \ --fsync_on_close=1 --randrepeat=0 --nrfiles=1 --name=seqwrite --rw=write \ --bs=1m --size=20G --end_fsync=1 --fallocate=none --overwrite=0 --numjobs=1 \ --directory=/mnt/gcfs --loops=10
以下示例对最大写入 IOPS 执行基准化分析：
fio --ioengine=sync --direct=0 \ --fsync_on_close=1 --randrepeat=0 --nrfiles=1 --name=randwrite --rw=randwrite \ --bs=4K --size=1G --end_fsync=1 --fallocate=none --overwrite=0 --numjobs=80 \ --sync=1 --directory=/mnt/standard --loops=10
以下示例对最大读取吞吐量执行基准化分析：
fio --ioengine=sync --direct=0 \ --fsync_on_close=1 --randrepeat=0 --nrfiles=1 --name=seqread --rw=read \ --bs=1m --size=240G --end_fsync=1 --fallocate=none --overwrite=0 --numjobs=1 \ --directory=/mnt/ssd --invalidate=1 --loops=10
以下示例对最大读取 IOPS 执行基准化分析：
fio --ioengine=sync --direct=0 \ --fsync_on_close=1 --randrepeat=0 --nrfiles=1 --name=randread --rw=randread \ --bs=4K --size=1G --end_fsync=1 --fallocate=none --overwrite=0 --numjobs=20 \ --sync=1 --invalidate=1 --directory=/mnt/standard --loops=10
ARCHIVAL CLOUD STORAGE：NEARLINE 和 COLDLINE
用于备份、归档和灾难恢复的存储解决方案，可用性高、经济实惠
SQL
Cloud SQL 实例是全托管式 MySQL 和 PostgreSQL 关系型数据库。Google 负责处理数据复制、补丁管理和数据库管理等工作，以确保可用性和性能。 了解详情
要开始使用 Cloud SQL，您可以创建一个新实例，也可以使用 Cloud SQL 将您的 SQL 数据库迁移至 Google Cloud。
Spanner
Cloud Spanner 是一项完全托管的关系型数据库服务，可提供全球范围的事务一致性和高可用性。要使用 Cloud Spanner，请在项目中创建 Cloud Spanner 实例，然后设置开发环境以访问 Cloud Spanner 并添加数据
https://cloud.google.com/spanner/?hl=zh_CN&_ga=2.13410417.-792515609.1538018833
| CLOUD SPANNER | 传统的关系型数据库 | 传统的非关系型数据库 | ||
|---|---|---|---|---|
| 架构 | ||||
| SQL | ||||
| 一致性 | ||||
| 可用性 | ||||
| 扩容 | ||||
| 复制 | ||||
Memorystore
Cloud Memorystore for Redis 提供完全托管的内存存储区，不仅具有高可用性和无缝容量调节功能，还与开源协议兼容。
使用 Cloud Memorystore for Redis 可以轻松部署、管理和监控内存存储区。
https://cloud.google.com/memorystore/
Data Fusion
Fully managed, Cloud native, enterprise data integration service
Cloud Data Fusion is a fully-managed, cloud native, enterprise data integration service for quickly building and managing data pipelines. It provides a graphical interface to increase time efficiency and reduce complexity, and allows business users, developers, and data scientists to easily and reliably build scalable data integration solutions to cleanse, prepare, blend, transfer and transform data without having to wrestle with infrastructure.
https://cloud.google.com/data-fusion/docs/?hl=zh_CN&_ga=2.21229309.-792515609.1538018833
NetApp Cloud Volumes
NetApp Cloud Volumes for Google Cloud Platform is a simple to consume, fully-managed cloud-native file storage service that delivers unprecedented performance to your cloud application and development environments. Cloud Volumes offers advanced data management capabilities including on-demand and scheduled Snapshots and creating new volumes from Snapshots.You get persistent storage for your cloud-native environments and the ability to migrate your enterprise applications, without adding complexity. The integration and partnership of NetApp and Google Cloud gives enterprise customers a simple, integrated experience and gives developers the tools and performance to build what's next.
