Amazon S3 概念及如何集成到 .net 8 C#
Amazon S3（Simple Storage Service）是一个高度可扩展、数据可用性高、安全性强的对象存储服务。
Amazon S3 使用对象存储架构，数据以对象的形式存储在桶（buckets）中，每个对象都有一个唯一的键（key）。
本文主要分为两个部分：
1、Amazon S3 相关概念
2、.net 集成的代码
* 阅读提示 ：鼠标悬停在 章节标题 上可见 文章目录
1、概念
bucket
bucket 是存储 object 的容器，可以按照业务划分出一个 bucket，一个 bucket 中存储多个 object，每个 object 都有自己的唯一标识 key。
bucket 类型
bucket 主要有 3 种类型，分别是 General purpose bucket，Direcotry bucket，Table bucket。
- General purpose bucket
创建 bucket 时的默认类型，它也是 S3 中最主要使用的类型
- Directory bucket
这种类型的 bucket 的 location type 限制使用 Availability Zone 或者 Local Zone
为了低延迟，可以指定你的 Amazon EC2、Amazon EKS 或者 Amazon ECS 计算实例位于同一位置 AWS 区域和可用区。
- Table bucket
提供一种便于大数据分析的表格式的存储方式。
支持 Apache Iceberg 格式，查询速度高于普通 S3 bucket。
无缝集成：可以和 AWS 的分析服务（像 Amazon Athena, Amazon Redshift, AWS Glue Data Catalog）以及开源查询引擎（如 Apache Spark）无缝集成
更多：
[1] Tabular Data Storage At Scale - Amazon S3 Tables - AWS
[2] Table buckets - Amazon Simple Storage Service
bucket 属性
下表将列出一些在配置 bucket 时需要关注的、比较常用的 bucket 属性
| region | 这个 bucket 所属物理位置，和 AWS 账号的 region 是一致的 |
| name | |
| access | 读写权限相关 |
| versioning | 在 bucket 中允许存储一个 object 有不同的版本 |
| tag | 可选项，加一些标签来区分其他的 bucket |
| default encryption | 对于存储的 object 是否加密，可以不启用；启用需要选择加密方式 |
| object lock | 当写入该 object 的时候是否锁定该 object |
| lifecycle | 生命周期管理，一个 object 被上传到 ticket 之后多少时间要触发什么动作，或者多久该 object 被清除掉等等配置 |
| .. | .. |
生命周期管理的一个示例：
此处配置当一个 object 被 upload 到 bucket 后，一天之后该数据过期，但过期并不做任何处理，即并不会被删除
object
当进入一个指定的 bucket 后，会看到它的 object 列表
每一个 object 都有一个自己的 key，这是检索、找回这个 object 的唯一方式。
- object 可以是一个文件
- object 支持类似于文件夹似的对象管理方式，通过对 key 的命名方式来实现
例如
|
object |
key |
|
object 1 |
folder1/key1 |
|
object 2 |
folder1/key2 |
|
object 3 |
folder1/key3 |
这里实际上有 3 个object，但是在 Amazon S3 中查找这 3 个文件的时候，它会以文件目录的方式显示。
使其看起来像是一个文件夹类型的 object，但这只是 S3 网页上的呈现方式，是一种做好分类以便于查阅的前端手段。
- S3 是分布式存储
为了数据高可用性，S3 会多处备份，所以有些 object key 看似逻辑相似，但物理存储位置都是不同的。
安全性保证
- 支持数据加密
- 权限管理
- bucket policy 访问策略
这里是 json 的格式配置哪个AWS用户可以访问该 S3 的哪个 bucket 资源，可以允许什么操作
监控与指标 Metric
- 常规监控指标：bucket 大小，object 数量
- 与 AWS cloud watch 集成
2、与 .net 8 api 项目集成
1、配置 AWS 凭证
确保本地机器 AWS 凭证已配置好，通常，凭证文件位于 ~/.aws/credentials。
2、包依赖
dotnet add package AWSSDK.S3
在你的 .NET 项目中，创建一个 Amazon S3 客户端实例：
using Amazon.S3;
using Amazon.S3.Model;
var s3Client = new AmazonS3Client();
// new AmazonS3Client(config.AccessKey, config.SecretKey, RegionEndpoint.GetBySystemName(config.Region));
下列实例代码使用的是 3.7.9.56 版本 SDK
<PackageReference Include="AWSSDK.S3" Version="3.7.9.56" />
3、实现基本操作
你可以实现基本的 S3 操作，如创建 bucket、上传文件、下载文件等。
- 创建 bucket
var putBucketRequest = new PutBucketRequest
{
BucketName = "your-bucket-name",
UseClientRegion = true
};
var putBucketResponse = await s3Client.PutBucketAsync(putBucketRequest);
- 上传文件
var putObjectRequest = new PutObjectRequest
{
BucketName = "your-bucket-name",
Key = "your-file-key",
FilePath = "path/to/your/file"
};
var putObjectResponse = await s3Client.PutObjectAsync(putObjectRequest);
- 下载文件
var getObjectRequest = new GetObjectRequest
{
BucketName = "your-bucket-name",
Key = "your-file-key"
};
using (var getObjectResponse = await s3Client.GetObjectAsync(getObjectRequest))
using (var responseStream = getObjectResponse.ResponseStream)
using (var fileStream = File.Create("path/to/save/file"))
{
await responseStream.CopyToAsync(fileStream);
}
4、处理错误和异常
确保在代码中处理可能出现的错误和异常，例如网络问题或权限问题。
