Net Core项目通过Amazon SDK访问天翼云对象存储服务OOS问题

Net Core项目通过Amazon SDK访问天翼云对象存储服务OOS问题 

背景

近期在阿里云运营的Net Core项目应客户要求需要部署到天翼云，其中比较麻烦的事情是把阿里云对象存储服务OSS改为天翼云对象存储服务OOS，搞了3天，折腾个半死，好不容易才搞定了，赶紧记录下来。

天翼云的对象存储服务有3种，经典I型，经典II型，融合版。我的项目需求比较简单，就是一些数据文件不适合存数据库的，就用OSS存起来，一般的OSS都能用。简单对比了一下，发现经典I型，经典II型都没有.Net的SDK，融合版有.Net的SDK，为了方便快速开发就用融合版吧。然后在创建融合版的存储桶的时候，提示已售完，晕死。

发个了工单问客服，推荐我用经典I型，就这么办吧。在经典I型开通OOS，创建桶，购买资源包，创建访问Key备用。

 

第一关：通过Web Api访问天翼云OOS拼接认证头签名不对

学习天翼云通过Web Api访问OOS的文档，比如PUT上传一个文件，结构是简单的

https://www.ctyun.cn/document/10026693/10027315

 

但是，Authorization需要根据上传内容动态拼接出来，非常复杂，看得我头顶冒青烟。

https://www.ctyun.cn/document/10026693/10027058

验证码计算方法如下：

 

"Authorization: AWS" + AccessId + ":" + Signature

Signature =Base64( HMAC-SHA1( YourSecretAccessKey, UTF-8-Encoding-Of( StringToSign ) ) ) ;

StringToSign = HTTP-VERB + "\n" +

Content-MD5 + "\n" +

Content-Type + "\n" +

Date + "\n" +

CanonicalizedAmzHeaders +"\n" +

CanonicalizedResource;

 

CanonicalizedAmzHeaders = [详见下列描述];

CanonicalizedResource = [ "/" + Bucket ] +

<HTTP-Request-URI > +

  [<sub-resource>]

 

PUT Object

 

向名为johnsmith的bucket中上传一个对象。

请求	StringToSign
PUT /photos/puppy.jpg   HTTP/1.1 Content-Type:   image/jpeg Content-Length: 94328 Host: johnsmith.oos-cn.ctyunapi.cn Date: Tue, 27 Mar 2007   21:15:45 +0000 Authorization: AWS 7799e793ce4624ee7e5a:hcicpDDvL9SsO6AkvxqmIWkmOuQ=	PUT\n \n image/jpeg\n Tue,   27 Mar 2007 21:15:45 +0000\n /johnsmith/photos/puppy.jpg

注意：Content-Type请求头包含在请求中，也包含在StringToSign中。但请求中没有Content-MD5请求头，所以StringToSign中是空行。

 

也参考了天翼云OOS通过java创建认证头的例子。

https://www.ctyun.cn/document/10026693/10027543

 

我参考示例拼接认证头，试了很多次，都不成功。通过HttpClient发起调用，服务端总是返回403禁止访问错误，认证签名错误。

<Error><Code>SignatureDoesNotMatch</Code><Message>The request signature we calculated does not match the signature you provided. Check your key and signing method.</Message>

 

在百度上找了很久，只找到一篇文章，作者做了一些封装，拼接认证头，成功访问了天翼云OOS。我用作者的方法，仍然无法解决认证签名错误的问题。

https://www.cnblogs.com/JackXiong/p/10875953.html

《_NET CORE 对接天翼云 OOS - 懒惰的jacky - 博客园.html》

 

第二关：通过Amazon SDK访问OOS认证头签名不对

Web Api这条路走不通，还有别的路可走吗？

再次学习天翼云OSS经典I型的资料，发现了一个重要信息：兼容Amazon S3标准！

https://www.ctyun.cn/document/10026693/10026712

天翼云对象存储（经典版）I型（Object-Oriented Storage，以下简称OOS）是中国电信为客户提供的一种海量、弹性、高可用、高性价比的对象存储服务。客户只需花极少的钱就可以获得一个几乎无限的存储空间，可以随时根据需要调整对资源的占用，并只需为真正使用的资源付费。OOS提供了基于Web门户和基于REST接口两种访问方式，用户可以在任何地方通过互联网对数据进行管理和访问。OOS提供的REST接口与Amazon S3兼容，因此基于OOS的业务可以非常轻松的与Amazon S3对接。用户还可以使用OOS提供迁移工具轻松地实现海量数据的移入与移出。

 

既然如此，那么客户端是不是可以通过Amazon S3的库，实现对天翼云OOS的访问呢？这样就不用自己拼接认证头了，SDK本来就干这个的啊！而且，在网上可以找到相当多的Amazon S3 Net core SDK访问云服务的资料，Amazon对.Net还是很友好的。天翼云OOS融合版也有.Net的SDK，经过仔细研究，它用的就是Amazon的SDK。

https://console.xstore.ctyun.cn/doc/store/sdk/dotnet/quickUse.html

安装SDK：

在天翼云官网下载，下载地址：OSS_DOTNET_SDK.zip

修改项目的csproj文件，在<PropertyGroup>中增加以下内容。

<PropertyGroup>

<RestoreSources>$(RestoreSources);filePathToPackage</RestoreSources>

</PropertyGroup>

其中filePathToPackage指的是OSS_DOTNET_SDK.zip解压后的径。然后在项目csproj文件所在目录下执行dotnet命令安装依赖包：

dotnet add package AWSSDK.S3 --version 3.7.0.18

# 使用sts服务需要添加以下依赖

dotnet add package AWSSDK.SecurityToken --version 3.7.1.6

dotnet restore

 

参考PUT上传对象的示例写代码即可，基本上照搬即可。

https://console.xstore.ctyun.cn/doc/store/sdk/dotnet/objectOperation/putObject.html

 

另外，天翼云官网OOS融合版也提供了.Net SDK源代码。

https://console.xstore.ctyun.cn/doc/store/sdk/introduction.html

去gitee下载它的代码学习一下。

https://gitee.com/ctyun-xstore/ctyun-xstore-sdk-demo

它里边有一段初始化代码可以借鉴一下

D:\software\test\ctyun-xstore-sdk-demo-master\oss-csharp-demo\oss-csharp-demo\S3Demo.cs

public S3Demo()
        {
            Amazon.AWSConfigs.LoggingConfig.LogTo = Amazon.LoggingOptions.Console;
            Amazon.AWSConfigs.LoggingConfig.LogResponses = Amazon.ResponseLoggingOption.Always;

            var credentials = new BasicAWSCredentials(Config.AccessKey, Config.SecretKey);
            var conf = new AmazonS3Config
            {
                ServiceURL = Config.EndPoint,
                AuthenticationRegion = "cn",
                Timeout = TimeSpan.FromSeconds(10),
                ReadWriteTimeout = TimeSpan.FromSeconds(10),
                RetryMode = RequestRetryMode.Standard,
                MaxErrorRetry = 2,
            };
            this.s3Client = new AmazonS3Client(credentials, conf);
        }

我参照以上示例写了测试DEMO，运行报错，还好错误提示很清晰，认证头的region期望是cn，实际上是us-east-1。但是我明明设置AuthenticationRegion = "cn"了，为什么没有生效呢？

<Error><Code>AuthorizationHeaderMalformed</Code><Message>The authorization header is malformed. the region 'us-east-1' is wrong; expecting 'cn'</Message>

通过Fiddler抓包也非常清晰的看到，认证头的region确实是us-east-1不对。

Authorization: AWS4-HMAC-SHA256 Credential=687e486556264706fbc7/20230210/us-east-1/s3/aws4_request, SignedHeaders=content-length;content-type;host;user-agent;x-amz-content-sha256;x-amz-date;x-amz-decoded-content-length, Signature=9b6...

多次检查后才发现，我的域名写错了，类似PUT http://bucketname.bucketname.oos-cn.ctyunapi.cn/test.obj HTTP/1.1，把路由修正之后，region问题解决了。

Authorization: AWS4-HMAC-SHA256 Credential=687e486556264706fbc7/20230210/cn/s3/aws4_request, SignedHeaders=content-length;content-type;host;user-agent;x-amz-content-sha256;x-amz-date;x-amz-decoded-content-length, Signature=590

但是访问天翼云OOS仍然返回SignatureDoesNotMatch认证签名不对！连SDK签名都不对，我还能怎么办？只好再给天翼云提工单。

 

第三关：设置了正确的region

天翼云的客服响应很快，经过和技术客服沟通，对方告知region必须设置为具体的地点，比如山东青岛sdqd，不能是cn，首先得修改OOS容器的区域设置，指定固定地点，不允许系统自动调度。

然后把访问OOS的EndPoint域名，认证region都改为sdgq，例如：

EndPoint=”https://oos-sdqd.ctyunapi.cn”

AuthenticationRegion = "sdqd"

 

再次测试，抓包看发送信息，域名，region都符合要求了。

PUT https://xxx.oos-sdqd.ctyunapi.cn/test.obj HTTP/1.1

Expect: 100-continue

User-Agent: aws-sdk-dotnet-coreclr/3.7.0.18 aws-sdk-dotnet-core/3.7.0.17 .NET_Core/7.0.1 OS/Microsoft_Windows_10.0.22000 ClientAsync

amz-sdk-invocation-id: e98f3de2-23ab-4cbb-8454-175b6015686d

amz-sdk-request: attempt=1; max=5

Host: xxx.oos-sdqd.ctyunapi.cn

X-Amz-Date: 20230210T073839Z

X-Amz-Decoded-Content-Length: 10240

X-Amz-Content-SHA256: STREAMING-AWS4-HMAC-SHA256-PAYLOAD

Authorization: AWS4-HMAC-SHA256 Credential=687e486556264706fbc7/20230210/sdqd/s3/aws4_request, SignedHeaders=content-length;content-type;host;user-agent;x-amz-content-sha256;x-amz-date;x-amz-decoded-content-length, Signature=0dc...

traceparent: 00-74306b9e29bb01800d7ad7ff09bc293b-753f784ed4c13320-00

Content-Length: 10415

Content-Type: application/octet-stream

 

但是访问天翼云OOS仍然返回SignatureDoesNotMatch认证签名不对！

这次天翼云的技术客服也没招了，告知天翼云OOS不兼容Amazon S3的SDK。如果还想继续打通Amazon S3 SDK这条路，我只能靠自己了。

 

第四关：降级使用版本2认证头

百度，客服都无路可走了。折腾了这么久，元气已经耗尽了，头顶已经处于冒火状态。奥密克戎都没把我带走，这个难题差点要了我这半条老命。

冷静下来想了一下，还有活路。在VS2022的NuGet里边，搜索天翼云相关的库，勾选预览版，以关键字ctyun搜索，没有任何结果，真是绝了。

最后一条活路，在GitHub里边搜索ctyun，居然找到一个C# netcore的仓库！终于体验到“垂死病中惊坐起”的感觉。无比感谢大佬。

https://github.com/mn-s/ctyun-oos-net-core-sdk

 

我下载了代码，填上自己的天翼云OOS参数，运行一下PUT上传对象，居然成功了！卧槽！！最后一线希望居然成功了。

赶紧Fiddler抓包看发送的数据，原来用的是版本2的认证头！难怪了。

PUT https://xxx.oos-sdqd.ctyunapi.cn/test.obj HTTP/1.1

Host: xxx.oos-sdqd.ctyunapi.cn

Expect: 100-continue

User-Agent: aws-sdk-dotnet-coreclr/3.3.104.6 aws-sdk-dotnet-core/3.3.103.18 .NET_Core/7.0.1 OS/Microsoft_Windows_10.0.22000 ClientAsync

X-Amz-Date: Fri, 10 Feb 2023 09:31:49 GMT

Authorization: AWS 687e486556264706fbc7:AvJwhPrQ3B50IhrHMIsuXq62VNY=

Content-Length: 20

Content-Type: application/octet-stream

 

Ctyun OOS SDK for C#

 

HTTP/1.1 200 OK

Date: Fri, 10 Feb 2023 09:31:51 GMT

x-amz-request-id: 102c12aa50c34c8cb92c1f2e23303238f7f901edeff1f3f5f7

ETag: "847259bd5a9bb8fd1c13b17f1253229b"

Content-Length: 0

Server: CTYUN

 

至此，问题原因也非常清楚了，天翼云OOS只支持版本2认证头，不支持版本4认证头。

但是，我在修改我写的DEMO的时候，还是走了很多弯路。

我直接修改配置对象的SignatureVersion = "2"，测试发现仍然采用了版本4的认证头。我百思不得其解，抄ctyun-oos-net-core-sdk的代码，甚至引用他的类库，都不行，明明已经胜利在望了，却够不着。

var conf = new AmazonS3Config

    {

        ServiceURL = EndpointUrl,

AuthenticationRegion = "sdqd",

SignatureVersion = "2",

    };

经过仔细对比，终于发现一个疑点，ctyun-oos-net-core-sdk并没有设置AuthenticationRegion，也能够通过认证，我设置了反而通不过，决定删除AuthenticationRegion = "sdqd"这行，居然就通过了！这真是没天理啊！

我理解为，如果设置了AuthenticationRegion，Amazon S3 SDK就自动采用版本4认证，因此，千万不要设置AuthenticationRegion。

 

至此，实现了通过Amazon S3 SDK访问天翼云OSS经典I类型对象存储服务。

 

总结一下代码要点

NuGet安装

<PackageReference Include="AWSSDK.S3" Version="3.7.103.6" />

 

初始化AmazonS3Client客户端对象，

        var credentials = new BasicAWSCredentials(AccessKeyId, AccessKeySecret);

        var conf = new AmazonS3Config

        {

            ServiceURL = $"https://xxx.oos-sdqd.ctyunapi.cn”,

 

            //为了使用版本2认证，千万不能设置认证区域！否则会采用版本4，天翼云不支持版本4认证！

            //AuthenticationRegion = "sdqd",

 

            SignatureVersion = "2",

        };

 

        s3Client = new AmazonS3Client(credentials, conf);

 

PUT上传对象

public async Task<bool> PutObjectAsync(string objectName, Stream stream)

    {

        var req = new PutObjectRequest()

        {

            BucketName = _ossConfig.BucketName,

            Key = objectName,

            InputStream = stream,

        };

 

        var res = await s3Client.PutObjectAsync(req);

 

        if (res.HttpStatusCode == System.Net.HttpStatusCode.OK)

        {

            return true;

        }

        else

        {

            return false;

        }

}