博客园  :: 首页  :: 管理

随笔分类 -  [04]AWS记录类 / AWS-S3-Bucket

关于AWS-ELB-的日志配置-输出到s3-bucket

摘要：笔者使用的ELB中的NLB，以NLB为例 日志配置，笔者只写到简单的桶级别，最后没有/符号 ，S3的策略如下 { "Version": "2012-10-17", "Id": "AWSLogDeliveryWrite", "Statement": [ { "Sid": "AWSLogDelivery 阅读全文

posted @ 2024-04-02 17:26 520_1351 阅读(74) 评论(0) 推荐(0) 编辑

关于AWS-S3-Bucket的存储桶版本控制字段的说明

摘要：对于S3 Bukcet，在其属性界面，都能看到 【存储桶版本控制】 其值有3个，已暂停(Suspended)，已启用，已禁用 我们可以通过AWS SDK for Python (Boto3)的方便查询指定S3 Bucket的存储桶版本控制，的状态值 BucketVersionResponse=New 阅读全文

posted @ 2023-08-03 14:56 520_1351 阅读(100) 评论(0) 推荐(0) 编辑

关于S3生命周期配置规则-将对象的当前版本设为过期-的作用及影响说明

摘要：我们在对S3 Bucket 配置生命周期配置时，会看到有 【生命周期规则操作】下面有一个 Expire current versions of objects 也即是 【将对象的当前版本设为过期】的选框，如下图所示 对于一些有备份要求的对象，如要求只保存7天的备份的S3 Bucket， 笔者一般就是 阅读全文

posted @ 2023-08-02 21:16 520_1351 阅读(493) 评论(0) 推荐(0) 编辑

关于AWS中创建一个EC2使用的IAM-Role-访问指定的S3-bucket的权限策略

摘要：背景：需要为一台EC2创建一个IMA,Role，用于访问和管理指定的S3 bucket，要求对S3 Bucket有安全的控制权限 细节点：S3 使用了KMS加密，也是需要考虑到这一点的，控制权限时，应该也要限定到具体的某个KMS 实现，在IAM中，创建一个用于EC2的Role，在Role中创建一个P 阅读全文

posted @ 2023-08-01 10:00 520_1351 阅读(159) 评论(0) 推荐(0) 编辑

关于S3对象加密密钥信息以及S3-bucket桶默认加密的配置

摘要：今天在看到一个s3中的对属性时，发现服务端加密显示的Off , 那么就意味着这个对象是没有使用加密的 但笔者就一直思考了、怎么会没有加密呢，关于s3-bucket和对象，都找不到地方是可以关闭加密的呢， 后面去看了一下官方文档：Protecting data using server-side en 阅读全文

posted @ 2023-04-11 14:20 520_1351 阅读(236) 评论(0) 推荐(0) 编辑

关于s3-bucket使用client.list_objects_v2列出所有的对象与指定目录下的所有对象

摘要：使用AWS SDK for Python (Boto3) 的 S3的client下的list_objects_v2， 可以列出一个s3 bucket 桶的所有对象，可以返回如下几个重要的字段的 Key, LastModified, ETag, Size, StorageClass 实现的核心代码如下 阅读全文

posted @ 2023-04-07 22:22 520_1351 阅读(1499) 评论(0) 推荐(0) 编辑

关于对S3-bucket-桶list_objects与list_objects_v2的区别

摘要：在AWS SDK for Python (Boto3) 文档上可以看到S3的client的部分，有list_objects 与 list_objects_v2 两个操作 根据名字看来就可以猜到是列出s3 bucket中的对象，其中V2应该是后面出来的版本吧，于是认真看了一下介绍 S3.Client. 阅读全文

posted @ 2023-04-07 21:19 520_1351 阅读(1030) 评论(0) 推荐(0) 编辑

关于aws-s3-bucket-静态网站托管相关的查询-S3.Client.get_bucket_website(**kwargs)

摘要：关于aws-s3-bucket-静态网站托管相关的查询，这里笔者主要整理一下基于AWS SDK for Python (Boto3)方式，相关的判断和逻辑 1、首先是判断s3-bucket有没有开启静态网站托管，即页面上的 Static website hosting 的值 Enabled|Disa 阅读全文

posted @ 2023-03-25 12:43 520_1351 阅读(60) 评论(0) 推荐(0) 编辑

关于AWS-S3-Bucket-Console-Web控制页面上的Creation date与命令行-API方式如何获取到真正的CreationDate

摘要：首先，说明一下，在AWS S3 Bucket Console web 界面看到的Create date 这个日期是真正的s3 桶子的创建的日期 当s3 桶子过多时，我们需要统一收集创建日期，这就需要使用到aws cli 或者 AWS SDK for Python (Boto3) 等方式了 但是笔者在 阅读全文

posted @ 2023-03-14 21:34 520_1351 阅读(36) 评论(0) 推荐(0) 编辑

关于aws cli命令的exit/return code分析

摘要：最近总是收到一个备份脚本的失败邮件，脚本是之前同事写的，没有加入任何有调试信息，及有用的日志 于是去分析 ，脚本中有一条 aws s3 sync $srclocal $dsts3 命令，然后根据这条命令的执行状态码判断成功与失败 失败后，会发送失败的提醒邮件，然后去s3界面去看，s3 sync备份任 阅读全文

posted @ 2021-11-08 12:37 520_1351 阅读(239) 评论(0) 推荐(0) 编辑

关于VPC中private私有子网访问s3时报错：Connect timeout on endpoint URL

摘要：今天在使用private私有子网，通过aws s3命令访问s3时，报如下错误： [qq_5201351@private ~]$ aws s3 ls Connect timeout on endpoint URL: "https://s3.amazonaws.com/" [qq_5201351@pri 阅读全文

posted @ 2021-11-07 17:20 520_1351 阅读(450) 评论(0) 推荐(0) 编辑

aws-s3-国际global与国内CN的一些说明

摘要：S3云存储国际版最近经常被墙，国内部分地区有时能正常上传下载，有时也会直接报错网络错误等信息， 所以建议S3使用国内AWS的。国内S3与国外S3在使用时需要注意以下几点： 1）URL不通用 国际版的S3可以使用不带Region的URL，例如：http://{bucket}.s3.amazonaws. 阅读全文

posted @ 2021-09-29 11:31 520_1351 阅读(1913) 评论(0) 推荐(0) 编辑

aws-cli命令-S3相关的操作及管理

摘要：在工作中，我们可能经常会将本地数据上传S3进行备份，或者将S3数据下载到本地 本文主要讲解下，工作中可能经常会用到的与S3相关的操作 1、查询相关的命令，很多时间需要加上--recursive 选项，可以对某个目录下递归列出，格式固定中间的大小单位都是字节 Byte [qq-5201351@loca 阅读全文

posted @ 2021-04-25 10:46 520_1351 阅读(529) 评论(0) 推荐(0) 编辑