随笔分类 -  AWS

摘要:1.概念 Amazon s3全称Amazon Simple Storage Service,是一个对象存储,不是一个file system,所以在使用s3的时候,list dir会很慢 kv存储:从零开始写KV数据库:基于哈希索引 比如如下的s3路径 s3://BucketName/Project/ 阅读全文
posted @ 2020-09-17 10:51 tonglin0325 阅读(1533) 评论(0) 推荐(1) 编辑
摘要:当使用S3作为Amazon EMR的存储的时候,当写入的流量比较大的时候,有时会遇到性能瓶颈,报错如下 Caused by: com.amazonaws.services.s3.model.AmazonS3Exception: Please reduce your request rate. 在如下 阅读全文
posted @ 2017-01-02 11:51 tonglin0325 阅读(866) 评论(0) 推荐(0) 编辑
摘要:1.判断s3 object是否存在 import boto3 s3 = boto3.resource('s3') bucket = s3.Bucket('my-bucket') key = 'dootdoot.jpg' objs = list(bucket.objects.filter(Prefix 阅读全文
posted @ 2016-04-04 11:17 tonglin0325 阅读(274) 评论(0) 推荐(0) 编辑
摘要:Amazon EMR是Amazon提供的托管大数据套件,可选的组件包括Hadoop,Hive,Hue,Hbase,Presto,Spark等 使用Amazon EMR的好处是快速伸缩,版本升级也较为方便,如果配合S3存储,可以做到计算和存储分离,这样对于运维的压力会小一些,存储的稳定性交给S3,计算 阅读全文
posted @ 2015-08-08 23:36 tonglin0325 阅读(565) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示