随笔分类 - AWS
摘要:1.概念 Amazon s3全称Amazon Simple Storage Service,是一个对象存储,不是一个file system,所以在使用s3的时候,list dir会很慢 kv存储:从零开始写KV数据库:基于哈希索引 比如如下的s3路径 s3://BucketName/Project/
阅读全文
摘要:当使用S3作为Amazon EMR的存储的时候,当写入的流量比较大的时候,有时会遇到性能瓶颈,报错如下 Caused by: com.amazonaws.services.s3.model.AmazonS3Exception: Please reduce your request rate. 在如下
阅读全文
摘要:1.判断s3 object是否存在 import boto3 s3 = boto3.resource('s3') bucket = s3.Bucket('my-bucket') key = 'dootdoot.jpg' objs = list(bucket.objects.filter(Prefix
阅读全文
摘要:Amazon EMR是Amazon提供的托管大数据套件,可选的组件包括Hadoop,Hive,Hue,Hbase,Presto,Spark等 使用Amazon EMR的好处是快速伸缩,版本升级也较为方便,如果配合S3存储,可以做到计算和存储分离,这样对于运维的压力会小一些,存储的稳定性交给S3,计算
阅读全文