随笔分类 - AWS
摘要：AWS官方文档：CodeDeploy AppSpec File reference - AWS CodeDeploy (amazon.com) appspec.yml中location指定的脚本文件 当CodeDeploy Agent执行location指向脚本文件的时候，有两点： 1. 脚本文件的
阅读全文
摘要：EMR EMR使用场景：处理大量结构不一致的数据。 EMR node EBS加密：LUKS 或 EBS encryption EMR Hbase高可用：建额外的位于不同AZ的EMR Hbase read-replica cluster做高可用。 EMR master nodes批量初始化：1.cus
阅读全文
摘要：Copy命令 Copy命令优化手段： 压缩， 2. 对大文件进行分割，一次copy多个文件。（文件数对应slice个数）3. 使用temporary staging table（这种方法的本质利用table的drop和create代替delete， update，insert，因为后者是DML会触发
阅读全文
摘要：Athena Athena查询隔离=Work Group, 可以control per-query data usage limit.Athena查询速度优化：1. 压缩 2. 列式存储 3. S3和Athena同一个RegionAthena查询成本优化：1.Partition by，2. 列式存储
阅读全文
摘要：Glue Crawler会默认使用： Serde serialization liborg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 作为CSV文件的解析引擎。 但是如果CSV用双引号作为封闭符的话，这个引擎会把双引号当作数据的一部分，不能正确识别
阅读全文
摘要：研究了一天的ruby编译和安装，最后发现SSM安装一键搞定： 安装很快，装完后就能看到。 参考链接： Use the register command (IAM user ARN) to register an on-premises instance - Amazon CodeDeploy (am
阅读全文
摘要：AWS Lambda支持Python的多个版本作为runtime 在Lambda上使用Python的常用问题： 1. Python library AWS Lambda Runtime只支持原生的runtime，并没有预装任何library。 在Lambda中引入library，利用 “pip in
阅读全文
摘要：概述 AWS中与安全相关的组件主要有如下5个： AWS Inspector： 为EC2打漏洞补丁。AWS Shield Advance： 在OSI第4层，防止DDoS攻击。AWS WAF： 防火墙，工作在OSI第7层，可以防止DDoS，SQL注入和XSS等攻击。AWS GuardDuty：安全监控，
阅读全文
摘要：加密 RDS启用加密：备份snapshot，备份的页面中有一个选项可以选择加密，然后还原被加密的snapshot。RDS启用加密后，log/snapshot/backup都是自动加密的。RDS启用TLS加密，需要下载AWS提供的根证书。RDS MySQL强制数据库连接使用SSL，需要在MySQL使用
阅读全文
摘要：最近在备考AWS架构师认证，发现一道有意思的题目。网上都找不到正解。 题目如下： A company's operations team has an existing Amazon S3 bucket configured to notify an Amazon SQS queue when ne
阅读全文
