随笔分类 - AWS
摘要：Redshift的扩容的节点数不是随意可以配置的，而是和初始状态的集群节点数成比例关系： Resize大约3T的集群大概 20-30分钟，期间集群不可用（已经建立的数据库连接查询会卡住，新数据库连接无法建立）。 统计信息（STL_ANALYZE）reisze后会保留。 由于已经建立的数据库连接查询会
阅读全文
摘要：AWS官方文档：CodeDeploy AppSpec File reference - AWS CodeDeploy (amazon.com) appspec.yml中location指定的脚本文件 当CodeDeploy Agent执行location指向脚本文件的时候，有两点： 1. 脚本文件的
阅读全文
摘要：Kinesis Data Stream = KDS Kinesis Data Firehose = KDF Kinesis Data Analytics = KDA Kinesis Producer Library=KPL Kinesis Consumer Library=KCL KDF vs KD
阅读全文
摘要：Copy命令 Copy命令优化手段： 压缩， 2. 对大文件进行分割，一次copy多个文件。（文件数对应slice个数）3. 使用temporary staging table（这种方法的本质利用table的drop和create代替delete， update，insert，因为后者是DML会触发
阅读全文
摘要：Athena Athena查询隔离=Work Group, 可以control per-query data usage limit.Athena查询速度优化：1. 压缩 2. 列式存储 3. S3和Athena同一个RegionAthena查询成本优化：1.Partition by，2. 列式存储
阅读全文
摘要：本文记述的事发生在2022年11月，环境是AWS China Region，不是AWS Gobal。 Elastic Beanstalk简称EB。 尝试把一个Python Flask Web部署到Elastic Beanstalk上去，过程中发现了AWS无论是中国区还是全球区的文档和实际情况不符。
阅读全文
摘要：Glue Crawler会默认使用： Serde serialization liborg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 作为CSV文件的解析引擎。 但是如果CSV用双引号作为封闭符的话，这个引擎会把双引号当作数据的一部分，不能正确识别
阅读全文
摘要：研究了一天的ruby编译和安装，最后发现SSM安装一键搞定： 安装很快，装完后就能看到。 参考链接： Use the register command (IAM user ARN) to register an on-premises instance - Amazon CodeDeploy (am
阅读全文
摘要：AWS Lambda支持Python的多个版本作为runtime 在Lambda上使用Python的常用问题： 1. Python library AWS Lambda Runtime只支持原生的runtime，并没有预装任何library。 在Lambda中引入library，利用 “pip in
阅读全文
摘要：概述 AWS中与安全相关的组件主要有如下5个： AWS Inspector： 为EC2打漏洞补丁。AWS Shield Advance： 在OSI第4层，防止DDoS攻击。AWS WAF： 防火墙，工作在OSI第7层，可以防止DDoS，SQL注入和XSS等攻击。AWS GuardDuty：安全监控，
阅读全文
摘要：加密 RDS启用加密：备份snapshot，备份的页面中有一个选项可以选择加密，然后还原被加密的snapshot。RDS启用加密后，log/snapshot/backup都是自动加密的。RDS启用TLS加密，需要下载AWS提供的根证书。RDS MySQL强制数据库连接使用SSL，需要在MySQL使用
阅读全文
摘要：最近在备考AWS架构师认证，发现一道有意思的题目。网上都找不到正解。 题目如下： A company's operations team has an existing Amazon S3 bucket configured to notify an Amazon SQS queue when ne
阅读全文
