11 2022 档案

AWS DAS认证考点整理（EMR QuickSight Lakeformation等）

摘要：EMR EMR使用场景：处理大量结构不一致的数据。 EMR node EBS加密：LUKS 或 EBS encryption EMR Hbase高可用：建额外的位于不同AZ的EMR Hbase read-replica cluster做高可用。 EMR master nodes批量初始化：1.cus 阅读全文

posted @ 2022-11-27 22:07 爱知菜阅读(63) 评论(0) 推荐(0) 编辑

AWS DAS认证考点整理（Kinesis篇）

摘要：Kinesis Data Stream = KDS Kinesis Data Firehose = KDF Kinesis Data Analytics = KDA Kinesis Producer Library=KPL Kinesis Consumer Library=KCL KDF vs KD 阅读全文

posted @ 2022-11-27 22:02 爱知菜阅读(88) 评论(0) 推荐(0) 编辑

AWS DAS认证考点整理（Redshift篇）

摘要：Copy命令 Copy命令优化手段：压缩， 2. 对大文件进行分割，一次copy多个文件。（文件数对应slice个数）3. 使用temporary staging table（这种方法的本质利用table的drop和create代替delete， update，insert，因为后者是DML会触发阅读全文

posted @ 2022-11-27 21:51 爱知菜阅读(47) 评论(0) 推荐(0) 编辑

AWS DAS认证考点整理（Athena&Glue篇）

摘要：Athena Athena查询隔离=Work Group, 可以control per-query data usage limit.Athena查询速度优化：1. 压缩 2. 列式存储 3. S3和Athena同一个RegionAthena查询成本优化：1.Partition by，2. 列式存储阅读全文

posted @ 2022-11-17 12:09 爱知菜阅读(80) 评论(0) 推荐(0) 编辑

AWS China Elastic Beanstalk 填坑记（Python Flask）

摘要：本文记述的事发生在2022年11月，环境是AWS China Region，不是AWS Gobal。 Elastic Beanstalk简称EB。尝试把一个Python Flask Web部署到Elastic Beanstalk上去，过程中发现了AWS无论是中国区还是全球区的文档和实际情况不符。阅读全文

posted @ 2022-11-04 21:33 爱知菜阅读(47) 评论(0) 推荐(0) 编辑