摘要: EMR EMR使用场景:处理大量结构不一致的数据。 EMR node EBS加密:LUKS 或 EBS encryption EMR Hbase高可用:建额外的位于不同AZ的EMR Hbase read-replica cluster做高可用。 EMR master nodes批量初始化:1.cus 阅读全文
posted @ 2022-11-27 22:07 爱知菜 阅读(60) 评论(0) 推荐(0) 编辑
摘要: Kinesis Data Stream = KDS Kinesis Data Firehose = KDF Kinesis Data Analytics = KDA Kinesis Producer Library=KPL Kinesis Consumer Library=KCL KDF vs KD 阅读全文
posted @ 2022-11-27 22:02 爱知菜 阅读(76) 评论(0) 推荐(0) 编辑
摘要: Copy命令 Copy命令优化手段: 压缩, 2. 对大文件进行分割,一次copy多个文件。(文件数对应slice个数)3. 使用temporary staging table(这种方法的本质利用table的drop和create代替delete, update,insert,因为后者是DML会触发 阅读全文
posted @ 2022-11-27 21:51 爱知菜 阅读(45) 评论(0) 推荐(0) 编辑