摘要: 在应用程序中,经常在Lambda 中调用redshift data api 去查询 redshift serverless 的数据,以下描述具体实现过程: 1:给Lambda 创建一个执行Lambda的IAM Role,并具有访问redshift serverless 权限,同时需要指定获取临时凭证 阅读全文
posted @ 2023-02-14 22:27 黎明踏浪号 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 在AWS环境,一般会使用S3作为数据湖,在S3上存储组织中的结构化,半结构化及非结构化的数据,这里使用了一个网上比较典型的AWS 数据湖仓的架构 Glue Catalog数据目录的建立 Glue可以使用Crawler 爬网程序读取一些特定格式的文件列头元数据,比如Avro,CSV,Apache Pa 阅读全文
posted @ 2023-02-14 18:28 黎明踏浪号 阅读(552) 评论(0) 推荐(0) 编辑