摘要: # 此脚本主要做两件事# 1. 解压并读取原始S3路径中的.csv.gz格式的CUR文件,将字段名中的"/"修改为"_",将处理完成后的CUR文件以.csv格式存储到目标S3路径# 2. 创建Glue Crawler将处理完成的CUR文件导入到Athena中import boto3import pa 阅读全文
posted @ 2022-08-31 10:34 石头记事 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 参考链接: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/SQLServer.Procedural.Importing.html 1.创建RDS数据库 步骤略 2.创建S3存储桶,上传数据库备份文件 步骤略 3.修改RDS的Option 阅读全文
posted @ 2022-08-31 10:29 石头记事 阅读(343) 评论(0) 推荐(0) 编辑
摘要: CentOS 7.9安装ZFS&NFS 一、安装ZFS 1.确认操作系统版本 #cat /etc/centos-release 2.安装zfs库 #sudo yum install -y https://zfsonlinux.org/epel/zfs-release.el7_9.noarch.rpm 阅读全文
posted @ 2022-02-18 15:22 石头记事 阅读(2738) 评论(0) 推荐(1) 编辑
摘要: AWS DMS通过VPN隧道同步Aurora到Google CloudSQL 一、创建AWS到GCP的VPN连接 1.GCP端:创建一个外部IP地址(后面会attach到VPN连接) 点击“保留静态IP地址”创建External IP Address 创建完成后控制台上可以看到一个公网IP地址 2. 阅读全文
posted @ 2022-02-14 14:57 石头记事 阅读(1) 评论(0) 推荐(0) 编辑
摘要: Amazon DeepRacer 让强化学习So Easy 专注于基于AWS的云解决方案咨询工作,拥有15年IT行业从业经验和8年云架构咨询经验。在服务网宿科技全球一线客户的多年经验积累中,他敏锐意识到公司的目标客户群体与AWS客户群体的一致性,以及双方产品的互补性。基于AWS合作伙伴网络,他致力于 阅读全文
posted @ 2021-07-30 16:34 石头记事 阅读(1153) 评论(0) 推荐(0) 编辑
摘要: 没时间写,先给个参考链接 参考链接: https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery https://cloud.google.com/data-fusion/docs/ho 阅读全文
posted @ 2021-06-16 11:09 石头记事 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 通过aws-data-replication-hub实现S3中国区域和全球区域复制 参考链接:https://github.com/awslabs/aws-data-replication-hub AWS S3跨区域或者跨账号迁移/复制一般可以使用AWS Cross-Region Replicait 阅读全文
posted @ 2021-01-22 10:16 石头记事 阅读(1262) 评论(1) 推荐(0) 编辑
摘要: AWS EKS创建出来之后默认在控制台上是不显示node和workload信息的,因为K8S的RBAC未授权控制台用户调用k8s的api server。 通过以下方法可以给aws控制台用户授权,并在控制台上查看EKS的node和workload信息。 通过IAM polciy授权控制台用户访问EKS 阅读全文
posted @ 2020-12-10 18:01 石头记事 阅读(493) 评论(0) 推荐(0) 编辑
摘要: 1.准备一个CIDR网段的文件 如: iplist.txt 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 2.编写如下脚本(需要提前安装配置AWS CLI) #!/bin/bashcat iplist.txt | while read linedo aws 阅读全文
posted @ 2020-11-13 17:10 石头记事 阅读(961) 评论(0) 推荐(0) 编辑
摘要: 前提条件: 1. https://docs.aws.amazon.com/zh_cn/vm-import/latest/userguide/vmie_prereqs.html 2.安装aws cli 此处以.ova格式为例 1.导入.ova文件到s3 aws s3 cp Downloads/Cent 阅读全文
posted @ 2020-04-14 11:28 石头记事 阅读(1204) 评论(0) 推荐(0) 编辑