2019年12月5日

airflow迁移

摘要: airflow迁移:airflow.cfg文件可以copydbinit时改数据参数 #airflow震乾源码copy:/data/venv/lib/python3.6/site-packages/airflow 装impala:把生产库导到新aiflow 阅读全文

posted @ 2019-12-05 17:10 锋锋2019 阅读(431) 评论(0) 推荐(0) 编辑

flume部署

摘要: 参考: 笔记 https://www.cnblogs.com/yinzhengjie/p/11183988.html 官网: http://flume.apache.org/documentation.html user guide: https://github.com/apache/flume/ 阅读全文

posted @ 2019-12-05 12:19 锋锋2019 阅读(85) 评论(0) 推荐(0) 编辑

canal原理&部署

摘要: 原理: https://www.jianshu.com/p/87944efe1005 部署: https://www.cnblogs.com/janes/p/9318576.html https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ 阅读全文

posted @ 2019-12-05 11:30 锋锋2019 阅读(324) 评论(0) 推荐(0) 编辑

EMR日常操作

摘要: 1/ 数据root密码修改后emr配置修改: 2/ 添加s3访问 S3:hadoop-aws-2.8.5.jarjar -tfv hadoop-aws-2.8.5.jar |grep S3FileSystem/usr/lib/hadoop-current/share/hadoop/tools/lib 阅读全文

posted @ 2019-12-05 11:05 锋锋2019 阅读(235) 评论(0) 推荐(0) 编辑

导航