阿里redis
摘要：
参考: 连接: https://help.aliyun.com/document_detail/43848.html?spm=a2c4g.11186623.2.29.295542efrNOQy0 同RDS: 需设置白名单和安全组才能访问: #注意,如果不需要帐号密码登录,这需要关闭: #如需要帐号密 阅读全文
posted @ 2019-12-07 20:44 锋锋2019 阅读(285) 评论(0) 推荐(0) 编辑
cmake升级到3.10以上
摘要：
使用yun install cmake3 安装 ，不会覆盖centos7 cmake 1 添加cmake3 源 echo '[group_kdesig-cmake3_EPEL]name=Copr repo for cmake3_EPEL owned by @kdesigbaseurl=https:/ 阅读全文
posted @ 2019-12-07 18:03 锋锋2019 阅读(2354) 评论(0) 推荐(0) 编辑
supervisor管理airflow
摘要：
#用airflow帐号 su - airflow. /home/airflow/venv/bin/activatepip install supervisormkdir -p /home/airflow/venv/etc拷贝G:\文档\大数据\airflow\ali-supervisord.conf 阅读全文
posted @ 2019-12-06 11:49 锋锋2019 阅读(421) 评论(0) 推荐(0) 编辑
airflow迁移
摘要：
airflow迁移:airflow.cfg文件可以copydbinit时改数据参数 #airflow震乾源码copy:/data/venv/lib/python3.6/site-packages/airflow 装impala:把生产库导到新aiflow 阅读全文
posted @ 2019-12-05 17:10 锋锋2019 阅读(431) 评论(0) 推荐(0) 编辑
flume部署
摘要：
参考： 笔记 https://www.cnblogs.com/yinzhengjie/p/11183988.html 官网： http://flume.apache.org/documentation.html user guide: https://github.com/apache/flume/ 阅读全文
posted @ 2019-12-05 12:19 锋锋2019 阅读(85) 评论(0) 推荐(0) 编辑
canal原理＆部署
摘要：
原理： https://www.jianshu.com/p/87944efe1005 部署： https://www.cnblogs.com/janes/p/9318576.html https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ 阅读全文
posted @ 2019-12-05 11:30 锋锋2019 阅读(324) 评论(0) 推荐(0) 编辑
EMR日常操作
摘要：
１／ 数据root密码修改后emr配置修改： 2/ 添加s3访问 S3:hadoop-aws-2.8.5.jarjar -tfv hadoop-aws-2.8.5.jar |grep S3FileSystem/usr/lib/hadoop-current/share/hadoop/tools/lib 阅读全文
posted @ 2019-12-05 11:05 锋锋2019 阅读(235) 评论(0) 推荐(0) 编辑
linux的route
摘要：
参考: https://blog.csdn.net/u011857683/article/details/83795435 老男孩: https://blog.51cto.com/oldboy/974194 阅读全文
posted @ 2019-12-03 10:57 锋锋2019 阅读(104) 评论(0) 推荐(0) 编辑
