2019年8月21日

airflow部署

摘要： 官网: http://airflow.apache.org/installation.html https://github.com/apache/airflow 原理: https://www.cnblogs.com/cord/p/9450910.html 安装: https://www.cnbl 阅读全文

posted @ 2019-08-21 18:39 锋锋2019 阅读(1488) 评论(0) 推荐(0) 编辑

CM金丝雀Canary报错

摘要： 参考： https://www.cnblogs.com/barneywill/p/10400788.html CM金丝雀Canary报错 1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 2 Hiv 阅读全文

posted @ 2019-08-21 18:13 锋锋2019 阅读(677) 评论(0) 推荐(0) 编辑

ucloud自动创建instance

摘要： 用terrform for ucloud: https://www.terraform.io/docs/providers/ucloud/index.html https://docs.ucloud.cn/compute/terraform/quickstart 用ucloud的py sdk: 具体 阅读全文

posted @ 2019-08-21 16:16 锋锋2019 阅读(154) 评论(0) 推荐(0) 编辑

拷贝文件

摘要： scp全量copyrsync增量copy 一、SCP: 推方式: scp -P52113 /etc/hosts root@172.16.1.41:/data #大P是更改端口 scp -P52113 -rp /etc/hosts root@172.16.1.41:/data #拷贝目录并保持文件属性 阅读全文

posted @ 2019-08-21 14:39 锋锋2019 阅读(180) 评论(0) 推荐(0) 编辑

hive排错

摘要： 找出错的那个hive实例，看错误日志： 点下面stdout，找Error 阅读全文

posted @ 2019-08-21 12:20 锋锋2019 阅读(154) 评论(0) 推荐(0) 编辑

调优

摘要： 见: 笔记 hdfs调优;dfs.socket.timeout 3000 480000dfs.datanode.socket.write.timeout 3000 480000dfs.replication 副本改为2dfs.blocksize 16M 128M 又调回16M ,几百K小文件多dfs 阅读全文

posted @ 2019-08-21 12:19 锋锋2019 阅读(736) 评论(1) 推荐(0) 编辑

导航