shell 命令 创建/删除 软连接 ln -s
摘要：
软链接的作用是， 1. 节省复制造成的空间浪费 2. 保证两个文件的内容同时修改 所以，可以把软连接理解为给文件/文件夹创建了别名，当访问别名时，实际访问的是链接的文件/文件夹 软链文件 软链文件夹 删除软连接 阅读全文
posted @ 2019-04-15 18:53 dairui130 阅读(4984) 评论(0) 推荐(0) 编辑
2019年4月15日 #
azkaban disable 停用部分工作流
摘要：
在使用azkaban作为调度工具的时候，难免遇到只需要跑工作流某部分的情况，这时需要用到停用部分工作的操作， 如图： 阅读全文
posted @ 2019-04-15 15:23 dairui130 阅读(462) 评论(0) 推荐(0) 编辑
2019年4月14日 #
git dev 分支merge到master
摘要：
code reviewer之后，需要把dev分支的代码merge到master分支。通过在azkaban的服务器上git pull，最终将代码上线。 git dev 分支merge到master 打上版本标签 将master分支合并到dev 阅读全文
posted @ 2019-04-14 17:25 dairui130 阅读(6713) 评论(0) 推荐(0) 编辑
shell 命令 zip unzip
摘要：
工作当中，经常要用到zip压缩。 zip 将文件夹打包： 如文件夹名 xxx unzip -o 覆盖原有的文件夹 查询更多参数：zip --help unzip --help 另外，mac上，右键文件夹，点击压缩，可以将文件直接压缩为zip包。 如下： 阅读全文
posted @ 2019-04-14 14:46 dairui130 阅读(2821) 评论(0) 推荐(0) 编辑
2019年4月12日 #
git代码同步服务器代码需要注意的问题
摘要：
魔鬼藏在细节之中，git代码同步服务器代码需要注意的问题 1. 全文件夹覆盖 git pull 当前文件夹 2. 覆盖前做代码备份 mv origin origin_20190404_bak 阅读全文
posted @ 2019-04-12 14:30 dairui130 阅读(311) 评论(0) 推荐(0) 编辑
2019年4月11日 #
shell 命令 if elif else fi 用法
摘要：
#! /bin/bash if Iam; then echo "it worked two" else ls echo "I am in the else" fi 阅读全文
posted @ 2019-04-11 20:45 dairui130 阅读(2121) 评论(0) 推荐(0) 编辑
2019年4月10日 #
python 引入本地 module
摘要：
数据校验时，需要引入本地的一个告警python代码，引入的方式如下： 阅读全文
posted @ 2019-04-10 20:44 dairui130 阅读(528) 评论(0) 推荐(0) 编辑
2019年4月9日 #
hive 命令行传入参数
摘要：
azkban实现任务重跑 我们执行sql的方式是将hql文件上传到服务器本地。然后执行shell命令 注：hive -e 是执行依据短sql，hive -f是执行hql文件 test_scheduler.hql的内容是需要执行的sql语句，参数的写法如下图： azkaban 传入参数 1.配置job 阅读全文
posted @ 2019-04-09 23:49 dairui130 阅读(1626) 评论(0) 推荐(0) 编辑
emr hadoop 参数调优
摘要：
set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.size.per.task=100000000; set mapred.task.timeout=60000000; set hive.exec.compress.intermediate=true; set hive.exec.parall... 阅读全文
posted @ 2019-04-09 21:47 dairui130 阅读(319) 评论(0) 推荐(0) 编辑