工作常用命令
git
下载仓库:git clone xxx.git
查看远程分支:git branch -a
查看本地分支:git branch
切换分支:git checkout -b 分支名 origin/分支名
更新:git pull
提交: git add.
git commit -m balabala
git push
hadoop
查看hdfs目录:hadoop fs -ls xxxx
查看bug日志:yarn logs -applicationId application_1591783893175_8387 > log
下载文件:hadoop fs -get /xxxxxx
查看文件内容前几行:hadoop fs -text /xxxxxx | head -5
查看目录所有子目录大小:hadoop fs -du xxxxx
移动目录: hadoop fs -mv xxxx1 xxxx2
删除目录:hdfs dfs -rm -r -f xxxx 用sh脚本删除!!!!
杀死yarn进程:yarn application -kill
SQL
查看sql:
mysql -u用户 -P端口号 -h主机地址 -p密码
切换表: use xxxx
linux
暂停进程:ctrl+z
查看进程:jobs -l
运行:fg bg
杀死进程:kill %num
静默运行:nohup command > output 2>&1 &
cmd跳到行首: ctrl+a
行尾:ctrl+e
复制机器2到机器3:scp -r /mnt/storage00/dengyong/DeepCluster_exp/DeepCluster/models/40661/ jssz-admodel-02:/mnt/storage00/guxi/scripts/
awk -F '\t' '{print $2}' | grep 2 | wc -l
vim
翻页 ctrl+f,ctrl+b
跳到最后:shift+g
搜索:/搜索的字符串+回车,n下一个匹配N上一个匹配
tmux
前缀:^a
新建窗口:tmux
退出窗口:d
进入上一次使用的窗口:tmux a
进入指定窗口:tmux a -t xxx
查看所有窗口:tmux ls
重命名:,
查看配置:~/.tmux.conf
关闭:tmux kill-session -t
mpi
杀掉进程: qdel xxx
其他
linux目录:/mnt/storage00/guxi
Hadoop目录:/department/buss_product/guxi
airflow任务放置目录:/mnt/storage00/airflow/share/dags/guxi
airflow仓库放置目录:/mnt/storage00/airflow/share/scripts
python3:py37 or /mnt/storage00/chenjiawei/tools/miniconda3/bin/python
训练特征模型方法:1 加特征 2 刷特征 3 训练
检查mysql数据:
select val from lau_algorithm_parameter_config where target_id=1397200 and function_type="OcpxTwoStageTruncate(cvr)"/"ResourceTypeTruncate(ctr)" limit 10;