随笔分类 - linux
摘要：一、查看mysql是否已启动 二、登录mysql 三、假如需要重启mysql 查看docker中运行的容器docker ps，再重新启动mysql，docker restart 9299415df7f8
阅读全文
摘要：一个目录下有多个sql文件，hive需要执行该目录下的每个文件 #!/bin/bash dir=$(ls -l /app/test_warehouse/git/azkaban/test_shrimp/ods/ddl/ |awk '{print $NF}') for i in $dir do echo
阅读全文
摘要：有时候编辑的py文件，需要进行自动执行时，可以用以下方式进行定时 00 09 * * * /usr/local/bin/python3 /udata/ubi/uenbi_py/trade_all_daily.py >>/udata/ushks/pythoncode/pylog.log 2>&1
阅读全文
摘要：背景 项目中需要定时将本地文件上传至HDFS系统，按时间进行分目录存放，即每月1号生成一个月的目录，然后将这个月每天的数据存放在此目录下 实现逻辑： 通过判断当天日期，如果为本月一号，即先生成一个月的文件，然后再将数据存放在此目录下，如果不是当月1号，则直接把数据put到该目录下 export PA
阅读全文
摘要：背景 需要定时将本地文件上传到HDFS 中，为了方便操作，写了SHELL脚本定时上传，其代码如下，文件名为mkdir_file.sh export PATH =/opt/soft/hadoop-2.7.7/bin DAY=`date +%d` if [ $DAY -eq 1 ] then hdfs
阅读全文
摘要：使用`date +%y%m%d`例如: mkdir `log_date +%Y%m%d` tar cfvz /tmp/bak.`date +%y%m%d`.tar.gz /etccp /opt/data/wfbmall/16/wfbmall.log /opt/data/wfmall/16/histo
阅读全文
摘要：linux 常见操作 1.linux查看正在运行的进程 [root@master ~]# ps -ef | grep spark* # 查看正在运行的spark程序 [root@master ~]# history | grep scp # 查看历史运行的某个命令[root@master ~]# p
阅读全文
