docker python crontab 定时任务
摘要:背景:有10以下定时任务,他们互不关联,需要放在server 上docker里面 run, 目前任务少,还未安装airflow , 临时方案 使用: 1.下载镜像 sudo docker pull happysea/python:cronjob 2. 运行镜像 (把脚本挂载出来) sudo dock
阅读全文
posted @
2021-08-12 11:30
lshan
阅读(1047)
推荐(0) 编辑
sqoop 脚本
摘要:sqoop 脚本: #!/bin/bash ######## sqoop_import.sh $1 $2 ####### db_date=$2 echo $db_date db_name=gmall #########该方法有两个参数 $1 $2############ import_data()
阅读全文
posted @
2020-06-17 10:32
lshan
阅读(707)
推荐(0) 编辑
shell 日期格式化 date
摘要:ts="$(date '+%s')" ==》时间戳sed -i "s/main.js?v=[0-9]*$/main.js?v=${ts}/g" ./xxx/index.html #change-domain-entrypoint.sh echo '#!/bin/bash sed -i 's/\${D
阅读全文
posted @
2020-06-04 14:35
lshan
阅读(7703)
推荐(0) 编辑
服务远程启动停止脚本,及开机自启
摘要:复制或软连接脚本到/etc/init.d/目录下 将脚本添加到初始化执行的队列中去 注意如果脚本需要用到网络,则NN需设置一个比较大的数字,如99。 命令:update-rc.d xxx defaults NN命令 #(NN为启动顺序) ubuntu 16.04中一定要加上以下LSB信息,不然放入启
阅读全文
posted @
2020-05-29 17:02
lshan
阅读(615)
推荐(0) 编辑
用于定时启动脚本,如果已经启动,就跳过
摘要:用于定时启动脚本,如果已经启动,y已及检查脚本是否已启动,如果启动就跳过 ubuntu 16.04 consumer.sh #!/bin/bash COUNT=`ps -ef | grep $1 | grep -v grep | wc -l ` echo $COUNT if [ $COUNT -eq
阅读全文
posted @
2020-05-28 18:08
lshan
阅读(264)
推荐(0) 编辑
window CMD 查找端口被占用
摘要:1.查找 在CMD窗口中输入netstat -aon|findstr 80,80表示要查看的端口号。 eg::netstat -ano|findstr 25520 2.删除 找到这个端口的占用PID后,就可以杀死这个进程,用下面的命令: tasklist|findstr 25520; taskkil
阅读全文
posted @
2020-03-29 17:24
lshan
阅读(797)
推荐(0) 编辑
ps 获取pid 常用
摘要:1. ps -ef | grep zookeeper | grep -v grep | awk '{print $2}' | xargs kill -9 kill $(ps aux | grep process_name | grep -v grep| tr -s ' '| cut -d ' ' -
阅读全文
posted @
2020-01-19 15:23
lshan
阅读(3292)
推荐(0) 编辑
crontab post method
摘要:Step by step for crontab stop setup Sea@sea:/etc/lazada$ sudo crontab -e 1.Edit cron job 0 */6 * * * curl -X POST -d @/etc/lzd/lzd_tracking.txt http:/
阅读全文
posted @
2020-01-17 18:46
lshan
阅读(320)
推荐(0) 编辑
time 集群一起修改时间
摘要:1)在/home/sea/bin目录下创建脚本dt.sh [sea@hadoop102 bin]$ vim dt.sh 2)在脚本中编写如下内容: #!/bin/bash log_date=$1 for i in hadoop102 hadoop103 hadoop104 do ssh -t $i
阅读全文
posted @
2020-01-15 17:40
lshan
阅读(147)
推荐(0) 编辑
xcall.sh
摘要:参数 $* : 表示把输入的所有当成参数 1)在/usr/local/bin目录下创建脚本xcall [sea@hadoop102 bin]$ vim xcall 2)在脚本中编写如下内容: #!/bin/bashfor i in hadoop001 hadoop002 hadoop003do ec
阅读全文
posted @
2020-01-15 17:36
lshan
阅读(578)
推荐(0) 编辑
yum centos 修改镜像源
摘要:参考:https://blog.csdn.net/sj349781478/article/details/78736873 3、清除yum缓存 yum clean all yum makecache yum clean all yum makecache 先说下安装网络源的步骤: 修改CentOS默
阅读全文
posted @
2019-04-09 15:31
lshan
阅读(903)
推荐(0) 编辑
xsync scp myscp
摘要:摘要: 1.xsync 工具 2.scp shh 免密(expect 交互自动输入密码) 并且解决文件路径有空格问题 shell 小工具,用于集群搭建: xsync脚本基于rsync工具,rsync 远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点,它只是拷贝文件不
阅读全文
posted @
2019-04-07 19:45
lshan
阅读(780)
推荐(0) 编辑
vi/vim编辑器
摘要:vi/vim编辑器一般模式 yy 复制一行yNy 复制N行p 粘贴u 撤销dd 删除一行dNd 删除N行x 小写x,相当于delX 大写X,相当于Backspaceshift+^ 移动到行头shift+& 移动到行尾1+shift+g 移动到页面头shift+g 移动到页面尾n+shift+g 移动
阅读全文
posted @
2019-04-03 14:02
lshan
阅读(130)
推荐(0) 编辑
shell doc
摘要:参考: http://c.biancheng.net/view/1114.html IF :比较 IF高级特性:双圆括号(( )):表示数学表达式 在判断命令中只允许在比较中进行简单的算术操作,而双圆括号提供更多的数学符号,而且在双圆括号里面的'>','<'号不需要转意。 双方括号[[ ]]:表示高
阅读全文
posted @
2019-04-03 11:24
lshan
阅读(140)
推荐(0) 编辑