摘要: 看到一位大牛总结的: ♣ Spark在windows7环境下的搭建: https://blog.csdn.net/u011513853/article/details/52865076 ♣ 用IDEA创建第一个Maven项目, scala项目, scala插件安装: https://blog.csd 阅读全文
posted @ 2018-05-15 16:54 TheEarthOnTheFly 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 1 #!/bin/bash 2 3 procPath="jar包的路径" 4 hdfsdir="hdfs://主节点hostname:端口号" 5 6 # 日期文件执行 7 proctime=$(date +%Y%m%d -d "-2 day") 8 lasttime=$(date +%Y%m%d 阅读全文
posted @ 2018-05-15 16:35 TheEarthOnTheFly 阅读(161) 评论(0) 推荐(0) 编辑
摘要: crontab定时任务最小支持到minute, 定时到秒执行的任务, 写起来比较麻烦 * * * * * /bin/sh /home/jiewang/portraitProc/test.sh >> /home/jiewang/portraitProc/test.txt 2>&1 /bin/sh 任何 阅读全文
posted @ 2018-05-15 16:33 TheEarthOnTheFly 阅读(2020) 评论(0) 推荐(0) 编辑
摘要: 权限问题 在shell脚本最前面添加下面内容: #hadoop export PATH=$PATH:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/home/user/ 阅读全文
posted @ 2018-05-15 16:22 TheEarthOnTheFly 阅读(664) 评论(0) 推荐(0) 编辑