摘要:
1 贴出完整日志信息 2 原因,原因是因为Spark提交任务到yarn集群,需要上传Hadoop相关yarn的jar包 3 解决办法,提前上传到HDFS集群,并且在Spark配置文件指定文件路径,就可以避免每次提交任务到Yarn都需要重复上传文件 4 配置步骤 Spark版本 spark-2.2.0 阅读全文
摘要:
1 Local模式 本地模式 local模式 一台机器即可,开箱即用 不指定master,或者 --master local local[N] local[*] local模式下,使用多少个cores 2 standalone集群模式 spark自带的集群模式 Master Worker --mas 阅读全文
摘要:
阅读全文
摘要:
阅读全文
摘要:
阅读全文
摘要:
1 监控cron状态 正常开启的状态 2 检查执行日志,过滤自己配置的定时任务脚本关键字 有查询到前一天23点30分有执行清理Tomcat日志的脚本被执行过 3 自己的定时任务配置 阅读全文
摘要:
1 Shell脚本案例 删除超过30天的日志文件 2 配置定时执行,每天23点30分执行一次 阅读全文
摘要:
1 首先查询磁盘空间占用情况。 发现/根目录下面磁盘占用百分之一百 2 进入根目录,查询大文件与目录 3 然后不断执行上面的过程,进入大文件目录,定位大文件 4 最后找到是Tomcat下面logs日志占据了20多G文件,删除,重启Tomcat释放空间 阅读全文