11 2020 档案

解决spark日志清理问题
摘要：背景 由于采用了sparkstreaming 任务一直再运行导致日志文件暴涨，达到了硬盘的预警，不得已必须指定策略定期删除日志已保证服务器硬盘空间。 spark的日志分类 spark的日志都有那些： 1.event(history) 2.work 3.executor 解决方法 方案1 一开始为了快 阅读全文
posted @ 2020-11-18 18:17 DB乐之者 阅读(2304) 评论(1) 推荐(0) 编辑
Spark Standalone模式 高可用部署
摘要：本文使用Spark的版本为：spark-2.4.0-bin-hadoop2.7.tgz。 spark的集群采用3台机器进行搭建，机器分别是server01，server02,server03。 其中：server01,server02设置为Master，server01,server02,serve 阅读全文
posted @ 2020-11-12 19:08 DB乐之者 阅读(332) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示