spark or sparkstreaming的内存泄露问题?

关于sparkstreaming的无法正常产生数据---->到崩溃---->到数据读写极为缓慢(或块丢失?)问题

前两阶段请看我的博客:https://www.cnblogs.com/wang-jia-hong/p/10189513.html

那么我来分享下我对streaming数据读写突然变的极为缓慢的问题的解决方法

我们的线上的streming程序一个月会有3-4次的崩溃,在经历这次的崩溃后,我感觉问题有可能出在spark的driver内存泄露了.目前我调整了driver的内存大小,从2G调整到了3G

然后读写恢复正常

然后为了证实是否是此问题,我预先收集了相关的spark的driver的内存泄露解决方案 如下

以上的解决方案如下↓

_____________________________________________________________________________________________________________

其他的请看相关原作者链接   :  https://blog.csdn.net/qq_33160722/article/details/54092560

 

然后我查看了下我的sparkstreaming的GC情况

!!!!年轻带GC并没有增长!!难道并不是内存泄露问题吗???要是这样我估计得要改掉我的博客标题咯?

于是继续查看...