会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Wind_LPH
凡所向往,皆是虚妄
博客园
首页
新随笔
联系
订阅
管理
2019年8月2日
Spark未序列化问题(Task not Serialize)
摘要: spark未序列化问题虽然不难,但资料却不系统,现总结如下: 问题发生原因 当spark算子在使用外部变量时,就会发生序列化问题,如下图所示: 上述图中算子map会在各个节点运行,属于不同jvm间数据交换,需要对交换的内容进行序列化。这就是为什么需要序列化的原因。 方法 1) 序列化类,并使用bro
阅读全文
posted @ 2019-08-02 15:12 Wind_LPH
阅读(1919)
评论(5)
推荐(0)
编辑
公告