sparkStreaming序列化问题

执行sparkSTreaming+kafka
报错如下：
org.apache.spark.SparkException: Task not serializable
......
Caused by: java.io.NotSerializableException: org.I0Itec.zkclient.ZkClient
.......

 

出错原因：

spark中的算子，类似：map和filter，在处理数据过程中如果接收外部变量，那么会报上面的错

posted @ 2014-03-17 16:13  niutao  阅读(334)  评论(0)  编辑  收藏  举报