2017年11月9日
Spark:将RDD[List[String,List[Person]]]中的List[Person]通过spark api保存为hdfs文件时一直出现not serializable task，没办法找到"spark自定义Kryo序列化输入输出API"
摘要： 声明：本文转自《在Spark中自定义Kryo序列化输入输出API》 在Spark中内置支持两种系列化格式：（1）、Java serialization；（2）、Kryo serialization。在默认情况下，Spark使用的是Java的ObjectOutputStream系列化框架，它支持所有继 阅读全文
posted @ 2017-11-09 01:34 cctext 阅读(663) 评论(0) 推荐(0) 编辑