摘要:
spark将数据写入redis时调用以下代码会报 org.apache.spark.SparkException: Task not serializableimport com.redis.RedisClientval r = new RedisClient("192.168.1.101", 63... 阅读全文
摘要:
1)spark把数据写入到hbase需要用到:PairRddFunctions的saveAsHadoopDataset方法,这里用到了implicit conversion,需要我们引入import org.apache.spark.SparkContext._2)spark写入hbase,实质是借... 阅读全文
摘要:
出现这个问题,是因为spark的excutor执行的时候,缺少hive的依赖包,添加依赖包的参数是:--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*... 阅读全文