2017年6月7日
Spark术语
摘要： 1.resilient distributed dataset (RDD) The core programming abstraction in Spark, consisting of a fault-tolerant collection of elements that can be ope 阅读全文
posted @ 2017-06-07 18:27 静若清池 阅读(380) 评论(0) 推荐(0) 编辑
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常
摘要： 参考文章：http://www.jianshu.com/p/791137760c14 运行SparkStreming程序一段时间后，发现产生了异常： 如果消息体太大了，超过 fetch.message.max.bytes=1m的默认配置，那么Spark Streaming会直接抛出OffsetOut 阅读全文
posted @ 2017-06-07 16:17 静若清池 阅读(4410) 评论(1) 推荐(0) 编辑