摘要: RDD:Resilient Distributed Dataset(弹性分布式数据集)弹性:数据集的可恢复型原因:在分布式环境下,运算节点很容易出问题,会造成数据的丢失,rdd可以在数据丢失的背景下恢复数据。数据恢复的技术:1.基本备份2.基于日志(hadoop na... 阅读全文
posted @ 2018-11-14 17:41 IT晓白 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 1.创建maven工程创建project--Java创建module--maven2.添加依赖 org.apache.spark spark-core_2.11 2.3.0 ... 阅读全文
posted @ 2018-11-14 17:39 IT晓白 阅读(138) 评论(0) 推荐(0) 编辑