2017 年 11月 21 日随笔档案 - 立中宵

公告

2017年11月21日

摘要： 1）输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为Spark中的数据块，通过BlockManager进行管理。 2）运行：在Spark数据输入阅读全文

posted @ 2017-11-21 17:26 立中宵阅读(1038) 评论(0) 推荐(0) 编辑