09 2018 档案

摘要:1 创建RDD 2 单RDD转换 (1) MAP (2) filter (3) distinct (4) randomSplit (5) groupby 3 多个RDD转换运算 并集union intRDD1.union(intRDD2).union(intRDD3).collect() [3, 1 阅读全文
posted @ 2018-09-05 17:26 夕阳下的无名草 阅读(1023) 评论(0) 推荐(0)
摘要:1 isinstance(object, class-or-type-or-tuple) ->bool 内置函数isinstance有两个参数,第一个参数是待检测的对象,第二个参数是对象类型,可以是单个类型,也可以是元组,返回的bool类型 如果待检测对象属于第二个参数,则返回True;否则,返回F 阅读全文
posted @ 2018-09-05 10:21 夕阳下的无名草 阅读(179) 评论(0) 推荐(0)
摘要:RDD的两种操作 1.Tansformation(转化操作):返回值还是一个RDD 2.Action(行动操作):返回值不是一个RDD 第一种Transformation是返回一个新的RDD,如map(),filter()等。这种操作是lazy(惰性)的,即从一个RDD转换生成另一个RDD的操作不是 阅读全文
posted @ 2018-09-04 22:24 夕阳下的无名草 阅读(351) 评论(0) 推荐(0)