spark元组的列表转化为字典

好吧，元组不能转为字典。或者说直接不能转，间接可以。当然元组有格式要求的。

[(key1,value1),(key2,value2),...]

之所以把这个问题抛出来是因为，spark的zipWithIndex本来应返回字典，但却返回了上面这种格式。

当然在spark的环境下它还是可以被当做字典支持的。你可以用lookup函数。

然而，lookup函数式不能传到rdd的一些操作的lambda表达式的，例如：

#一个错误的例子
sholdbedict = sc.parallelize([4,5,6]).zipWithIndex()
sholdbedict.collect()#输出[(4, 0), (5, 1), (6, 2)]
sholdbedict.lookup(6)#也没错
just4test = sc.parallelize([6,4,6])
just4test.map(lambda _: sholdbedict.lookup(_))#返回每个元素的编号，报错了
#结束一个错误的例子

因为lookup不能传到RDD.map函数里。其它的也不行。

所以，我们需要把刚才生成的rdd保存到一个rdd之外的变量里。而且这个变量最好是一个字典。

实现这个效果的方法有多种，在这里，我是使用一个reduce函数完成这件事的。

 

def tu2dic(a,b):
    if type(a)==type((1,2)):
        res={a[0]:a[1]}
    else:
        res=a;
    if type(b)==type((1,2)):
        res[b[0]]=b[1]
    else:
        res.update(b)
    return res

　这里定义的是一会儿要用到的函数

sholdbedict = sc.parallelize([4,5,6]).zipWithIndex().reduce(tu2dic)#输出了一个字典

just4test.map(lambda _: sholdbedict[_]).collect()#得到了正确的结果[2,0,2]

~~~~~~~~~~本~~~节~~~完~~~~~~~~~~

PS：这个东西在看那本spark机器学习的书的时候或许有用。

欢迎补充更方便的方法。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

好吧，真的有其它的方法，rdd的collectAsMap函数有类似的功能。