01 2018 档案
摘要：groupBy 和SQL中groupby一样，只是后面必须结合聚合函数使用才可以。 例如： groupByKey 对Key Value形式的RDD的操作。 例如(取自 "link" )： reduceByKey 与groupByKey功能一样，只是实现不一样。本函数会先在每个分区聚合然后再进行总的统
阅读全文
摘要：forall 对集合中的元素进行某个判断，全部为true则返回true，反之返回false。 例如： exists 对集合中的元素进行某个判断，其中之一符合条件则返回true，反之返回false。和forall是一个对应的关系，相当于 and 和 or。 例如： foreach 对集合中元素进行某种
阅读全文
摘要：问题描述 1. 开始使用 去解码，部分数据也提示如题的错误 2. 然后尝试使用 ，会提示 不属于 原因 1. 原因应该是编码后的URL长度不符合要求（要求长度是4的倍数），导致的这个问题 解决 1. 开始看到了 "这个" ，还以为这个bug没解决呢，后来想想不可能，这么容易改的，早应该有人改掉了，继
阅读全文
摘要：sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类 详述 1. 使用sbt对写的Spark程序打包，过程中没有问题 2. spark submit提交jar包运行提示找不到对应的类 解决 1. 编译环境没有变化，将代码拷贝到其他项目下打包可以运行，无解 2. 偶然发现ID
阅读全文
摘要：问题描述 出现如下错误： Command "/Users/wang/.pyenv/versions/3.3.1/bin/python3.3 u c "import setuptools, tokenize;__file__='/private/tmp/pip build _9zwnm/pyzmq/s
阅读全文
