herman很慢

摘要： map 将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。 输入分区与输出分区一对一，即：有多少个输入分区，就有多少个输出分区。 flatMap 属于Transformation算子，第一步和map一样，最后将所有的输出分区合并成一个。 使用flatMap时候需要注意:flatMa 阅读全文

摘要： 1、Dataset与RDD之间的交互 Spark仅支持两种方式来将RDD转成Dataset。第一种方式是使用反射来推断一个RDD所包含的对象的特定类型。这种基于反射的方式会让代码更加地简洁，当你在编写一个Spark应用程序的时候，如果你已经了解该schema，这种方式就很适用。 第二种方式是通过一个 阅读全文