06 2022 档案
摘要：RDD的和函数创建及对应函数的数据分区策略（parallelize和makeRDD） // 在创建RDD的同时，指定数据分区的数量，其实就是设定第二个参数val rdd1: RDD[Int] = sc.makeRDD(List(1,2,3,4,5), 3) makeRDD def makeRDD[T
阅读全文
摘要：集合计算高级函数 （1）过滤 （2）转化/映射 （3）扁平化 （4）扁平化+映射 注：flatMap相当于先进行map操作，在进行flatten操作 （5）分组 （6）简化（规约） （7）折叠 object TestList { def main(args: Array[String]): Uni
阅读全文
摘要：Java和Scala中关于==的区别 Java： ==比较两个变量本身的值，即两个对象在内存中的首地址； equals比较字符串中所包含的内容是否相同。 public static void main(String[] args) { String s1 = "abc"; String s2 =
阅读全文
摘要：Sqoop：MySQL导入HDFS时NULL值处理 import_data() {$sqoop import \--connect jdbc:mysql://hadoop102:3306/$db_name \--username root \--password 000000 \--target-d
阅读全文
