随笔分类 - own]
大数据拾遗
摘要：MapReduce record reader读取到输入文件根据指定FileInputFormat格式解析内容并组织输入的(k,v),不同的输入文件的Key代表的含义不一样好比text的hdfs文件key表示的物理文件的字符偏移量，然后对(k,v)进行自定义的map逻辑处理处理完成后交给collec
Spark优化
摘要：意识篇 类型转换 优化前： val extractFields: Seq[Row] => Seq[(String, Int)] = { (rows: Seq[Row]) => { var fields = Seq[(String, Int)]() rows.map(row => { fields =
