摘要：
Spark 2.1.1 源码编译 标签（空格分隔）： Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HDFS table 使用Partition by 和 Savemode.append,在一定条件下导致 阅读全文
摘要：
hadoop作业调优参数整理及原理 标签（空格分隔）： hadoop 问题假设： 前提：已经对mapreduce处理框架模型有所了解 1.map会将已经产生的部分结果先写入到该buffer中.buffer大小可以通过那个参数来设置？ 2.如何降低map的split的次数？ 3.map中的数据什么情况 阅读全文