摘要：
spark shuffle 分为两种 1.byPassSortShuffle 发生条件分区数 阅读全文
|
摘要：
spark shuffle 分为两种 1.byPassSortShuffle 发生条件分区数 阅读全文
摘要：
uploading image 675710.png 阅读全文
摘要：
我们的spark historyserver 最近页面打开很慢 查看堆大小，发现默认堆1G,打算修改到4G 步骤 大功告成！！！ 阅读全文
摘要：
以下基于 hadoop版本 hadoop 2.8.4 给各个节点打标签 1.spark任务可以通过spark submit方式指定参数spark.yarn.am.nodeLabelExpression和spark.yarn.executor.nodeLabelExpression来实现，使任务提交到 阅读全文
摘要：
tablename 进来前已经把"`","."等过滤掉了，所以就是单词字符喽 \\w搞定 \\w包含_ 哈哈 规范就是 a z A Z 0 9 _ 也就是传说中的单词字符\w 阅读全文
摘要：
hadoop 2.8.4 部署我就不说了 网上一大堆 hdfs site.xml datanode 储存路径挂载需要修改如下： 我们假设你有 ssd/ram disk 等挂载, 创建好以下目录 把一个默认[DISK]储存的文件变成[SSD]储存步骤 / 如果你想把一个目录下文件变成某种策略，也可以按 阅读全文
摘要：
转载地址： http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的OOM问题不外乎以下两种情况 map执行中内存溢出shuffle后内存溢出 map执行中内存溢出代表 阅读全文
摘要：
== 转载 == http://blog.csdn.net/houmou/article/details/52531205 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄 阅读全文
摘要：
hive site.xml 不要加此配置~不要加此配置~不要加此配置 说三遍 加了会报错 FAILED: RuntimeException Unable to set up transaction database for testing: Can't call rollback when auto 阅读全文
摘要：
hive 语句执行顺序 执行计划 未完待续 阅读全文
|