Spark on Yarn出现hadoop.compression.lzo.LzoCodec not found问题发现及解决
摘要：问题描述： spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:37 Exception in thread "main" java.lang.RuntimeException: Error in conf
阅读全文
Spark分区数、task数目、core数目、worker节点数目、executor数目梳理
摘要：Spark分区数、task数目、core数目、worker节点数目、executor数目梳理 spark隐式创建由操作组成的逻辑上的有向无环图。驱动器执行时，它会把这个逻辑图转换为物理执行计划，然后将逻辑计划转换为一系列的步骤（stage），每个步骤由多个任务组成。 步骤组成任务、数据组成任务。所以
阅读全文
spark conf的3种配置优先级
摘要：在SparkConf上设置的属性具有最高的优先级，其次是传递给spark-submit或者spark-shell的属性值，最后是spark-defaults.conf文件中的属性值
阅读全文
spark submit local遇到路径hdfs的问题
摘要：有时候第一次执行 spark submit --master local[*] 单机模式的时候，可以对linux本地路径进行输出。但是有时候提交到yarn的时候，是自动加上hdfs的路径这没问题， 但是接下来在执行 local模式的时候 出现问题了，本地绝对路径也自动加上了hdfs://的前缀。 那
阅读全文
