2017年11月14日
Spark记录-org.apache.spark.sql.hive.HiveContext与org.apache.spark.sql.SQLContext包api分析
摘要： HiveContext/SQLContext val hiveContext=new HiveContext(new SparkContext(new SparkConf().setAppName("HiveApp").setMaster("spark://master:7077"))) 定义一个h 阅读全文
posted @ 2017-11-14 16:24 信方 阅读(1643) 评论(0) 推荐(0) 编辑
Spark记录-本地Spark读取Hive数据简单例子
摘要： 附录1：scala-spark api-http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package 阅读全文
posted @ 2017-11-14 14:11 信方 阅读(11319) 评论(0) 推荐(0) 编辑
Spark记录-Spark On YARN内存分配（转载）
摘要： Spark On YARN内存分配（转载） Spark On YARN内存分配（转载） 说明 按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。 当在YARN上运行Spark作业，每个Spark ex 阅读全文
posted @ 2017-11-14 11:07 信方 阅读(772) 评论(0) 推荐(0) 编辑