spark 1.5的hivecontext的问题
spark升级到1.5,里面的hive版本升级到1.2.1版本,我写了如下的代码
object SQLApp extends App{ val sparkconf = new SparkConf().setAppName("sql").setMaster("local") val sc = new SparkContext(sparkconf) val sqlContext = new HiveContext(sc) sqlContext.sql("show tables").show() sc.stop() }
当依赖的版本是1.5时候,hivecontext不会加载resources里面的hive-site.xml ,我试验了下实例化hiveconf 可以加载。
当依赖的版本是1.4.1的时候,这个时候hivecontext会访问hive-site.xml里面配置的mysql 数据库。
大致看了下代码,1.5的hivecontext没有读取hite-site.xml。 这个可能是1.5的bug. 但是我现在对spark的代码质量很担心