spark 1.5的hivecontext的问题

时间:2022-12-03 09:16:18

spark升级到1.5,里面的hive版本升级到1.2.1版本,我写了如下的代码

object SQLApp  extends App{
        val sparkconf = new SparkConf().setAppName("sql").setMaster("local")
        val sc = new SparkContext(sparkconf)
        val sqlContext = new HiveContext(sc)
        sqlContext.sql("show tables").show()
        sc.stop()

}

当依赖的版本是1.5时候,hivecontext不会加载resources里面的hive-site.xml ,我试验了下实例化hiveconf 可以加载。

当依赖的版本是1.4.1的时候,这个时候hivecontext会访问hive-site.xml里面配置的mysql 数据库。

 

大致看了下代码,1.5的hivecontext没有读取hite-site.xml。 这个可能是1.5的bug. 但是我现在对spark的代码质量很担心