Spark运行中java.net.UnknownHostException: nameservice1的异常

一、概述

 使用IDEA调试spark程序时，spark通过thriftserver访问hive的元数据信息，如果不设置spark的warehouse目录会报nameservice1异常；这是因为本地目录访问不到nameservice信息，需要将nameservices配置到spark中。

二、问题解决

1、将CDH平台的hdfs-site.xml文件拷贝到spark的conf目录中

2、使用config方式配置warehouse路径

  config（“spark.sql.warehouse.dir”，“hdfs://192.168.86.120:9000/usr/hive/warehouse”）

或者使用：

3、使用config方式配置nameservices路径

config（“dfs.ha.namenodes.nameservices”，“192.168.86.120,192.168.86.121”）