摘要: 一、概述 当CDH平台开启kerberos后,需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上,直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时,还需要处理krb5.conf注册 阅读全文
posted @ 2020-08-12 19:40 虎啸千峰 阅读(3793) 评论(0) 推荐(0) 编辑
摘要: 一、概述 当集群开启了Kerberos后,Spark向hive中写入数据时,代码中会去读取yarn的配置文件,如果读不到yarn的配置文件,就会报这样的错误。如果用IDEA开发的ETL程序直接在CDH上面运行是没有这个问题的;但是当程序在第三方机器上运行时就会包这个错误。因为Spark客户端需要将y 阅读全文
posted @ 2020-08-12 17:24 虎啸千峰 阅读(3671) 评论(0) 推荐(0) 编辑