随笔分类 -  CDH

摘要:问题现象 使用cloudera-manager 新增了两台节点,并在上面部署了Datanode服务,服务部署成功后,并且也添加了Gateway,但是在新增的节点上使用HDFS的命令报错。 报错内容 Warning: fs.defaultFS is not set when running "ls" 阅读全文
posted @ 2021-04-19 13:26 彬在俊 阅读(573) 评论(0) 推荐(0) 编辑
摘要:环境信息: 组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 问题现象: CDH 5.13.3 启用Kerberos组件,导入KDC Account Manager 凭据,未见生成的票据。 错误日志: /usr/share/cmf/bin/import_credentials.s 阅读全文
posted @ 2021-03-25 19:06 彬在俊 阅读(113) 评论(0) 推荐(0) 编辑
摘要:问题背景: 要搭建cm大数据平台,别的节点需要安装cloudera-scm-agent,有因为文件较大,不想分发,所以采用yum源的方式进行安装,避免文件传输,io占用。 系统环境: 组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 安装HTTPD服务: 1.安装httpd服务 阅读全文
posted @ 2021-03-25 19:04 彬在俊 阅读(139) 评论(0) 推荐(0) 编辑
摘要:Kerberos协议: Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和S 阅读全文
posted @ 2021-03-25 19:02 彬在俊 阅读(2427) 评论(0) 推荐(1) 编辑
摘要:环境信息 组件 版本 操作系统 centos6.9 CDH 5.13 kerberos 是 问题原因: hadoop提交任务到yarn,任务报错 hadoop jar /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/jars/hadoop-mapr 阅读全文
posted @ 2021-03-25 18:59 彬在俊 阅读(103) 评论(0) 推荐(0) 编辑
摘要:环境信息 组件 版本 操作系统 centos6.9 CDH 5.13 kerberos 是 问题现象 HUE+kerberos启动报错Couldn't renew kerberos ticket解决方案,kt_renewer ERROR Couldn‘t renew kerberos ticket 阅读全文
posted @ 2021-03-25 18:57 彬在俊 阅读(299) 评论(0) 推荐(0) 编辑
摘要:环境信息: 测试环境 版本 操作系统 centos6.9 CDH 5.13 问题描述: 往集群中的主机添加角色时,发现HDFS 存在警告信息,其余角色正常。通过查看日志信息,发现 NFS Gateway 这一块出错, 错误日志: 错误日志,具体异常如下: using as SECURE_USER u 阅读全文
posted @ 2021-03-25 18:55 彬在俊 阅读(193) 评论(0) 推荐(0) 编辑
摘要:ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and 阅读全文
posted @ 2020-05-21 21:00 彬在俊 阅读(1423) 评论(0) 推荐(0) 编辑
摘要:一、环境准备 1.1硬件:centos7.6 2.1软件: jdk1.8 mysql5.7 MySQL JDBC jar cm6.3.1 连接:https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz 阅读全文
posted @ 2020-05-17 14:31 彬在俊 阅读(1053) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示