随笔分类 - CDH
摘要:1 因为内存溢出问题导致yarn ResourceManager无法启动,多次重启仍然失败 2 查询到原因是因为重启rm的时候,会尝试恢复之前所有的yarn任务,但是之前内存溢出的原因就是因为yarn任务的内存压力过大导致。所以不断重启也没用。 3 解决方案,进入zookeeper控制台,找到保存y
阅读全文
摘要:1 各个进程的日志在下面目录下面,自己可以进去之后再仔细找 /run/cloudera-scm-agent/process
阅读全文
摘要:官方文档地址 https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_hag_hbase_config.html#xd_583c10bfdbd326ba-7dae4aa6-147c30d0933--8000 添加另一个
阅读全文
摘要:1 阿里云购买服务器 1 hosts配置 2 ssh免密登录配置 3 jdk 安装 scp -r * hadoop004:/usr/java/ 配置 /etc/profile 4 关闭防火墙 3台机器同时操作 systemctl stop firewalld.service systemctl di
阅读全文
摘要:完成本向导后必须手动执行下列步骤: 将 Hue 服务 Hue 的 HDFS Web 界面角色 配置为 HTTPFS 角色,而非 NameNode。 Documentation 对于每个 Hive 服务 Hive,停止 Hive 服务,将 Hive Metastore 数据库备份到永久性存储中,运行服
阅读全文
摘要:1 详细异常 发现疑似目录:/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state下存在: 005615.sst 005638.log 005640.log CURRENT LOCK MANIFEST-004397移除所有文件。重启nodemanage
阅读全文
摘要:1 本文博客只是介绍简单的步骤,其他详细的步骤参考之前本人的博客 1 hostname hostnamectl set-hostname 2 /etc/hosts配置 所有机器都要同步hostname的配置 3 ssh免密登录 或者 同步密码登录 一定所有的机器都需要,因为有高可用 4 jdk配置
阅读全文
摘要:1 本篇博客,只是记录下大概的过程,其他详细配置参考之前本人的博客 1 配置 ssh 登录状态 2 安装mysql, 3,安装jdk /usr/java目录下 安装遇到 >Delta RPMs disabled because /usr/bin/applydeltarpm not installed
阅读全文
摘要:1 详细异常
阅读全文
摘要:503 Service Unavailable No server is available to handle this request. 重启 agent 以及 server
阅读全文
摘要:1 详细异常 2 解决办法 找到原因了,原来是我的my.cnfsql_mode设置成了sql_mode='ONLY_FULL_GROUP_BY,NO_AUTO_VALUE_ON_ZERO,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_F
阅读全文
摘要:1 详细错误 2 解决,删除cm_guid然后重启服务 产生的原因是服务器以前作为集群节点安装过agent服务,再次使用时没有卸载干净。 解决办法: rm -rf /var/lib/cloudera-scm-agent/cm_guid service cloudera-scm-agent resta
阅读全文
摘要:1 hue error日志报错,找不到hue数据库 2 解决办法 删除hue服务,重新添加,再次在添加database阶段验证密码,test通过,再继续。 还有造成这个事情的原因,是自己移动了mysql的文件,虽然重新软连接了过去,没有重启,导致进去数据库之后,所有的数据库都是没有找到的状态。
阅读全文
摘要:问题:HUE依赖Oozie 所以Oozie不能够卸载,好坑啊 解决思路; 重新装回来,但是不启动Oozie,节约一部分性能。
阅读全文
摘要:1 异常信息 2 原因以及解决思路 <!--?xml version="1.0" encoding="UTF-8"?--> core-site.xml 与 hdfs-site.xml中的hdfs存储路径设置不一致,修改成一致的即可解决问题
阅读全文
摘要:1 yarn application -list
阅读全文
摘要:1 同时运行5个Spark任务的资源分配截图 2 每个任务占用3个Container 3个core以及4.5GB内存 也就是说一个Container需要 1个core 以及 512MB的内存 如果资源不够,可以提交任务时修改下内存分配,比如256MB,这样就可以提交更多的Spark任务到Yarn集群
阅读全文
摘要:1查询官网地址,提供了详细的各个版本的jar依赖版本信息 https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_516x.html
阅读全文
摘要:1 下载源代码文件 https://archive.apache.org/dist/spark/spark-2.3.3/ 2 解压后导入编辑器,修改依赖的Hadoop版本,下面截图是修改后的,要看自己集成的CDH版本 3 然后编译,一开始要等一会儿, 4 编译成功后,copy出编译好的tar包,然后
阅读全文