随笔分类 - CDH
摘要：获取Namenode ID 查看nn1的状态 hdfs haadmin -getServiceState namenode30 #standby hdfs haadmin -getServiceState namenode37 #active 修改nn2为standby状态 hdfs haadmin
阅读全文
摘要：由于CM安装的所有的组件,路径默认是/var/lib或者是/var/log,如果系统盘太小的话,会一直有警告,看起来太烦了. 有两种方式解决: 1.直接选择抑制改告警 2. 在CM web ui所有能配置的/var/log 基本上我都修改了,甚至连 /tmp堆转储也都改了. 手动清理历史日志/var
阅读全文
摘要：一、准备工作 安装jdk1.8及maven，jdk使用CDH安装包中自带的jdk的rpm包即可 安装完成后添加环境变量 [root@linux201 ~] vim /etc/profile.d/custom.sh 添加如下内容 # JAVA_HOME JAVA_HOME=/usr/java/jdk1
阅读全文
摘要：Hue跑hive sql时报错如下 java.lang.IllegalStateException: Connection to remote Spark driver was lost 查看yarn报错日志如下 Container [pid=41355,containerID=container_
阅读全文
摘要：前言 使用 Hive insert SQL 后查看 Yarn 发现其跑的是 MR 方式 这里想改用 Spark 引起来缩短 HiveQL 的响应时间 有两种方式 SparkSQL Hive on Spark 两种方式都可以，看个人习惯 Hive on Spark 大体与 SparkSQL 结构类似，
阅读全文
摘要：安装包链接：https://pan.baidu.com/s/1Ly6X5bj9tbXrA9cI4fsZ9w 提取码：m212 1、上传需要的文件到服务器 2、 下面几个文件并放置在cdh-master主节点的/opt/cloudera/parcel-repo/下，PHOENIX-1.0.jar放置在
阅读全文
摘要：前言 公司在做安全漏洞扫描。发现CDH Hadoop默认配置下存在未授权漏洞，攻击者可以在未授权的情况下远程执行代码。需立即修复加固。 1.Hadoop HTTP web-控制台认证 我们安装完hadoop后，默认情况下我们访问UI界面是没有任何安全验证的。现在我想要的是对Hadoop的Web控制台
阅读全文
摘要：前言 公司在做安全漏洞扫描。发现CDH Zookeeper存在未授权访问入侵问题。 1.zookeeper的基本情况 zookeeper是分布式协同管理工具，常用来管理系统配置信息，提供分布式协同服务。zookeeper官网下载软件包，bin目录下有客户端脚本和服务端脚本。另外还有个工具对理解和使用
阅读全文
摘要：目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡7、Cloudera监控日志清理8、查看一级目录大小 1、将备份数降低1）将默认的备份数3设置为2。步鄹：CDH–>HDFS–>配
阅读全文
摘要：目录 /var/log/cloudera-scm-installer : 安装日志目录。 /var/log/* : 相关日志文件（相关服务的及CM的）。 /usr/share/cmf/ : 程序安装目录。 /usr/lib64/cmf/ : Agent程序代码。 /var/lib/cloudera-
阅读全文
解决CDH中HDFS隐患9 DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number of...
摘要：安装HDFS后，报了一个隐患 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number of DataNodes is only 4. 这个隐患说的是：使用RS-6-3-1024k编码纠删码策
阅读全文
