随笔分类 - CDH
摘要：1、/var/lib/cloudera-service-monitor和/var/lib/cloudera-host-monitor 这两个是cloudera managerment service服务的默认存储路径，最好改掉，换到大的分区下； 2、空间清理 /var/lib/cloudera-se
阅读全文
摘要：环境说明：CDH5.16.2 集群新搭建完成； 接下来准备开启HDFS、Yarn的HA；一、HDFS开启HA 1、进入hdfs组件，在“操作”中启用HA HDFS的HA是指NameNode的高可用 2、输入Nameservice名称 如果公司有多个集群，Nameservice名称不要设置重复了, N
阅读全文
摘要：邮件服务器主机名称： 根据自己实际情况选择，可用smtp.163.com、smtp.qq.com等； 邮件服务器用户名： 对应邮件服务器的邮箱账号，比如 xxx@qq.com等； 邮件服务器密码： 对应用户名的密码，如果使用QQ邮箱作为“邮件服务器用户名”，那么这里的密码要填写QQ邮箱的授权码，具体
阅读全文
摘要：1、主机准备 这里以三节点为例； 准备三台环境纯净的centos7主机， 要可以正常连接yum源, root用户操作； 随便安装一个包，测试一下yum: yum -y install lrzsz 主机情况：2核 4G，硬盘40G；这个配置其实太小，单节点内存尽量要给到8G以上比较好； 主机资源看个人
阅读全文
摘要：CDH5.8中使用spark-shell时报错：原因是CDH版的Spark从1.4版本以后，Spark编译时都没有将hadoop的classpath编译进去，所以必须在spark-env.sh中指定hadoop中的所有jar包。设置，所有节点都要改：在spark-env.sh中添加一条配置信息，将hadoop的classpath引入, ${HADOOP_HOME}根据自己的情况而定，直接写绝对路径...
阅读全文
摘要：原文：https://blog.csdn.net/qq_24817093/article/details/77152269 1. 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。 2. 管理节点/namenode对存储空
阅读全文
摘要：一、impala存储1、文件类型2、压缩方式二、impala分区1、创建分区方式partitioned by 创建表时，添加该字段指定分区列表：create table t_person(id int, name string, age int) partitioned by (type string);使用alter table 进行分区的添加和删除操作：alter table t_person...
阅读全文
摘要：一、概述Impala 是参照google 的新三篇论文Dremel(大批量数据查询工具)的开源实现，功能类似shark（依赖于hive）和Drill（apache），impala 是clouder 公司主导开发并开源，基于hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。是使用cdh 的首选PB 级大数据实时查询分析引擎。(也可以单独安装使用，但一般都是和CDH一起使用；)...
阅读全文
