10 2020 档案
摘要:配置Hadoop守护进程环境变量 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.配置HDFS环境变量(hadoop-env.sh) 必须在hadoop-env.sh文件中设置Hadoop专用的环境变量。至少必须制定JAVA_HOME环境变量的值。 export JAVA_HO
阅读全文
摘要:部署Ganglia集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.实验环境说明 首先介绍一下我的Hadoop测试集群,采用的CentOS 7.6,其角色分配如下: [nn] hadoop101.yinzhengjie.com [snn] hadoop105.yinzhen
阅读全文
摘要:使用Ganglia监控Hadoop集群实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Ganglia架构概述 Ganglia监测系统有四个主要组成部分:gmod,gmetad,rrdtool和gweb。 gmod: 集群中每个主机都运行gmond守护程序,该守护程序的工
阅读全文
摘要:Hive基本概念扫盲篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.数据仓库概论 1>.什么是数据仓库 数据仓库,英文名称为Data Warehouse(通常简写为"DW"或者"DWH")。数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的资源集合。它出于分析性
阅读全文
摘要:Hadoop的服务级授权篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.启用服务级授权 当客户端连接到Hadoop服务时,根据用户是否具有必须的权限,授予其该服务的权限。例如,用户可能具有将YARN作业提交到集群的必须权限,那么第一个访问控制检查是服务级授权,这回在检查文件
阅读全文