单节点安装cdh版 hdfs hive
本篇文章单节点安装 hdfs hive ,实乃学习大数据必备的教程,环境为:Centos7 JDK8.0 cdh5.15.1
下载地址: http://archive.cloudera.com/cdh5/cdh/5/
hadoop版本:hadoop-2.6.0-cdh5.15.1.tar.gz
hive: http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz
官方hadoop单节点安装教程: http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
关闭防火墙
1 2 3 | systemctl status firewalld.service systemctl disable firewalld.service |
配置java 环境变量
1 2 3 4 5 | export JAVA_HOME=/usr/local/java export CLASSPATH=.:JAVA_HOME/jre/lib/rt.jar:JAVAHOME/jre/lib/rt.jar:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=PATH:PATH:JAVA_HOME/bin |
配置ssh免密登录
注意:单节点机器也需要配置本机 ssh无密码登录 ssh-keygen -t rsa
1 2 3 | cat id_rsa.pub >> authorized_keys chmod g-w authorized_keys 设置权限 否则不起效 |
解压到 app目录
/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
- hadoop目录基本了解
- bin/ hadoop客户端
- etc/hadoop hadoop 相关配置目录
- sbin 启动hadoop相关进程脚本
- share 示例程序
配置 hadoop-env.sh
vim hadoop-env.sh
#配置 java_home
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
配置 core-site.xml
配置HDFS文件默认系统主节点和端口
1 2 3 4 5 6 | <configuration> <property> <name>fs.defaultFS</name> <value>hdfs: //hadoop:8020</value> </property> </configuration> |
配置 hdfs-site.xml
因为是单节点,所以要调整副本系数
1 2 3 4 5 6 | <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> |
还需要配置 hadoop.tmp.dir 临时目录放在我们 /home/hadop/app/tmp 下
1 2 3 4 | <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/tmp</value> </property> |
配置datanode机器地址
vim slaves 填入 hadoop
配置hadoop到环境变量
1 2 3 | vim ~/.bash_profile export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1 export PATH=$HADOOP_HOME/bin:$PATH |
启动 hdfs
第一次执行的时候一定要格式化 hdfs 文件系统。
hdfs namenode -format
正式启动 到 hadoop/sbin目录下面
./start-dfs.sh
浏览器查看 http://192.168.1.100:50070/dfshealth.html#tab-overview
停止 hdfs
./stop-dfs.sh
单独启动
1 2 3 | hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode hadoop-daemon.sh start secondarynamenode |
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· SQL Server 内存占用高分析
· 盘点!HelloGitHub 年度热门开源项目
· DeepSeek V3 两周使用总结
· 02现代计算机视觉入门之:什么是视频
· C#使用yield关键字提升迭代性能与效率
· 2. 什么?你想跨数据库关联查询?