Hadoop
一、安装JDK1.6
二、安装和部署SSH
三、安装Hadoop
四、设置环境变量
1、在/etc/profile中增加全局变量:
export JAVA_HOME=/usr/java/jdk1.6.0_45#export LANG=zh_CN.UTF-8 暂时不设置添加完成后,执行激活命令source /etc/profile主机master设置完成后,同步到其他机器:#scp -r /etc/profile root@slave1:/etc/profile#scp -r /etc/profile root@slave2:/etc/profile
2、在renjia用户的~/.bash_profile文件中增加用户级变量:
五、启动Hadoopexport HADOOP_HOME=/usr/local/hadoop添加完成后,执行激活命令source ~/.bash_profile
1、bin/hadoop namenode -format
格式化hadoop,执行完成后会在/tmp目录下建立存放数据的目录
注意:第一次format不会有问题,当第多次执行format后,master和slave的/tmp目录下的ID会不一致,执行jps查看守护进行,发现无法启动DataNode进程。
2、bin/start-all.sh
3、通过在jdk下的jps命令查看守护进程启动Hadoop服务
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 互联网不景气了那就玩玩嵌入式吧,用纯.NET开发并制作一个智能桌面机器人(三):用.NET IoT库
· 【非技术】说说2024年我都干了些啥