hadoop 又一次环境搭建
【配置hadoop环境】
1 安装linux;
环境:
虚拟机:VB ;
镜像:IOS ;
2 安装hadoop;
执行:
1 安装SSH、配置SSH无密码登陆
* 用于管理集群;集群建传输数据;
* 在shell下使用ssh远程登录一台Linux主机;
2 (Java环境) - 安装JDK;
* win上传文件
* 解压文件;
* 卸载原来的jdk;
3 安装hadoop;
【坑】
[1] 无法直接将windows文件复制到virtual box中的linux系统上;
解决 方式1:
安装 xshell;访问远端不同系统下的服务器;
通过xshell 链接 虚拟机;实现 win+linux 间上传,下载文件
* xshell使用:
前提:尝试win ping linux - 查看两个系统是否能相互链接起来;
[坑]:xshell无法链接虚拟机中的linux系统;
原因:
本机的win 与 虚拟机的linux ping不同 ;
虚拟机vb的linux 能ping同 本机的win ;
解决:
将virtual box的网络链接方式 设为:桥接模式;
参:https://www.cnblogs.com/wanghui-garcia/p/10213502.html
解决 方式2:
安装xftp ;传文件到 虚拟机的linux;
[2] 安装hadoop:执行 hdfs namenode -format ; Exitting with status 1 出错 ;
分析:查看错误的内容;分析错误原因:
发现 - ERROR :Failed to start namenode,can‘t create directory .....(一个路径)
分析:没有权限创建目录;
解决:
添加权限:找到之前没操作的 命令:sudo chown -R 用户名 ./hadoop(hadoop所在目录下)
参:http://dblab.xmu.edu.cn/blog/install-hadoop/
【案例分析】
1 命令行编程
2 编译器编程
*下载编译器;eclipse ;注:ubuntu下设置eclipse图标;
* eclipse配置hadoop插件
# 可能会有的问题:缺少依赖 jar 包 ;
* 编程;