Hadoop开发环境
自上周写了第一个HADOOP程序以来,一直没有对开发环境的搭建总结,现总结如下
一、安装Cygwin
1.安装路径c:/Cygwin
2.下载路径X:/Cygwin/
3.需要下载如下包
Net Category下的OpenSSL,OpenSSH;
Base Category下的sed;
Editors Category下的vim,Emacs;
Devel Category下的subversion,binutils,gcc,gcc-mingw,gdb
4.安装sshd服务
启动cygwin输入命令:ssh-host-config;
根据提示进行相应的操作直至安装完成,安装成功后立即启动名称为“CYGWIN sshd”的服务
5.配置ssh登录
执行ssh-keygen命令,然后根据提示按三次回车键,最后输入如下命令:
cd ~/.ssh/;
cp id_rsa.pub authorized_keys
1.安装路径c:/Cygwin
2.下载路径X:/Cygwin/
3.需要下载如下包
Net Category下的OpenSSL,OpenSSH;
Base Category下的sed;
Editors Category下的vim,Emacs;
Devel Category下的subversion,binutils,gcc,gcc-mingw,gdb
4.安装sshd服务
启动cygwin输入命令:ssh-host-config;
根据提示进行相应的操作直至安装完成,安装成功后立即启动名称为“CYGWIN sshd”的服务
5.配置ssh登录
执行ssh-keygen命令,然后根据提示按三次回车键,最后输入如下命令:
cd ~/.ssh/;
cp id_rsa.pub authorized_keys
二、Hadoop(伪分布式--仅为了调试程序)
1.将hadoop解压至c:/Cygwin/hadoop
2.重要的几个文件范例
hadoop-env.sh
修改项 export JAVA_HOME='C:/Java/jdk1.6.0_33'
core-site.xml
hdfs-site.xml
mapred-site.xml
3.几个注意的事项
<1. 在mapred-site.xml添加:
<property><name>mapred.child.tmp</name><value>/hadoop/temp</value></property>
<2. dos2unix hadoop-env.sh 如果编码有问题,需要转换
1.将hadoop解压至c:/Cygwin/hadoop
2.重要的几个文件范例
hadoop-env.sh
修改项 export JAVA_HOME='C:/Java/jdk1.6.0_33'
core-site.xml
hdfs-site.xml
mapred-site.xml
3.几个注意的事项
<1. 在mapred-site.xml添加:
<property><name>mapred.child.tmp</name><value>/hadoop/temp</value></property>
<2. dos2unix hadoop-env.sh 如果编码有问题,需要转换
三、Eclipse开发环境配置
几个注意的事项
<1.将hadoop导入至环境里,需要注意hadoop.temp.dir目录与配置文件一样
<2.在运行hadoop时,有可能内存不足,需要设置运行环境-Xmx800m
<3.输入/输入参数 hdfs://IP:9000/user/...input hdfs://IP:9000/user/.../output
有时候需要将IP,修改为机器名
几个注意的事项
<1.将hadoop导入至环境里,需要注意hadoop.temp.dir目录与配置文件一样
<2.在运行hadoop时,有可能内存不足,需要设置运行环境-Xmx800m
<3.输入/输入参数 hdfs://IP:9000/user/...input hdfs://IP:9000/user/.../output
有时候需要将IP,修改为机器名