【Java 学习笔记】 Hadoop学习笔记

简介

Hadoop是Apache开发的一个用于大规模分布式计算的开源工程。主页地址：http://hadoop.apache.org/。

安装

在windows上安装Hadoop文档：http://wenku.baidu.com/view/6af47921af45b307e8719799.html

简单介绍下步骤吧

Step 1. 安装cygwin，cygwin是在windows的平台上模拟Linux环境的虚拟机。要注意安装的时候cygwin的安装组件最好全选，因为以后再加比较麻烦。

Step 2. 使用cygwin安装sshd服务。文档：http://ebiquity.umbc.edu/Tutorials/Hadoop/05%20-%20Setup%20SSHD.html

    安装指令：ssh-host-config

    因为第一次使用安装cygwin的时候cygwin的窗口被我直接叉掉了（注意win7下面必须用管理员权限打开cygwin！！），所以后面都需要overwrite一些已生成的文件。

截图如下：

  

   有问到权限分离，具体是什么意思也不清楚，但是在说明文档里特别讲了填no。

  

   问是否要安装ssh，选择yes，而后会出现“Enter the value of CYGWIN for the daemon: []”，填上 ntsec

  

   之后问是否要用一个不同的名字，选了no，后面的那个选了yes

  

   而后就是键入密码什么的，最后出现了have fun！这个词，你就成功了～～

  

   安装成功sshd后需要启动sshd服务，路径：计算机-管理-服务和应用程序-服务-cygwin sshd-右键启动。

Step 3. 配置ssh登录

   在cygwin中使用ssh-keygen生成密钥文件，如下图所示：（一直按回车知道出现下面的那张大图，三次回车）

  

   之后如下图操作（跟着文档的步骤走的）

  

   完成上面步骤后，写入exit，退出cygwin（如果不那么做会出问题，是不是因为在ssh的目录下？）

   重新打开cygwin，输入 ssh localhost，在问是否继续的时候回答yes。 之后就会打出一张图片，很有爱哦～

  

Step 4. 下载hadoop安装包：

   在hadoop网站上找到下载的端口（common）：http://www.apache.org/dyn/closer.cgi/hadoop/common/

   在里面可以找到离自己最近的下载点（看到有北京交通大学的镜像，这个挺近的）：http://mirror.bjtu.edu.cn/apache//hadoop/common/

   下载了2.3.0，就随便下了个版本，hadoop-0.23.0.tar.gz，59.43M。

Step 5. 安装hadoop

   1. 将hadoop解压到自定义的目录，D:\Useful Software\Software Installed\hadoop\run

   2. 修改hadoop中文件的配置

•  修改hadoop-evn.sh

          将JAVA_HOME设为JDK的目录即可，JDK版本必须大于1.6

•  修改core-site.xml

　　    

• x修改