HDFS API

一：

　　HDFS：hadoop分布式文件系统

　　　　两种表现形式：（1）hadoop fs shell命令-->hadoop fs -command

　　　　　　　　　　   （2）java API方式访问-->DistributedFileSystem对应的HDFS

二：搭建IDE

　　a.查找hadoop的依赖包，在{hadoop_home/share}目录下查找.jar文件，复制后拷贝至{hadoop_home}/_jar/，

　　　　　　　　　　　　　 在{hadoop_home}/_jar/下查找sources文件，剪切后拷贝至{hadoop_home}/_sources/，

　　　　　　　　　　　　　 在{hadoop_home}/_sources/下查找test文件，剪切后拷贝至{hadoop_home}/_test/。

　　　　　　　　　　　　　{hadoop_home}/_jar/的文件是Hadoop java开发所依赖的jar包

　　　　　　　　　　　　　{hadoop_home}/_sources/的文件是Hadoop java开发所依赖的源码包

　　　　　　　　　　　　　{hadoop_home}/_test/的文件是Hadoop java开发所依赖的测试包

　　b.集成Myeclipse开发环境

　　　　1：将hadoop-eclipse-plugin-2.6.0.jar复制到{eclipse_home}/plugins下

　　　　2：重启Myeclipse

　　　　3：校验安装是否成功，查看windows-->perferences-->hadoop Mapreduce

　　　　4：在{hadoop mapreduce}视图下，添加hadoop的安装路径，例如D:\soft\hadoop-2.7.3　　

　　　　5：创建hadoop的链接

　　　　　　a：打开Mapreduce Location视图-->新建hadoop Location-->弹出编辑窗口

　　　　　　b：dfs RPC协议端口为9000，默认为8020，mapreduce RPC协议端口为9001，默认为8021，username为你的集群的用户名，host为你的主机名

　　c.配置windows Hadoop工具包

　　　　1.拷贝hadoop.dll和winutils.exe至{hadoop_home}/bin下

　　　　2.配置环境变量 HADOOP_HOME=D:\soft\hadoop-2.7.3,PATH=%HADOOP_HOME%\bin

　　d.创建Hadoop工程编写代码