hadoop学习（三）HDFS常用命令以及java操作HDFS

一、HDFS的常用命令

　　1、查看根目录下的信息：./hadoop dfs -ls

　　2、查看根目录下的in目录中的内容：./hadoop dfs -ls in或者./hadoop dfs -ls ./in

　　3、删除文件：./hadoop dfs -rmr 文件名

　　4、上传文件到HDFS：./hadoop dfs -put 系统目录下的文件 hadoop目录

　　5、将HDFS的文件复制到本地：./hadoop dfs -get haddo目录 本地目录

　　6、查看HDFS下某个文件的内容：./hadoop dfs -cat 文件名

　　7、查看HDFS基本统计信息：./hadoop dfsadmin -report

　　8、进入安全模式：./hadoop dfsadmin -safemode enter

　　9、退出安全模式：./hadoop dfsadmin -safemode leave

　　10、用hdfs（管理员）用户创建目录：sudo -u hdfs hadoop fs -mkdir /user/neu

　　11、用hdfs（管理员）用户给目录分配权限：sudo -u hdfs hadoop fs -chown neu /user/neu

 　　注意：用./hadoop dfs -ls命令的时候，有时候会出现一个“ls：Cannot access  .: No such file or directory.”的错误，讲命令改为 ./hadoop dfs -ls /   即可解决。

二、java操作HDFS文件系统

　　java操作HDFS文件系统，有两种方式，一种是直接在Linux上装eclipse，装插件，配置好环境，直接执行；另外一种是将java类打成jar包，添加到HDFS系统中去执行。此处要说的是第二种方式，使用的hadoop版本是0.20.2，执行的操作是添加文件和查看文件最后修改时间，具体步骤如下：

　　1、创建一个java工程，将hadoop-0.20.2目录下的hadoop-0.20.2-core.jar和hadoop-0.20.2/lib/目录下commons-logging-1.0.4.jar添加java工程中。

　　2、创建两个java类，分别如下：

package com.gao.example;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * @author gaojiang
 *
 */
public class FileTime {

    /**
     * @param args
     * @throws IOException 
     */
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        Configuration conf = new Configuration();
        FileSystem hdfs = FileSystem.get(conf);
        Path path = new Path("./in/test1.txt");
        FileStatus filestatus = hdfs.getFileStatus(path);
        long time = filestatus.getModificationTime();
        System.out.println("time1 is "+time);
        
        Path path2 = new Path("./mkdir.jar");
        FileStatus filestatus2 = hdfs.getFileStatus(path2);
        long time2 = filestatus2.getModificationTime();
        System.out.println("time2 is "+time2);
    }

}

 

/**
 * 
 */
package com.gao.example;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * @author gaojiang
 *
 */
public class Mkdir {

    /**
     * @param args
     * @throws IOException 
     */
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        Configuration conf = new Configuration();
        byte [] buff="hello word!".getBytes();
        FileSystem hdfs =FileSystem.get(conf);
        Path dfs = new Path("./test");
        FSDataOutputStream out = hdfs.create(dfs);
        out.write(buff,0,buff.length);
        System.out.println("创建完毕");
    }

}

　　3、将工程打包，这里可以打成Runnable Jar file或者JAR file，打成Runnable的，只能以一个类作为入口类，打成JAR file，可以指定要执行的类名。

　　4、使用bin/hadoop dfs -put命令将打好的JAR包添加到HDFS系统中，使用bin/hadooop jar 包名 命令即可运行Runnable Jar，如果是打的JAR file，还需要在包名后面明确指出类名的完整路径。

　　5、需要注意的是，在java代码中创建Hadoop文件系统下的文件时，需要指出./test，而炼数成金视频中讲的只是/test，安装这样的操作去做，坑死我了。。。