HDFS的Java操作方式

在eclipse中调用JavaAPI实现HDFS中的相关操作

1、创建一个java工程

2、右键工程，在属性里添加上hadoop解压后的相关jar包（hadoop目录下的jar包和lib目录下的jar包）

 

3、调用相关代码，实现相关hdfs操作

 

package hdfs;

import java.io.InputStream;
import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

public class App1 {
    /**
     * 异常：unknown host: chaoren 本机没有解析主机名chaoren
     * 在C:\Windows\System32\drivers\etc\hosts文件中添加192.168.80.100
     * chaoren(win10中要添加写入权限才能写入)
     */
    static final String PATH = "hdfs://chaoren:9000/hello";

    public static void main(String[] args) throws Exception {
        // 让URL能够解析hdfs协议
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
        URL url = new URL(PATH);
        InputStream in = url.openStream();
        /**
         * @param in
         *            输入流
         * @param out
         *            输出流
         * @param buffSize
         *            缓冲大小
         * @param close
         *            在传输结束后是否关闭流
         */
        IOUtils.copyBytes(in, System.out, 1024, true);// 读取文件hello中的内容
    }

}

 

 

 

package hdfs;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class App2 {
    static final String PATH = "hdfs://chaoren:9000/";
    static final String DIR = "/d1";
    static final String FILE = "/d1/hello";

    public static void main(String[] args) throws Exception {
        FileSystem fileSystem = getFileSystem();

        // 创建文件夹 hadoop fs -mkdir /d1
        mkDir(fileSystem);

        // 上传文件 hadoop fs -put src des
        putData(fileSystem);

        // 下载文件 hadoop fs -get src des
        getData(fileSystem);

        // 浏览文件夹 hadoop fs -lsr path
        list(fileSystem);

        // 删除文件夹 hadoop fs -rmr /d1
        remove(fileSystem);
    }

    private static void remove(FileSystem fileSystem) throws IOException {
        fileSystem.delete(new Path(DIR), true);
    }

    private static void list(FileSystem fileSystem) throws IOException {
        FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));
        for (FileStatus fileStatus : listStatus) {
            String isDir = fileStatus.isDir() ? "文件夹" : "文件";
            String permission = fileStatus.getPermission().toString();
            int replication = fileStatus.getReplication();
            long len = fileStatus.getLen();
            String path = fileStatus.getPath().toString();
            System.out.println(isDir + "\t" + permission + "\t" + replication
                    + "\t" + len + "\t" + path);
        }
    }

    private static void getData(FileSystem fileSystem) throws IOException {
        FSDataInputStream inputStream = fileSystem.open(new Path(FILE));
        IOUtils.copyBytes(inputStream, System.out, 1024, true);
    }

    private static void putData(FileSystem fileSystem) throws IOException,
            FileNotFoundException {
        FSDataOutputStream out = fileSystem.create(new Path(FILE));
        FileInputStream in = new FileInputStream("C:/Users/ahu_lichang/cp.txt");// 斜杠方向跟Windows下是相反的
        IOUtils.copyBytes(in, out, 1024, true);
    }

    private static void mkDir(FileSystem fileSystem) throws IOException {
        fileSystem.mkdirs(new Path(DIR));
    }

    private static FileSystem getFileSystem() throws IOException,
            URISyntaxException {
        FileSystem fileSystem = FileSystem.get(new URI(PATH),
                new Configuration());
        return fileSystem;
    }

}

 

 

RPC
1.1 RPC (remote procedure call)远程过程调用.
　　远程过程指的是不是同一个进程。
1.2 RPC至少有两个过程。调用方(client)，被调用方(server)。
1.3 client主动发起请求，调用指定ip和port的server中的方法，把调用结果返回给client。
1.4 RPC是hadoop构建的基础。

 

示例：

package rpc;

import org.apache.hadoop.ipc.VersionedProtocol;

public interface MyBizable extends VersionedProtocol{
    long VERSION = 2345L;
    public abstract String hello(String name);
}

package rpc;

import java.io.IOException;

public class MyBiz implements MyBizable{

    public long getProtocolVersion(String arg0, long arg1) throws IOException {
        return VERSION;
    }

    public String hello(String name) {
        System.out.println("方法被调用了（检测方法是不是在服务器上被调用的？）");
        return "hello "+name;
    }
    
}

package rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.RPC.Server;

public class MyServer {
    static final String ADDRESS = "localhost";
    static final int PORT = 12345;
    public static void main(String[] args) throws Exception {
        /**
         * 构造一个RPC的服务端
         * @param instance 这个实例中的方法会被调用
         * @param bindAddress 绑定的地址是用于监听连接的
         * @param port 绑定的端口是用于监听连接的
         * @pparam conf
         */
        Server server = RPC.getServer(new MyBiz(), ADDRESS, PORT, new Configuration());
        server.start();
    }

}

package rpc;

import java.net.InetSocketAddress;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

public class MyClient {
    public static void main(String[] args) throws Exception {
        /**
         * 构造一个客户端代理对象，该代理对象实现了命名的协议。代理对象会与指定地址的服务器通话
         */
        MyBizable proxy = (MyBizable) RPC.waitForProxy(MyBizable.class,
                MyBizable.VERSION, new InetSocketAddress(MyServer.ADDRESS,
                        MyServer.PORT), new Configuration());
        String result = proxy.hello("hadoop!!!");
        System.out.println("客户端RPC后的结果：" + result);
        // 关闭网络连接
        RPC.stopProxy(proxy);
    }
}

 

 

 

通过例子获得的认识
2.1 RPC是一个远程过程调用。
2.2 客户端调用服务端的方法，意味着调用服务端的对象中的方法。
2.3 如果服务端的对象允许客户端调用，那么这个对象必须实现接口。
2.4 如果客户端能够调用到服务端对象的方法，那么这些方法一定位于对象的接口中。