手写一个模块化的 TCP 服务端客户端

   前面的博客 基于 socket 手写一个 TCP 服务端及客户端 写过一个简单的 TCP 服务端客户端,没有对代码结构进行任何设计,仅仅是实现了相关功能,用于加深对 socket 编程的认识。

  这次我们对整个代码结构进行一下优化,使其模块化,易扩展,成为一个简单意义上的“框架”。

  对于 Socket 编程这类所需知识偏底层的情况(OS 协议栈的运作机制,TCP 协议的理解,多线程的理解,BIO/NIO 的理解,阻塞函数的运作原理甚至是更底层处理器的中断、网卡等外设与内核的交互、核心态与内核态的切换等),虽然说底层提供的系统函数或 JDK 封装好的原生函数帮助我们屏蔽了一大部分底层的实现细节,但如果对底层的机制没有清楚的认识,这些函数往往很难上手,始终觉着“隔着一层”。

  在遇到这种情况时,应当先将函数依赖的底层运作机制搞清楚,上手实现功能,用熟 API 后再考虑代码结构的优化。毕竟代码结构的优化需要我们能清楚的找出代码中可以复用的部分,以及会出现条件分支的地方。可复用的抽取、需要分支的解耦,将代码模块化,可拔插,同时为代码留下扩展的余地。抽象化和结构化是对功能有整体的把控后才可以去做的工作。

  说的有点多我们先来看些优化后的代码如何使用。

  首先是服务端的构建:

    public static void main(String[] args) {
        Server server = ServerFactory.getServer(80, SocketType.BIO, DelimitType.LengthFlag, DelimitType.LengthFlag,
                (socket, bytes) -> {
            //bytes 是接收到的数据,在这里拿到后做业务处理。socket是本次连接的socket对象,如果对连接有特殊需求比如设置长连接短连接等可自行通过socket对象设置。
            //return 的 msg 会回复给请求方   
return msg; }); server.start(); }

  构建服务端只需要选择监听端口、IO模式、发送数据的方式、接收数据的方式,并传入处理业务的 lamda 函数对象即可。lamda 函数对象中,我们 return 的值会被返回给请求方,如果不需要返回数据,return null 即可。

  对于 IO 模式提供 BIO 与 NIO 两种模式,即传统的阻塞 IO 或 多路复用 IO。两种模式均实现了 Server 接口,可由 ServerFactory.getServer 方法进行构建。

  对于 DelimitType ,数据接收和发送类型,提供了三种方式:1、DelimitType.FixedLength,定长的 TCP 报文帧;2:DelimitType.Flag,以固定分隔符进行定界的报文;3:DelimitType.LengthFlag,由报文头标识本次报文内容长度的报文定界方式。由于服务端实例接收和发送报文时存在这三种情况,我们将其封装为行为策略,与服务端实例解耦。这样我们可以根据需要选择不同的策略来构建服务端,同时如果需要新增报文定界的处理方式,只需新增一个策略类型即可。

  以 BIO 中的 报文头标识长度的定界策略为例,接口:

/**
 * @Author Nxy
 * @Date 2020/3/21 20:11
 * @Description 读取 接收缓冲区 接收数据行为策略
 */
public interface ReciveRegister {
    public byte[] read(InputStream in) throws IOException;
}

  DelimitType.LengthFlag 策略实现类:

/**
 * @Author Nxy
 * @Date 2020/3/21 20:25
 * @Description 按长度标识读取报文的读取策略。每次报文头四个字节标识本次
 * 请求的报文长度,用于划定请求边界
 */
public class LengthFlagReciveRegister implements ReciveRegister {
    @Override
    public byte[] read(InputStream in) throws IOException {
        if (in == null) {
            throw new NullPointerException("inputStream is null!");
        }

        BufferedInputStream bufferIn = new BufferedInputStream(in);
        byte[] result;
        //读取头四个字节,转换为 int 即为报文长度
        byte[] lengthByte = IOUtil.readBytesFromInputStream(bufferIn, 4);
        int length = ByteBuffer.wrap(lengthByte).getInt();
        System.out.println("from recive:" + length);
        //读取指定长度字节
        result = IOUtil.readBytesFromInputStream(bufferIn, length);
        return result;
    }
}

  服务端接口:

public interface Server {
    public void start();

    public void stop();
}

  BIO 服务端实现类:

/**
 * @Author Nxy
 * @Date 2020/3/21 17:16
 * @Description socket TCP BIO 服务端
 */
public class BIOSever implements Server {
    //接受数据的报文定界策略
    private final ReciveRegister reciveRegister;
    //回复数据的报文定界策略
    private final SendRegister sendRegister;
    //接收数据处理业务逻辑
    private final BiFunction<Socket, byte[], Object> dataHandler;
    //任务线程池
    private final ExecutorService threadPool;
    // 主线程线程对象
    private final Thread mainThread;
    //监听端口
    private int port;

    public BIOSever(int port, ReciveRegister reciveRegister, SendRegister sendRegister, BiFunction<Socket, byte[], Object> dataHandler) {
        this.reciveRegister = reciveRegister;
        this.sendRegister = sendRegister;
        this.dataHandler = dataHandler;
        this.threadPool = Executors.newCachedThreadPool();
        mainThread = Thread.currentThread();
        this.port = port;
    }

    @Override
    public void start() {
        ServerSocket server = null;
        try {
            server = new ServerSocket(port);
            System.out.println("recive start!");
        } catch (IOException e) {
            e.printStackTrace();
            return;
        }
        while (!Thread.currentThread().isInterrupted()) {
            Socket socket;
            BufferedInputStream in;
            BufferedOutputStream out;
            try {
                //阻塞等待连接请求
                socket = server.accept();
                System.out.println("建立连接:" + socket.getInetAddress());
                in = new BufferedInputStream(socket.getInputStream());
                out = new BufferedOutputStream(socket.getOutputStream());
            } catch (IOException e) {
                e.printStackTrace();
                System.out.println("连接建立失败!");
                continue;
            }
            threadPool.execute(() -> {
                while (!Thread.currentThread().isInterrupted()) {
                    byte[] result;
                    try {
                        //通过策略模式解耦报文定界策略与本类
                        result = reciveRegister.read(in);
                        //由调用者传入业务处理逻辑,如需返回数据,可通过 socket 对象获取发送缓冲区并写入返回数据
                        Object returnMsg = dataHandler.apply(socket, result);
                        if (returnMsg != null) {
                            //需回复数据不为 null 则回复数据
                            sendRegister.send(socket, returnMsg);
                        }
                    } catch (IOException e) {
                        System.out.println("an connect is closed witn IOException:" + e.getMessage());
                        return;
                    }
                }
            });
        }
    }

    public Thread getMainThread() {
        return this.mainThread;
    }

    @Override
    public void stop() {
        System.out.println("Stop recive :" + this.port);
        threadPool.shutdown();
        mainThread.interrupt();
    }
}

  枚举定界策略类型:

/**
 * @Author Nxy
 * @Date 2020/3/21 20:31
 * @Description 报文定界策略类型
 */
public enum DelimitType {
    //通过长度标识接收数据
    LengthFlag,
    //将数据封装为帧,接收定长数据
    fixedLength,
    //通过结束标识接收数据
    commonFlag
}

  构建服务端的简单工厂:

/**
 * @Author Nxy
 * @Date 2020/3/21 21:19
 * @Description 构建 socket 服务端的简单工厂
 */
public class ServerFactory {
    /**
     * @Author Nxy
     * @Date 2020/3/21 21:43
     * @Param port:监听端口,serverType:服务端类型,reciveRegisterType:划分报文边界策略,dataHandler:业务逻辑函数
     * @Return Server:构建的服务端对象,通过 start 方法启动
     * @Exception
     * @Description
     */
    public static Server getServer(int port, SocketType serverType, DelimitType reciveDelimitType,
                                   DelimitType sendDelimitType, BiFunction<Socket, byte[], Object> dataHandler) {
        Server re = null;
        ReciveRegister reciveRegister = null;
        SendRegister sendRegister = null;
        //接收报文定界策略构建
        switch (reciveDelimitType) {
            case commonFlag:
          reciveRegister = new CommonFlagRegister();
break; case fixedLength:
         reciveRegister = new FixedLengthRegister();
break; case LengthFlag: reciveRegister = new LengthFlagReciveRegister(); break; } //发送报文定界策略构建 switch (sendDelimitType) { case commonFlag:
          sendRegister = new CommonFlagRegister(null);
break; case fixedLength:
          sendRegister = new FixedLengthRegister(null);
break; case LengthFlag: sendRegister = new LengthFlagSendRegister(null); break; } //服务端构建 switch (serverType) { case BIO: re = new BIOSever(port, reciveRegister, sendRegister, dataHandler); break; case NIO: re = new NIOServer(port,reciveRegister,sendRegister,dataHandler); break; } return re; } }

  这样一来,业务逻辑处理、发送与接收报文的数据定界方式、IO类型 都是可拔插、可扩展的,在构建时按需选择拼装即可。

  再来看客户端的使用:

    public static void main(String[] args) throws Exception {
        //简单工厂获取客户端实例
        Client client =
                ClientFactory.getClient("127.0.0.1", 80, SocketType.BIO,
                        DelimitType.LengthFlag, DelimitType.LengthFlag);
//发送数据,re 为服务端返回值,拿到后可以做后续处理
        byte[] re = client.send(invocation);      
}

  与服务端一样,我们传入 目的IP、目的端口、IO 类型、发送和接收报文的数据定界方式 即可从工厂中得到一个 TCP 客户端。

  然后只需要调用 send 方法就可以向服务端传输数据,方法返回值即是服务端的返回数据。远程调用变的像方法调用一样简单,非常方便。

  需要注意的是 send 方法是阻塞的,会阻塞在读取 socket 接受缓冲区的 read 方法上,以 BIO 的报文头传输报文长度的定界方式为例:

  Client 接口:

public interface Client {
    public Socket getSocket();

    /**
     * @Author Nxy
     * @Date 2020/3/21 22:12
     * @Param data:要发送的数据
     * @Return
     * @Exception
     * @Description 发送数据
     */
    public byte[] send(Object data);

    public void close();
}

  BIO Client 的实现类:

public class BIOClient implements Client {
    private final Socket socket;
    private final BufferedOutputStream out;
    private final BufferedInputStream in;
    private final ReciveRegister reciveRegister;
    private final SendRegister sendRegister;

    public BIOClient(String host, int port, ReciveRegister reciveRegister, SendRegister sendRegister) throws IOException {
        socket = new Socket("127.0.0.1", 80);
        out = new BufferedOutputStream(socket.getOutputStream());
        in = new BufferedInputStream(socket.getInputStream());
        this.reciveRegister = reciveRegister;
        this.sendRegister = sendRegister;
    }

    @Override
    public Socket getSocket() {
        return this.socket;
    }

    @Override
    public byte[] send(Object data) {
        byte[] re = null;
        try {
            re = sendRegister.send(socket, data);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return re;
    }

    @Override
    public void close() {
        try {
            if (out != null) {
                out.flush();
                out.close();
            }
            if (in != null) {
                in.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

  定界策略接口:

public interface SendRegister {
    public byte[] send(Socket socket, Object object) throws IOException;
}

  DelimitType.LengthFlag 定界策略实现类:

/**
 * @Author Nxy
 * @Date 2020/3/22 15:16
 * @Description 按长度标识定界的发送策略
 */
public class LengthFlagSendRegister implements SendRegister {
    private final ReciveRegister reciveRegister;

    public LengthFlagSendRegister(ReciveRegister reciveRegister) {
        this.reciveRegister = reciveRegister;
    }

    @Override
    public byte[] send(Socket socket, Object object) throws IOException {
        BufferedOutputStream out = new BufferedOutputStream(socket.getOutputStream());
        byte[] objectBytes = IOUtil.toByteArray(object);
        int length = objectBytes.length;
        System.out.println("from client:" + length);
        //写入长度
        out.write(ByteBuffer.allocate(4).putInt(length).array());
        //写入数据
        out.write(objectBytes);
        out.flush();
        //如果未传入接收报文定界策略,则不需要接收回复数据
        if (reciveRegister == null) {
            return null;
        }
        while (socket.getInputStream().available() <= 0) {
        }
        byte[] re = reciveRegister.read(socket.getInputStream());
        return re;
    }
}

  客户端简单工厂:

public class ClientFactory {
    public static Client getClient(String host, int port, SocketType socketType, DelimitType reciveType, DelimitType sendType) {
        ReciveRegister reciveRegister = null;
        SendRegister sendRegister = null;
        Client client = null;
        switch (reciveType) {
            case LengthFlag:
                reciveRegister = new LengthFlagReciveRegister();
                break;
            case commonFlag:
                break;
            case fixedLength:
                break;
        }
        switch (sendType) {
            case LengthFlag:
                sendRegister = new LengthFlagSendRegister(reciveRegister);
                break;
            case fixedLength:
                break;
            case commonFlag:
                break;
        }
        switch (socketType) {
            case BIO:
                try {
                    client = new BIOClient(host, port, reciveRegister, sendRegister);
                } catch (IOException e) {
                    e.printStackTrace();
                }
                break;
            case NIO:
                break;
        }
        return client;
    }

  这样实现了数据发送、接受方式的可拔插设计,同时通过简单工厂对 IO 类型进行选择构建。

  我们以发送和接收序列化、发序列化对象为例进行测试,服务端代码:

/**
 * @Author Nxy
 * @Date 2020/3/22 15:37
 * @Description 工厂模式构建服务端样例
 * 传入 监听端口,socket 类型,接收数据报文定界策略,发送数据报文定界策略,以及报文处理函数。
 * 报文处理函数为一个 lamda 对象,return 的数据会直接回复给请求方
 */
public class ServerDemo {
    public static void main(String[] args) {
        Server server = ServerFactory.getServer(80, SocketType.BIO, DelimitType.LengthFlag, DelimitType.LengthFlag,
                (socket, bytes) -> {
                    Invocation obj = null;
                    String exception = null;
                    try {
                        ByteArrayInputStream bis = new ByteArrayInputStream(bytes);
                        ObjectInputStream ois = new ObjectInputStream(bis);
                        obj = (Invocation) ois.readObject();
                        ois.close();
                        bis.close();
                        exception = "200";
                    } catch (IOException ex) {
                        ex.printStackTrace();
                        exception = ex.getMessage();
                    } catch (ClassNotFoundException ex) {
                        ex.printStackTrace();
                    }
                    System.out.println(obj.getInterfaceName() + ":" + obj.getMethodName());
                    return exception;
                });
        server.start();
    }
}

  客户端代码:

/**
 * @Author Nxy
 * @Date 2020/3/21 17:54
 * @Description socket 客户端
 */
public class ClientDemo {
    public static void main(String[] args) throws Exception {
        //简单工厂获取客户端实例
        Client client =
                ClientFactory.getClient("127.0.0.1", 80, SocketType.BIO,
                        DelimitType.LengthFlag, DelimitType.LengthFlag);
        client.getSocket().setKeepAlive(true);
        //要发送的数据准备
        Object[] params = new Object[2];
        Class[] paramTypes = new Class[2];
        Invocation invocation = new Invocation(ClientDemo.class.getName(), "main", paramTypes, params);
        for (int i = 0; i < 10; i++) {
            //发送数据
            byte[] re = client.send(invocation);
            ObjectInputStream in = new ObjectInputStream(new ByteArrayInputStream(re));
            String o = (String) in.readObject();
            System.out.println("服务端回复数据 :" + o);
        }
    }

}

  客户端在本次长连接发送了十次序列化对象,服务端均成功进行了反序列化:

 

  客户端每次也都可以成功收到响应:

 

  其实 TCP 层面的东西搞透了,可以更加清晰的理解 HTTP 的上层协议,也会明白为什么很多 RPC 框架都会实现自己的 RPC 协议进行通信。比如 Dubbo 便是基于 netty 框架在 TCP 的上层封装了 Dubbo 协议。

  再加上如何用动态代理为远程过程调用封装一个语法糖,其实就可以手写一个简单的 Dubbo 了,远程过程调用的核心之一:序列化对象的传输 在这里已经实现了,下次我们手写一个简单的 Dubbo。

 

posted @ 2020-03-22 18:44  牛有肉  阅读(704)  评论(0编辑  收藏  举报