【Netty】模块组件详解

shadowLogo

在之前的博文中，本人讲解了 什么是Netty，Netty的基本使用
那么，在本篇博文中，本人就来讲解下 Netty的核心组件：

首先是 启动对象 —— Bootstrap 与 ServerBootstrap：

Bootstrap 与 ServerBootstrap：

Bootstrap 意思是引导，一个 Netty 应用通常由一个 Bootstrap 开始，
主要作用 是：

配置整个 Netty 程序，串联各个组件

Netty 中：

Bootstrap类 是 客户端程序的启动引导类

ServerBootstrap 是服务端程序的启动引导类

方法	功能
public ServerBootstrap group(EventLoopGroup parentGroup, EventLoopGroup childGroup)	用于服务器端用来设置两个EventLoop
public B group(EventLoopGroup group)	用于客户端用来设置一个EventLoopGroup
public B channel(Class<? extends C channelClass)	用来设置一个服务器端的通道实现
public B option(ChannelOption option, T value)	用来给 ServerChannel 添加配置
public ServerBootstrap childOption(ChannelOption childOption, Tvalue)	用来给接收到的通道添加配置
public ServerBootstrap childHandler(ChannelHandler childHandler)	用来设置业务处理类 (自定义的handler)
public ChannelFuture bind(int inetPort)	用于服务器端用来设置占用的端口号
public ChannelFuture connect(String inetHost, int inetPort)	用于客户端用来连接服务器

Future 与 ChannelFuture：

正如前面介绍，在 Netty 中所有的 IO 操作 都是异步的，不能立刻 得知 消息是否被正确处理
但是可以过一会等它执行完成 或者 直接注册一个监听，具体实现 就是通过 Future 和 ChannelFuture，
它们可以注册一个 监听器，当 操作执行成功或失败 时，监听器会自动触发 注册的监听事件

方法	功能
Channel channel()	返回当前正在进行操作的通道
ChannelFuturesync()	同步化当前操作等待异步操作执行完毕

Channel：

用于 执行网络 I/O 操作
Channel 为用户提供：

1）当前网络连接的 通道的状态（例如：是否打开？是否已连接？）

2）网络连接 的 配置参数 （例如接收缓冲区大小）

3）提供 异步的网络 I/O 操作(如：建立连接、读写、绑定端口)
异步调用 意味着任何 I/O 调用都将 立即返回，
并且 不保证 在 调用结束 时所请求的 I/O 操作 已完成

4）调用立即返回 一个 ChannelFuture 实例，通过注册 监听器 到 ChannelFuture 上，可以在 I/O 操作成功、失败或取消时回调 通知调用方法

5）支持关联 I/O 操作 与 对应的处理程序

不同协议、不同的阻塞类型 的连接都有 不同的Channel类型 与之对应。
下面是一些 常用的 Channel 类型：

NioSocketChannel —— 异步的客户端 TCP Socket 连接

NioServerSocketChannel —— 异步的服务端 TCP Socket 连接

NioDatagramChannel —— 异步的 UDP 连接

NioSctpChannel —— 异步的 客户端 Sctp 连接

NioSctpServerChannel —— 异步的 服务端 Sctp 连接

这些通道涵盖了 UDP 和 TCP 等网络IO 以及 文件IO

Selector：

Netty 基于 Selector对象 实现 I/O 多路复用，
通过 Selector，一个线程 可以监听 多个连接的 Channel事件：

当向一个 Selector 中注册 Channel 后，
Selector 内部的机制就可以 自动不断地查询(Select) 这些 注册的 Channel 是否有 已就绪的 I/O事件
（例如可读，可写，网络连接完成等）

这样程序就可以很简单地使用 一个线程 高效地管理 多个 Channel

NioEventLoop：

NioEventLoop 中维护了一个线程和 任务队列，支持异步提交执行任务，
线程启动时，会调用 NioEventLoop 的 run()方法，执行 I/O 任务 和 非 I/O 任务：

I/O任务，即 selectionKey 中 ready 的事件，如：

accept、connect、read、write 等

由 processSelectedKeys()方法 触发

非 I/O任务，添加到 taskQueue 中的任务，如：

register0、bind0 等任务

由 runAllTasks()方法 触发

NioEventLoopGroup：

用于 管理 eventLoop 的 生命周期，
可以理解为一个线程池，内部维护了一组线程，
每个线程(NioEventLoop) 负责处理 多个Channel 上的事件，
而 一个Channel 只对应 一个线程

方法	功能
public NioEventLoopGroup()	创建获取 NioEventLoopGroup对象
public Future<?> shutdownGracefully()	断开连接，关闭线程

ChannelHandler：

用于 处理 I/O事件 或 拦截 I/O操作，并将其 转发到其 ChannelPipeline(业务处理链) 中的 下一个处理程序(责任链模式)

ChannelHandler 本身并没有提供很多方法，因为这个接口有许多的方法需要实现，
因此，我们可以继承它的子类：

ChannelInboundHandler —— 用于处理 入站 I/O事件

ChannelOutboundHandler —— 用于处理 出站 I/O操作

或者使用以下 适配器类：

ChannelInboundHandlerAdapter —— 用于处理 入站 I/O事件

ChannelOutboundHandlerAdapter —— 用于处理 出站 I/O操作

ChannelHandlerContext：

保存 Channel 相关的所有 上下文信息，同时关联一个 ChannelHandler 对象

方法	功能
ChannelFuture close()	关闭通道
ChannelOutboundInvoker flush()	刷新
ChannelFuture writeAndFlush(Object msg)	将数据msg 写到 ChannelPipeline 中的当前ChannelHandler的下一个ChannelHandler 开始处理(出站)

ChannelOption：

Netty在创建Channel实例后,一般都需要设置ChannelOption参数。
ChannelOption 参数如下：

通用配置：

参数	意义
`CONNECT_TIMEOUT_MILLIS`	连接超时毫秒数默认值：30000毫秒，即30秒
`MAX_MESSAGES_PER_READ`	一次Loop 读取的最大消息数对于ServerChannel 或者 NioByteChannel，默认值为16 其他Channel 默认值为 1 因为：ServerChannel需要接受足够多的连接，保证大吞吐量 NioByteChannel可以减少不必要的系统调用select
`WRITE_SPIN_COUNT`	一个Loop写操作执行的最大次数默认值为 16 也就是说，对于大数据量的写操作至多进行16次如果 16次仍没有全部写完数据，此时会提交一个新的写任务给 EventLoop，任务将在下次调度继续执行这样，其他的写请求才能被响应不会因为单个大数据量写请求而耽误
`ALLOCATOR`	ByteBuf的分配器默认值：ByteBufAllocator.DEFAULT，4.0版本为 UnpooledByteBufAllocator 4.1版本为 PooledByteBufAllocator 该值也可以使用系统参数io.netty.allocator.type 配置，使用字符串值："`unpooled`"，"`pooled`"
`RCVBUF_ALLOCATOR`	用于Channel分配接受Buffer的分配器默认值为 AdaptiveRecvByteBufAllocator.DEFAULT 是一个自适应的接受缓冲区分配器，能根据接受到的数据来自动调节大小可选值为 FixedRecvByteBufAllocator，固定大小的接受缓冲区分配器
`AUTO_READ`	自动读取默认值为 True Netty只在必要时候才设置关心相应的I/O事件对于读操作，需要调用 channel.read() 设置关心的I/O事件为 OP_READ，这样若有数据到达才能读取以供用户处理该值为True时，每次读操作完毕后会自动调用channel.read()，从而有数据到达便能读取否则，需要用户手动调用 channel.read() 需要注意的是：当调用config.setAutoRead(boolean)方法时，如果状态由 false 变为 true，将会调用 channel.read()方法读取数据；由true变为 false，将调用config.autoReadCleared()方法终止数据读取
`WRITE_BUFFER_HIGH_WATER_MARK`	写高水位标记默认值64KB 如果Netty的写缓冲区中的字节超过该值，Channel 的 isWritable() 返回 False
`WRITE_BUFFER_LOW_WATER_MARK`	写低水位标记默认值32KB 当Netty的写缓冲区中的字节超过高水位之后若下降到低水位，则Channel的 isWritable() 返回 True 写高低水位标记使用户可以控制写入数据速度，从而实现流量控制推荐做法是：每次调用 channl.write(msg)方法首先调用channel.isWritable()判断是否可写
`MESSAGE_SIZE_ESTIMATOR`	消息大小估算器默认为 DefaultMessageSizeEstimator.DEFAULT 估算 ByteBuf、ByteBufHolder 和 FileRegion 的大小其中 ByteBuf 和 ByteBufHolder 为实际大小 FileRegion 估算值为 0 该值估算的字节数在计算水位时使用因此：FileRegion为0，可知 FileRegion不影响高低水位
`SINGLE_EVENTEXECUTOR_PER_GROUP`	单线程执行ChannelPipeline中的事件默认值为 True 该值控制执行ChannelPipeline中执行ChannelHandler的线程如果为 True，整个pipeline 由一个线程执行，这样不需要进行线程切换以及线程同步，是 `Netty4` 的推荐做法；如果为 False，ChannelHandler中的处理过程会由 Group中的不同线程执行

配置 SocketChannel：

参数	意义
`SO_RCVBUF`	TCP数据接收缓冲区大小该缓冲区即 TCP接收滑动窗口，linux操作系统可使用命令：`cat /proc/sys/net/ipv4/tcp_rmem` 查询其大小一般情况下，该值可由用户在任意时刻设置但当设置值超过64KB 时，需要在连接到远端之前设置
`SO_SNDBUF`	TCP数据发送缓冲区大小该缓冲区即 TCP发送滑动窗口，linux操作系统可使用命令：`cat /proc/sys/net/ipv4/tcp_smem` 查询其大小
`TCP_NODELAY`	立即发送数据默认值为 Ture （Netty 默认为 True，而操作系统默认为 False）该值设置 Nagle算法的启用，该算法将小的碎片数据连接成更大的报文来最小化所发送的报文的数量，如果需要发送一些较小的报文，则需要禁用该算法 Netty 默认禁用该算法，从而最小化报文传输延时
`SO_KEEPALIVE`	一直保持连接活动状态默认为 false
`SO_REUSEADDR`	地址复用默认值为 False 有四种情况可以使用： (1)当有一个有相同本地地址和端口的socket1处于TIME_WAIT状态时，而你希望启动的程序的socket2要占用该地址和端口，比如重启服务且保持先前端口 (2)有多块网卡或用IP Alias技术的机器在同一端口启动多个进程，但每个进程绑定的本地IP地址不能相同 (3)单个进程绑定相同的端口到多个socket上，但每个socket绑定的ip地址不同 (4)完全相同的地址和端口的重复绑定。但这只用于UDP的多播，不用于TCP
`SO_LINGER`	Netty对底层Socket参数的简单封装，关闭Socket的延迟时间默认值为 -1，表示禁用该功能 -1 以及所有<0的数表示 socket.close()方法立即返回，但 OS底层会将发送缓冲区全部发送到对端 0 表示 socket.close()方法立即返回，OS底层会放弃发送缓冲区的数据，直接向对端发送 RST包，对端收到复位错误非0整数值表示调用 socket.close()方法的线程被阻塞直到延迟时间到或发送缓冲区中的数据发送完毕；若超时，则对端会收到复位错误
`IP_TOS`	设置 IP头部的 Type-of-Service字段，用于描述 IP包的优先级和 QoS选项
`ALLOW_HALF_CLOSURE`	一个连接的远端关闭时，本地端是否关闭默认值为 False 值为 False时，连接自动关闭为 True 时，触发 ChannelInboundHandler 的 userEventTriggered()方法，事件为 ChannelInputShutdownEvent

配置 ServerSocketChannel：

参数	意义
`SO_RCVBUF`	见上文
`SO_REUSEADDR`	见上文
`SO_BACKLOG`	对应 TCP/IP协议的 listen函数中的 backlog参数，用来初始化服务器可连接队列大小服务端处理客户端连接请求是顺序处理的，所以同一时间只能处理一个客户端连接多个客户端来的时候，服务端将不能处理的客户端连接请求放在可连接队列中等待处理默认为 Windows为200，其他为128

配置 DatagramChannel：

参数	意义
`SO_BROADCAST`	设置广播模式
`SO_RCVBUF`	见上文
`SO_SNDBUF`	见上文
`SO_REUSEADDR`	见上文
`IP_MULTICAST_LOOP_DISABLED`	对应 IP参数 `IP_MULTICAST_LOOP`，设置本地回环接口的多播功能由于 `IP_MULTICAST_LOOP` 返回 True 表示关闭所以Netty加上后缀_DISABLED 防止歧义
`IP_MULTICAST_ADDR`	对应 IP参数 `IP_MULTICAST_IF` 设置对应地址的网卡为多播模式
`IP_MULTICAST_IF`	对应IP参数 `IP_MULTICAST_IF2`，同上但支持IPV6
`IP_MULTICAST_TTL`	多播数据报的 time-to-live 即存活跳数
`IP_TOS`	见上文
`DATAGRAM_CHANNEL_ACTIVE_ON_REGISTRATION`	DatagramChannel 注册的 EventLoop，即表示：已激活

ChannelPipline：

保存 ChannelHandler 的 List集合，用于处理或拦截 Channel 的 入站事件 和 出站操作(责任链模式 处理)

ChannelPipeline 实现了一种高级形式的 拦截过滤器模式，使用户可以完全控制 事件的处理方式，以及 Channel 中的各个 ChannelHandler 如何 相互交互

在 Netty 中 每个Channel 都 有且仅有一个 ChannelPipeline 与之对应

它们的组成关系如下：

一个Channel 包含了 一个 ChannelPipeline，

而 ChannelPipeline 中又维护了 一个由 ChannelHandlerContext 组成的双向链表，并且 每个ChannelHandlerContext 中又关联着 一个 ChannelHandler

read事件(入站事件) 和 write事件(出站事件) 在 一个双向链表 中，

入站事件 会从 链表 head 往后传递到 最后一个入站 的 handler，

出站事件 会从 链表 tail 往前传递到 最前一个出站 的 handler，

两种类型的 handler 互不干扰

如下图：
model

Unpooled：

描述：

Netty提供一个专门用来 操作缓冲区(即：Netty的数据容器) 的工具类

常用API：

方法	功能
public static ByteBuf buffer(int initialCapacity)	创建一个大小为参数initialCapacity 的字节缓冲区
public static ByteBuf copiedBuffer(CharSequence string, Charset charset)	通过参数数据和参数字符编码返回一个 `ByteBuf` 对象 (`ByteBuf` 和 NIO中的 `ByteBuff` 很类似)

ByteBuf：

简介：

从结构上来说，ByteBuf 由 一串字节数组 构成，数组中每个字节用于存放信息。

ByteBuf 提供了 两个索引，一个用于 读取数据，一个用于 写入数据。
(这里和本人之前讲解的 Buffer 很相似，但是这里 读写指针 是分开的)

这两个索引通过在字节数组中移动，来定位需要 读或者写信息 的位置

如下图：
ByteBuf

当从 ByteBuf 读取时，它的 readerIndex(读索引) 将会根据读取的字节数递增
同样，当写 ByteBuf 时，它的 writerIndex(写索引) 会根据写入的字节数递增

需要注意的是情况是：

readerIndex 刚好读到了 writerIndex 写入的地方。
如果 readerIndex 超过了 writerIndex 的时候，会抛出 IndexOutOf-BoundsException 异常。

那么，本人来展示下 ByteBuf类 的使用：

使用展示：

package edu.youzg.demo;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.util.CharsetUtil;

public class NettyByteBufDemo {

    public static void main(String[] args) {
        // 创建 byteBuf对象，该对象内部包含一个 字节数组byte[10]
        // 通过 readerindex 和 writerIndex 和 capacity，将buffer分成 三个区域
        // 已经读取的区域：[0,readerindex)
        // 可读取的区域：[readerindex,writerIndex)
        // 可写的区域: [writerIndex,capacity)
        ByteBuf byteBuf = Unpooled.buffer(10);
        System.out.println("byteBuf=" + byteBuf);

        for (int i = 0; i < 8; i++) {
            byteBuf.writeByte(i);
        }
        System.out.println("byteBuf=" + byteBuf);

        for (int i = 0; i < 5; i++) {
            System.out.println(byteBuf.getByte(i));
        }
        System.out.println("byteBuf=" + byteBuf);

        for (int i = 0; i < 5; i++) {
            System.out.println(byteBuf.readByte());
        }
        System.out.println("byteBuf=" + byteBuf);


        //用Unpooled工具类创建ByteBuf
        ByteBuf byteBuf2 = Unpooled.copiedBuffer("hello,Youzg!", CharsetUtil.UTF_8);
        //使用相关的方法
        if (byteBuf2.hasArray()) {
            byte[] content = byteBuf2.array();
            //将 content 转成字符串
            System.out.println(new String(content, CharsetUtil.UTF_8));
            System.out.println("byteBuf2=" + byteBuf2);

            System.out.println(byteBuf2.getByte(0)); // 获取数组0这个位置的字符h的ascii码，h=104

            int len = byteBuf2.readableBytes(); //可读的字节数  12
            System.out.println("len=" + len);

            //使用for取出各个字节
            for (int i = 0; i < len; i++) {
                System.out.println((char) byteBuf2.getByte(i));
            }

            //范围读取
            System.out.println(byteBuf2.getCharSequence(0, 6, CharsetUtil.UTF_8));
            System.out.println(byteBuf2.getCharSequence(6, 6, CharsetUtil.UTF_8));
        }
    }

}

现在，本人来展示下 运行结果：
结果2

运行结果
我们可以看到：

随着我们向 缓冲区 中，
写入或读取数据时，读指针 和 写指针 就会相对地后移

posted @ 2021-05-04 17:34 在下右转，有何贵干阅读(234) 评论(0) 编辑收藏举报

刷新页面返回顶部

在下右转，有何贵干

带你深究Java的本质！

【Netty】模块组件详解

Bootstrap 与 ServerBootstrap：

Future 与 ChannelFuture：

Channel：

Selector：

NioEventLoop：

NioEventLoopGroup：

ChannelHandler：

ChannelHandlerContext：

ChannelOption：

通用配置：

配置 SocketChannel：

配置 ServerSocketChannel：

配置 DatagramChannel：

ChannelPipline：

Unpooled：

描述：

常用API：

ByteBuf：

简介：

使用展示：

公告

在下右转，有何贵干

带你深究Java的本质！

【Netty】模块组件 详解

Bootstrap 与 ServerBootstrap：

Future 与 ChannelFuture：

Channel：

Selector：

NioEventLoop：

NioEventLoopGroup：

ChannelHandler：

ChannelHandlerContext：

ChannelOption：

通用配置：

配置 SocketChannel：

配置 ServerSocketChannel：

配置 DatagramChannel：

ChannelPipline：

Unpooled：

描述：

常用API：

ByteBuf：

简介：

使用展示：

公告

【Netty】模块组件详解