Netty源码解析e——线程池模型之线程NioEventLoop

上一篇详细分析了NioEventLoopGroup作用和源码，本文来看看NioEventLoop。NioEventLoop源码比NioEventLoopGroup源码复杂得多，每个NioEventLoop对象都与NIO中的多路复用器Selector一样，要管理成千上万条链路，所有链路数据的读/写事件都由它来发起。本文通过对NioEventLoop的功能、底层设计等对其源码进行深度剖析。

继承关系

NioEventLoop的功能

核心功能：

开启Selector并初始化
把ServerSocketChannel注册到Selector上
处理各种I/O事件，如OP_ACCEPT、OP_CONNECT、OP_READ、OP_WRITE事件
执行定时调度任务
解决JDK空轮询bug

整体功能：

NioEventLoop这些功能的具体实现大部分都是委托其他类来完成的，其本身只完成数据流的接入工作。这种设计减轻了NioEventLoop的负担，同时增强了其扩展性。NioEventLoop的整体功能如上图所示。第二层为NioEventLoop的4个核心方法。对于每条EventLoop线程来说，由于链路注册到Selector上的具体实现都是委托给Unsafe类来完成的，因此register()方法存在于其父类SingleThreadEventLoop中。接下来对一些关键方法一一进行解读。

NioEventLoop开启Selector

当初始化NioEventLoop时，通过openSelector()方法开启Selector。在rebuildSelector()方法中也可调用openSelector()方法。在NIO中开启Selector（1行代码），只需调用Selector.open()或SelectorProvider的openSelector()方法即可。Netty为Selector设置了优化开关，如果开启优化开关，则通过反射加载sun.nio.ch.SelectorImpl对象，并通过已经优化过的SelectedSelectionKeySet替换sun.nio.ch.SelectorImpl对象中的selectedKeys和publicSelectedKeys两个HashSet集合。其中，selectedKeys为就绪Key的集合，拥有所有操作事件准备就绪的选择Key；publicSelectedKeys为外部访问就绪Key的集合代理，由selectedKeys集合包装成不可修改的集合。

SelectedSelectionKeySet具体做了什么优化呢？主要是数据结构改变了，用数组替代了HashSet，重写了add()和iterator()方法，使数组的遍历效率更高。开启优化开关，需要将系统属性io.netty.noKeySetOptimization设置为true。开启Selector的代码解读如下：

查看代码


private SelectorTuple openSelector() {
        final Selector unwrappedSelector;
        try {
            //创建selector
            unwrappedSelector = provider.openSelector();
        } catch (IOException e) {
            throw new ChannelException("failed to open a new selector", e);
        }
     
        //判断是否开始优化开关，默认为不开启，直接返回selector
        if (DISABLE_KEY_SET_OPTIMIZATION) {
            return new SelectorTuple(unwrappedSelector);
        }

        //通过反射创建selectorImpl对象
        Object maybeSelectorImplClass = AccessController.doPrivileged(new PrivilegedAction<Object>() {
            @Override
            public Object run() {
                try {
                    return Class.forName(
                            "sun.nio.ch.SelectorImpl",
                            false,
                            PlatformDependent.getSystemClassLoader());
                } catch (Throwable cause) {
                    return cause;
                }
            }
        });

        if (!(maybeSelectorImplClass instanceof Class) ||
            // ensure the current selector implementation is what we can instrument.
            !((Class<?>) maybeSelectorImplClass).isAssignableFrom(unwrappedSelector.getClass())) {
            if (maybeSelectorImplClass instanceof Throwable) {
                Throwable t = (Throwable) maybeSelectorImplClass;
                logger.trace("failed to instrument a special java.util.Set into: {}", unwrappedSelector, t);
            }
            return new SelectorTuple(unwrappedSelector);
        }

        final Class<?> selectorImplClass = (Class<?>) maybeSelectorImplClass;
        //使用优化后的SelectedSelectionKeySet对象
        //使用JDK的sun.nio.ch.SelectorImpl.selectedKeys替换掉
        final SelectedSelectionKeySet selectedKeySet = new SelectedSelectionKeySet();

        Object maybeException = AccessController.doPrivileged(new PrivilegedAction<Object>() {
            @Override
            public Object run() {
                try {
                    Field selectedKeysField = selectorImplClass.getDeclaredField("selectedKeys");
                    Field publicSelectedKeysField = selectorImplClass.getDeclaredField("publicSelectedKeys");

                    if (PlatformDependent.javaVersion() >= 9 && PlatformDependent.hasUnsafe()) {
                        // Let us try to use sun.misc.Unsafe to replace the SelectionKeySet.
                        // This allows us to also do this in Java9+ without any extra flags.
                        long selectedKeysFieldOffset = PlatformDependent.objectFieldOffset(selectedKeysField);
                        long publicSelectedKeysFieldOffset =
                                PlatformDependent.objectFieldOffset(publicSelectedKeysField);

                        if (selectedKeysFieldOffset != -1 && publicSelectedKeysFieldOffset != -1) {
                            PlatformDependent.putObject(
                                    unwrappedSelector, selectedKeysFieldOffset, selectedKeySet);
                            PlatformDependent.putObject(
                                    unwrappedSelector, publicSelectedKeysFieldOffset, selectedKeySet);
                            return null;
                        }
                        // We could not retrieve the offset, lets try reflection as last-resort.
                    }

                    //设置为可写
                    Throwable cause = ReflectionUtil.trySetAccessible(selectedKeysField, true);
                    if (cause != null) {
                        return cause;
                    }
                    cause = ReflectionUtil.trySetAccessible(publicSelectedKeysField, true);
                    if (cause != null) {
                        return cause;
                    }

                    //通过反射的方式把selectorselectedKeys和publicSelectedKeys
                    //使用Netty构造的selectorselectedKeys替换JDK的selectedKeySet
                    selectedKeysField.set(unwrappedSelector, selectedKeySet);
                    publicSelectedKeysField.set(unwrappedSelector, selectedKeySet);
                    return null;
                } catch (NoSuchFieldException e) {
                    return e;
                } catch (IllegalAccessException e) {
                    return e;
                }
            }
        });

        if (maybeException instanceof Exception) {
            selectedKeys = null;
            Exception e = (Exception) maybeException;
            logger.trace("failed to instrument a special java.util.Set into: {}", unwrappedSelector, e);
            return new SelectorTuple(unwrappedSelector);
        }
        //把selectedKeySet赋值给NioEventLoop属性，并返回Selector元数据.
        selectedKeys = selectedKeySet;
        logger.trace("instrumented a special java.util.Set into: {}", unwrappedSelector);
        return new SelectorTuple(unwrappedSelector,
                                 new SelectedSelectionKeySetSelector(unwrappedSelector, selectedKeySet));
    }

NioEventLoop的run()方法

run()方法主要分三部分：select(boolean oldWakenUp)，用来轮询就绪的Channel；process SelectedKeys，用来处理轮询到的SelectionKey；runAllTasks，用来执行队列任务。

第一部分，select(boolean oldWakenUp)：主要目的是轮询看看是否有准备就绪的Channel。在轮询过程中会调用NIOSelector的selectNow()和select(timeoutMillis)方法。由于对这两个方法的调用进行了很明显的区分，因此调用这两个方法的条件也有所不同，具体逻辑如下。

（1）当定时任务需要触发且之前未轮询过时，会调用selectNow()方法立刻返回。

（2）当定时任务需要触发且之前轮询过（空轮询或阻塞超时轮询）直接返回时，没必要再调用selectNow()方法。

（3）若taskQueue队列中有任务，且从EventLoop线程进入select()方法开始后，一直无其他线程触发唤醒动作，则需要调用selectNow()方法，并立刻返回。因为在运行select(booleanoldWakenUp)之前，若有线程触发了wakeUp动作，则需要保证tsakQueue队列中的任务得到了及时处理，防止等待timeoutMillis超时后处理。

（4）当select(timeoutMillis)阻塞运行时，在以下4种情况下会正常唤醒线程：其他线程执行了wakeUp唤醒动作、检测到就绪Key、遇上空轮询、超时自动醒来。唤醒线程后，除了空轮询会继续轮询，其他正常情况会跳出循环。具体代码解读如下：