NIO
SelectionKey
SelectionKey的类图如下:
注意，SelectionKey使用AtomicReferenceFieldUpdater进行原子更新attachment，这货就像是Channel和Selector结合的结晶。
兴趣设置
SelectionKeyImpl.interestOps:
1public SelectionKey interestOps(int ops) {
2 ensureValid();
3 return nioInterestOps(ops);
4}
nioInterestOps利用Channel来实现:
1public SelectionKey nioInterestOps(int ops) {
2 channel.translateAndSetInterestOps(ops, this);
3 interestOps = ops;
4 return this;
5}
这里服务器和客户端有不同的实现。
客户端
SocketChannelImpl.translateAndSetInterestOps:
1public void translateAndSetInterestOps(int ops, SelectionKeyImpl sk) {
2 int newOps = 0;
3 if ((ops & SelectionKey.OP_READ) != 0)
4 newOps |= Net.POLLIN;
5 if ((ops & SelectionKey.OP_WRITE) != 0)
6 newOps |= Net.POLLOUT;
7 if ((ops & SelectionKey.OP_CONNECT) != 0)
8 newOps |= Net.POLLCONN;
9 sk.selector.putEventOps(sk, newOps);
10}
服务器
ServerSocketChannelImpl.translateAndSetInterestOps:
1public void translateAndSetInterestOps(int ops, SelectionKeyImpl sk) {
2 int newOps = 0;
3 if ((ops & SelectionKey.OP_ACCEPT) != 0)
4 newOps |= PollArrayWrapper.POLLIN;
5 sk.selector.putEventOps(sk, newOps);
6}
从这里我们可以得出结论: Java中的accept事件其实就是epoll的POLLIN，ServerSocket/Socket，ServerSocketChannel/SocketChannel本身是有Java抽象出来的概念，在底层系统实现中都是一个文件描述符。
epoll支持的所有事件参考Linux man page:
Linux Programmer's Manual EPOLL_CTL(2)
EPollSelectorImpl.putEventOps:
1public void putEventOps(SelectionKeyImpl ski, int ops) {
2 SelChImpl ch = ski.channel;
3 pollWrapper.setInterest(ch.getFDVal(), ops);
4}
在Linux的实现中pollWrapper是一个EPollArrayWrapper类型，为epoll_event结构体的封装。setInterest方法的实际实现由setUpdateEvents完成:
1private void setUpdateEvents(int fd, byte events, boolean force) {
2 if (fd < MAX_UPDATE_ARRAY_SIZE) {
3 if ((eventsLow[fd] != KILLED) || force) {
4 eventsLow[fd] = events;
5 }
6 } else {
7 Integer key = Integer.valueOf(fd);
8 if (!isEventsHighKilled(key) || force) {
9 eventsHigh.put(key, Byte.valueOf(events));
10 }
11 }
12}
可以看出，兴趣(epoll事件)的保存有两种方式:
- 如果文件描述符小于MAX_UPDATE_ARRAY_SIZE，那么保存在byte数组。
- 如果文件描述符大于MAX_UPDATE_ARRAY_SIZE，那么保存在Map<Integer,Byte>中。
官方的解释是性能原因。那么问题来了，MAX_UPDATE_ARRAY_SIZE是什么?
1private static final int MAX_UPDATE_ARRAY_SIZE = AccessController.doPrivileged(
2 new GetIntegerAction("sun.nio.ch.maxUpdateArraySize", Math.min(OPEN_MAX, 64*1024)));
属性值默认肯定是没有设置的，OPEN_MAX的取值:
1private static final int OPEN_MAX = IOUtil.fdLimit();
fdLimit为native方法:
1JNIEXPORT jint JNICALL Java_sun_nio_ch_IOUtil_fdLimit(JNIEnv *env, jclass this) {
2 struct rlimit rlp;
3 if (getrlimit(RLIMIT_NOFILE, &rlp) < 0) {
4 JNU_ThrowIOExceptionWithLastError(env, "getrlimit failed");
5 return -1;
6 }
7 //如果为负值或大于Java int最大值，那么取int最大值
8 if (rlp.rlim_max < 0 || rlp.rlim_max > java_lang_Integer_MAX_VALUE) {
9 return java_lang_Integer_MAX_VALUE;
10 } else {
11 return (jint)rlp.rlim_max;
12 }
13}
getrlimit为Linux系统调用，用于获得系统对于资源的限制，第一个参数用以指定需要获取哪个资源，RLIMIT_NOFILE即文件描述符。
返回结果中的rlim_max表示硬限制(hard limit)。参考Linux man page:
Linux Programmer's Manual GETRLIMIT(2)
可以得出结论:
这里的兴趣设置只是暂时保存在Java中，而没有真正的设置到epoll中，相当于一个缓存，那么在什么时候设置到epoll中呢?参见Selector-select-poll一节。
取消
cancel方法用于通道到Selector的注册，AbstractSelectionKey.cancel:
1public final void cancel() {
2 synchronized (this) {
3 if (valid) {
4 valid = false;
5 ((AbstractSelector)selector()).cancel(this);
6 }
7 }
8}
AbstractSelector.cancel:
1void cancel(SelectionKey k) {
2 synchronized (cancelledKeys) {
3 cancelledKeys.add(k);
4 }
5}
这里将有效的标志位设为了false，cancelledKeys是一个Set，可以看出，cancel方法的调用并不会导致Selector的立即响应，参见Selector-select一节。正因为如此，假设我们将一个key取消后立即(在这两个过程之间没有发生select操作)再次注册，那么会导致CancelledKeyException，抛出的位置在SelectionKeyImpl的interestOps方法。
Selector
官方的定义是SelectableChannel的多路复用器。类图:
AbstractSelector存在的意义是允许不同的服务提供者以平台相关的方式进行创建，比如在Windows平台上，完整的继承体系是这样:
创建
我们通常用下列方式进行创建:
1 Selector selector = Selector.open();
源码:
1public static Selector open() throws IOException {
2 return SelectorProvider.provider().openSelector();
3}
SelectorProvider定义了Selector的提供者。类图:
在Windows上的完整继承体系:
SelectorProvider的查找顺序如下:
-
VM属性java.nio.channels.spi.SelectorProvider。
-
加载 系统服务，即jar包/META-INF/services文件夹下，这个默认是没有的。
-
默认方式:
1provider = sun.nio.ch.DefaultSelectorProvider.create();在Windows上的实现便是:
1public static SelectorProvider create() { 2 return new WindowsSelectorProvider(); 3}Linux实现:
1public static SelectorProvider create() { 2 String osname = AccessController 3 .doPrivileged(new GetPropertyAction("os.name")); 4 if (osname.equals("SunOS")) 5 return createProvider("sun.nio.ch.DevPollSelectorProvider"); 6 if (osname.equals("Linux")) 7 return createProvider("sun.nio.ch.EPollSelectorProvider"); 8 return new sun.nio.ch.PollSelectorProvider(); 9}下面我们以Linux基准。
EPollSelectorProvider.openSelector:
1public AbstractSelector openSelector() throws IOException {
2 return new EPollSelectorImpl(this);
3}
通道注册
register方法在AbstractSelector中定义，SelectorImpl中实现:
1protected final SelectionKey register(AbstractSelectableChannel ch,int ops,Object attachment) {
2 SelectionKeyImpl k = new SelectionKeyImpl((SelChImpl)ch, this);
3 k.attach(attachment);
4 synchronized (publicKeys) {
5 implRegister(k);
6 }
7 k.interestOps(ops);
8 return k;
9}
publicKeys为一个Set，保存着注册在当前Selector的key，EPollSelectorImpl.implRegister:
1protected void implRegister(SelectionKeyImpl ski) {
2 SelChImpl ch = ski.channel;
3 int fd = Integer.valueOf(ch.getFDVal());
4 //文件描述符到key的映射
5 fdToKey.put(fd, ski);
6 pollWrapper.add(fd);
7 //Set
8 keys.add(ski);
9}
文件描述符
方法里的fd为一个int形式的文件描述符的值，这到底是个什么东西呢?通道内有一个fdVal属性，即为此值，在其构造器中初始化:
1SocketChannelImpl(SelectorProvider sp) {
2 this.fd = Net.socket(true);
3 this.fdVal = IOUtil.fdVal(fd);
4}
IOUtil的fdVal为native实现:
1jint fdval(JNIEnv *env, jobject fdo) {
2 return (*env)->GetIntField(env, fdo, fd_fdID);
3}
获得其实就是FileDescriptor的int型字段fd。回顾Socket的创建或是下面通道-open一节，可以发现这个值其实就是系统调用socket返回的值，此值便是套接字描述符，其实就是系统为每个进程维护的文件描述符表(数组)的下标(索引)，并且是递增的。为什么要这么设计呢，因为使用套接字的时候不可避免的需要用到IP协议 版本，远程地址等一系列属性，套接字描述符为这些属性的获取、设置与传递提供了便利。参考:
事件占位
EPollArrayWrapper.add:
1void add(int fd) {
2 synchronized (updateLock) {
3 assert !registered.get(fd);
4 setUpdateEvents(fd, (byte)0, true);
5 }
6}
setUpdateEvents方法参见SelectionKey-兴趣设置，叫占位的原因就是真正的事件设置由SelectionKey完成。
select
返回就绪的通道数，阻塞方法。SelectorImpl.select调用了select(0)方法:
1public int select(long timeout) {
2 //epoll_wait的timeout参数为-1表示阻塞，0表示立即返回
3 return lockAndDoSelect((timeout == 0) ? -1 : timeout);
4}
SelectorImpl.lockAndDoSelect:
1private int lockAndDoSelect(long timeout) {
2 synchronized (this) {
3 synchronized (publicKeys) {
4 synchronized (publicSelectedKeys) {
5 return doSelect(timeout);
6 }
7 }
8 }
9}
EPollSelectorImpl.doSelect:
1protected int doSelect(long timeout) {
2 processDeregisterQueue();
3 try {
4 begin();
5 pollWrapper.poll(timeout);
6 } finally {
7 end();
8 }
9 processDeregisterQueue();
10 int numKeysUpdated = updateSelectedKeys();
11 if (pollWrapper.interrupted()) {
12 // Clear the wakeup pipe
13 pollWrapper.putEventOps(pollWrapper.interruptedIndex(), 0);
14 synchronized (interruptLock) {
15 pollWrapper.clearInterrupted();
16 IOUtil.drain(fd0);
17 interruptTriggered = false;
18 }
19 }
20 return numKeysUpdated;
21}
Linux epoll实现总共只有三个函数:
- int epoll_create(int size)，创建epoll文件描述符(epoll也占用一个文件描述符)，自Linux2.6内核以后size参数被忽略。
- int epoll_ctl(int epfd, int op,int fd, struct epoll_event *event)，为文件描述符设置感兴趣的事件，epfd即epoll_create的返回值，op共有三种取值:
- EPOLL_CTL_ADD: 注册新的fd到epfd中。
- EPOLL_CTL_MOD: 修改已经注册的fd的监听事件。
- EPOLL_CTL_DEL: 从epfd中删除一个fd。
- int epoll_wait(int epfd, structepoll_event * events, int maxevents, int timeout)，即select操作，将结果保存到第二个参数events中。
取消事件处理
明显可以看出，pollWrapper.poll(timeout)是select操作的核心，也是可能发生阻塞的地方，在poll操作的两侧各有一次取消事件处理的入口(processDeregisterQueue):
1void processDeregisterQueue() throws IOException {
2 // Precondition: Synchronized on this, keys, and selectedKeys
3 Set<SelectionKey> cks = cancelledKeys();
4 synchronized (cks) {
5 if (!cks.isEmpty()) {
6 Iterator<SelectionKey> i = cks.iterator();
7 while (i.hasNext()) {
8 SelectionKeyImpl ski = (SelectionKeyImpl)i.next();
9 try {
10 implDereg(ski);
11 } catch (SocketException se) {
12 throw new IOException("Error deregistering key", se);
13 } finally {
14 i.remove();
15 }
16 }
17 }
18 }
19}
遍历+移除的过程，取消的核心逻辑位于EPollSelectorImpl.implDereg:
1protected void implDereg(SelectionKeyImpl ski) {
2 assert (ski.getIndex() >= 0);
3 SelChImpl ch = ski.channel;
4 int fd = ch.getFDVal();
5 fdToKey.remove(Integer.valueOf(fd));
6 pollWrapper.remove(fd);
7 ski.setIndex(-1);
8 keys.remove(ski);
9 selectedKeys.remove(ski);
10 //从Channel的key集合中移除
11 deregister((AbstractSelectionKey)ski);
12 SelectableChannel selch = ski.channel();
13 //如果通道已关闭且没有注册到任何Selector中
14 if (!selch.isOpen() && !selch.isRegistered())
15 ((SelChImpl)selch).kill();
16}
如果判断通道有没有注册到Selector中呢，其实很简单, AbstractSelectableChannel.isRegistered:
1public final boolean isRegistered() {
2 synchronized (keyLock) {
3 return keyCount != 0;
4 }
5}
keyCount被addKey方法增加，参考通道-Selector注册一节。
poll
EPollArrayWrapper.poll:
1int poll(long timeout) throws IOException {
2 updateRegistrations();
3 updated = epollWait(pollArrayAddress, NUM_EPOLLEVENTS, timeout, epfd);
4 //中断检测
5 for (int i=0; i<updated; i++) {
6 if (getDescriptor(i) == incomingInterruptFD) {
7 interruptedIndex = i;
8 interrupted = true;
9 break;
10 }
11 }
12 return updated;
13}
兴趣(事件)处理
这里与SelectionKey-兴趣设置一节相呼应。Java其实对epoll兴趣的注册提供了缓存机制，每一次的select/poll调用都会导致之前缓存的兴趣被注册。
EPollArrayWrapper.updateRegistrations:
1private void updateRegistrations() {
2 synchronized (updateLock) {
3 int j = 0;
4 while (j < updateCount) {
5 int fd = updateDescriptors[j];
6 short events = getUpdateEvents(fd);
7 boolean isRegistered = registered.get(fd);
8 int opcode = 0;
9 if (events != KILLED) {
10 if (isRegistered) {
11 opcode = (events != 0) ? EPOLL_CTL_MOD : EPOLL_CTL_DEL;
12 } else {
13 opcode = (events != 0) ? EPOLL_CTL_ADD : 0;
14 }
15 if (opcode != 0) {
16 epollCtl(epfd, opcode, fd, events);
17 if (opcode == EPOLL_CTL_ADD) {
18 registered.set(fd);
19 } else if (opcode == EPOLL_CTL_DEL) {
20 registered.clear(fd);
21 }
22 }
23 }
24 j++;
25 }
26 updateCount = 0;
27 }
28}
整个逻辑一目了然，Java使用了BitSet来保存文件描述符是否被注册过。epollCtl即epoll_ctl函数，注意EPOLL_CTL_MOD会清除之前的兴趣标志位。
epfd是在EPollArrayWrapper的构造器中被初始化，相关源码:
1// creates the epoll file descriptor
2epfd = epollCreate();
事件数组
epollWait即对epoll_wait的包装，结果保存在地址为pollArrayAddress的数组中，此数组在EPollArrayWrapper构造器中被初始化，源码:
1int allocationSize = NUM_EPOLLEVENTS * SIZE_EPOLLEVENT;
2AllocatedNativeObject pollArray = new AllocatedNativeObject(allocationSize, true);
3long pollArrayAddress = pollArray.address();
AllocatedNativeObject其实代表了一块连续的指定字节大小的堆外内存。SIZE_EPOLLEVENT代表了一个epoll事件的大小(字节数)，NUM_EPOLLEVENTS代表返回的最大事件数:
1private static final int SIZE_EPOLLEVENT = sizeofEPollEvent();
2private static final int NUM_EPOLLEVENTS = Math.min(OPEN_MAX, 8192);
sizeofEPollEvent的native实现也很简单:
1JNIEXPORT jint JNICALL Java_sun_nio_ch_EPollArrayWrapper_sizeofEPollEvent(JNIEnv* env, jclass this) {
2 return sizeof(struct epoll_event);
3}
中断检测
结合下面wakeup一节，很容易理解poll方法的中断检测部分做了什么。
就绪事件更新
EPollSelectorImpl.updateSelectedKeys:
1private int updateSelectedKeys() {
2 int entries = pollWrapper.updated;
3 int numKeysUpdated = 0;
4 for (int i=0; i<entries; i++) {
5 int nextFD = pollWrapper.getDescriptor(i);
6 SelectionKeyImpl ski = fdToKey.get(Integer.valueOf(nextFD));
7 // ski is null in the case of an interrupt
8 if (ski != null) {
9 int rOps = pollWrapper.getEventOps(i);
10 if (selectedKeys.contains(ski)) {
11 if (ski.channel.translateAndSetReadyOps(rOps, ski)) {
12 numKeysUpdated++;
13 }
14 } else {
15 ski.channel.translateAndSetReadyOps(rOps, ski);
16 if ((ski.nioReadyOps() & ski.nioInterestOps()) != 0) {
17 selectedKeys.add(ski);
18 numKeysUpdated++;
19 }
20 }
21 }
22 }
23 return numKeysUpdated;
24}
逻辑很清晰，就是一个更新SelectionKey的就绪事件并添加到selectedKeys集合的过程，同时可以发现这里并没有key移除的代码，这也是为什么我们需要在使用完之后进行手动移除的原因。
我们来看一下是如何获取就绪事件的文件描述符和ops的。
1int getDescriptor(int i) {
2 int offset = SIZE_EPOLLEVENT * i + FD_OFFSET;
3 return pollArray.getInt(offset);
4}
实际上是通过Unsafe根据地址来进行获取的，关键在于描述符的地址。epoll_event的定义如下:
1typedef union epoll_data {
2 void *ptr;
3 int fd;
4 uint32_t u32;
5 uint64_t u64;
6} epoll_data_t;
7
8struct epoll_event {
9 uint32_t events; /* Epoll events */
10 epoll_data_t data; /* User data variable */
11};
FD_OFFSET等于DATA_OFFSET，后者由native方法offsetofData获得:
1JNIEXPORT jint JNICALL Java_sun_nio_ch_EPollArrayWrapper_offsetofData(JNIEnv* env, jclass this) {
2 return offsetof(struct epoll_event, data);
3}
offsetof为Linux系统调用，返回结构体里指定字段的偏移。epoll_data_t为一个联合体，就可以理解了。
getEventOps的实现很类似:
1int getEventOps(int i) {
2 int offset = SIZE_EPOLLEVENT * i + EVENT_OFFSET;
3 return pollArray.getInt(offset);
4}
EVENT_OFFSET为0.
和SelectionKey-兴趣设置一节一样，这里服务器和客户端的处理也是不一样的。
服务器
ServerSocketChannelImpl.translateReadyOps(initialOps为0):
1public boolean translateReadyOps(int ops, int initialOps, SelectionKeyImpl sk) {
2 int intOps = sk.nioInterestOps();
3 int oldOps = sk.nioReadyOps();
4 int newOps = initialOps;
5 if ((ops & PollArrayWrapper.POLLNVAL) != 0) {
6 // This should only happen if this channel is pre-closed while a
7 // selection operation is in progress
8 // ## Throw an error if this channel has not been pre-closed
9 return false;
10 }
11 //pollhup和pollerr将导致感兴趣的事件的触发
12 if ((ops & (PollArrayWrapper.POLLERR | PollArrayWrapper.POLLHUP)) != 0) {
13 newOps = intOps;
14 sk.nioReadyOps(newOps);
15 return (newOps & ~oldOps) != 0;
16 }
17 //检测OP_ACCEPT
18 if (((ops & PollArrayWrapper.POLLIN) != 0) &&
19 ((intOps & SelectionKey.OP_ACCEPT) != 0))
20 newOps |= SelectionKey.OP_ACCEPT;
21 sk.nioReadyOps(newOps);
22 return (newOps & ~oldOps) != 0;
23}
客户端
略。
中断处理
即EPollSelectorImpl.doSelect方法中的这一部分内容:
1if (pollWrapper.interrupted()) {
2 //这一步的目的是删除就绪结果中中断文件描述符的相关结果
3 pollWrapper.putEventOps(pollWrapper.interruptedIndex(), 0);
4 synchronized (interruptLock) {
5 //EPollArrayWrapper interrupted设为false
6 pollWrapper.clearInterrupted();
7 IOUtil.drain(fd0);
8 //可以再次响应中断
9 interruptTriggered = false;
10 }
11}
drain为native实现:
1JNIEXPORT jboolean JNICALL Java_sun_nio_ch_IOUtil_drain(JNIEnv *env, jclass cl, jint fd) {
2 char buf[128];
3 int tn = 0;
4 for (;;) {
5 int n = read(fd, buf, sizeof(buf));
6 tn += n;
7 if ((n < 0) && (errno != EAGAIN))
8 JNU_ThrowIOExceptionWithLastError(env, "Drain");
9 if (n == (int)sizeof(buf))
10 continue;
11 return (tn > 0) ? JNI_TRUE : JNI_FALSE;
12 }
13}
正如方法名的含义，这一步的目的是将管道中剩余的所有数据读取出来，防止下一次select时再次被作为就绪事件返回。到这里有个疑问: 删除结果集中的相关标志位是在updateSelectedKeys之后进行的，也就是说updateSelectedKeys方法里仍可以得到中断结果。其实解决方式就是这一句:
1if (ski != null)
中断文件描述符必然找不到与之对应的SelectionKey.
wakeup
EPollSelectorImpl.wakeup:
1public Selector wakeup() {
2 synchronized (interruptLock) {
3 //interruptTriggered保证了相邻两次wakeup调用只有一次有效
4 if (!interruptTriggered) {
5 pollWrapper.interrupt();
6 interruptTriggered = true;
7 }
8 }
9 return this;
10}
EPollArrayWrapper.interrupt:
1public void interrupt() {
2 interrupt(outgoingInterruptFD);
3}
outgoingInterruptFD由initInterrupt方法设置:
1void initInterrupt(int fd0, int fd1) {
2 outgoingInterruptFD = fd1;
3 incomingInterruptFD = fd0;
4 epollCtl(epfd, EPOLL_CTL_ADD, fd0, EPOLLIN);
5}
而initInterrupt方法在EPollSelectorImpl的构造器中被调用:
1EPollSelectorImpl(SelectorProvider sp) {
2 long pipeFds = IOUtil.makePipe(false);
3 fd0 = (int) (pipeFds >>> 32);
4 fd1 = (int) pipeFds;
5 pollWrapper = new EPollArrayWrapper();
6 pollWrapper.initInterrupt(fd0, fd1);
7}
这里巧妙地使用了管道来唤醒Selector(epoll_wait)，epoll监听管道读的一端，当要唤醒epoll_wait时，向管道写入数据即可。管道是Linux中一种进程间通信的机制，但仅支持单向的通信，参考:
How to interrupt epoll_pwait with an appropriate signal? [duplicate]
makePipe用于将两个文件描述符组合成为一个管道，返回的long型中高32位为读文件描述符，低32位为写文件描述符:
1JNIEXPORT jlong JNICALL Java_sun_nio_ch_IOUtil_makePipe(JNIEnv *env, jobject this, jboolean blocking) {
2 int fd[2];
3 if (pipe(fd) < 0) {
4 JNU_ThrowIOExceptionWithLastError(env, "Pipe failed");
5 return 0;
6 }
7 //设置文件描述符的阻塞模式
8 if (blocking == JNI_FALSE) {
9 if ((configureBlocking(fd[0], JNI_FALSE) < 0)
10 || (configureBlocking(fd[1], JNI_FALSE) < 0)) {
11 JNU_ThrowIOExceptionWithLastError(env, "Configure blocking failed");
12 close(fd[0]);
13 close(fd[1]);
14 return 0;
15 }
16 }
17 return ((jlong) fd[0] << 32) | (jlong) fd[1];
18}
pipe为Linux系统调用。这样initInterrupt方法中的逻辑就可以理解了。
interrupt(outgoingInterruptFD)一行为native调用:
1JNIEXPORT void JNICALL
2Java_sun_nio_ch_EPollArrayWrapper_interrupt(JNIEnv *env, jobject this, jint fd) {
3 int fakebuf[1];
4 fakebuf[0] = 1;
5 if (write(fd, fakebuf, 1) < 0) {
6 JNU_ThrowIOExceptionWithLastError(env,"write to interrupt fd failed");
7 }
8}
果然，写了一个int数字进去，剩下的参见上面select一节。
关闭
AbstractSelector.close:
1public final void close() throws IOException {
2 boolean open = selectorOpen.getAndSet(false);
3 if (!open)
4 return;
5 implCloseSelector();
6}
SelectorImpl.implCloseSelector:
1public void implCloseSelector() throws IOException {
2 wakeup();
3 synchronized (this) {
4 synchronized (publicKeys) {
5 synchronized (publicSelectedKeys) {
6 implClose();
7 }
8 }
9 }
10}
EPollSelectorImpl.implClose:
1protected void implClose() throws IOException {
2 if (closed)
3 return;
4 closed = true;
5 // prevent further wakeup
6 synchronized (interruptLock) {
7 interruptTriggered = true;
8 }
9 FileDispatcherImpl.closeIntFD(fd0);
10 FileDispatcherImpl.closeIntFD(fd1);
11 //关闭epoll
12 pollWrapper.closeEPollFD();
13 // it is possible
14 selectedKeys = null;
15 // Deregister channels
16 Iterator<SelectionKey> i = keys.iterator();
17 while (i.hasNext()) {
18 SelectionKeyImpl ski = (SelectionKeyImpl)i.next();
19 deregister(ski);
20 SelectableChannel selch = ski.channel();
21 if (!selch.isOpen() && !selch.isRegistered())
22 ((SelChImpl)selch).kill();
23 i.remove();
24 }
25 fd0 = -1;
26 fd1 = -1;
27}
一目了然。
通道
FileChannel我们已经见识过了，下面再来见识一下网络通道。两者的继承体系有相同的部分，从AbstractInterruptibleChannel开始分家，我们的类图就从AbstractInterruptibleChannel开始。
对于通道部分，仍以Windows作为参考，因为这样便于与Socket的底层实现进行对比。
open
以ServerSocketChannel为例:
1public static ServerSocketChannel open() throws IOException {
2 return SelectorProvider.provider().openServerSocketChannel();
3}
实际上构造了一个 ServerSocketChannelImpl对象，构造方法:
1ServerSocketChannelImpl(SelectorProvider sp) {
2 super(sp);
3 this.fd = Net.serverSocket(true);
4 this.fdVal = IOUtil.fdVal(fd);
5 this.state = ST_INUSE;
6}
Net.serverSocket:
1static FileDescriptor serverSocket(boolean stream) {
2 return IOUtil.newFD(socket0(isIPv6Available(), stream, true));
3}
可见，此处其实创建了一个与之关联的ServerSocket对象。socket0实现位于Net.c中，同样是对Windows API socket的调用。IOUtil.newFD负责文件描述符的创建，并将其与socket0返回的地址相关联。
bind
ServerSocketChannelImpl.bind简略版源码:
1@Override
2public ServerSocketChannel bind(SocketAddress local, int backlog){
3 synchronized (lock) {
4 Net.bind(fd, isa.getAddress(), isa.getPort());
5 Net.listen(fd, backlog < 1 ? 50 : backlog);
6 synchronized (stateLock) {
7 localAddress = Net.localAddress(fd);
8 }
9 }
10 return this;
11}
和Socket一样，同样是分为bind和listen两个步骤，分别对应Net的native方法bind0和listen。bind在底层实现其实是 两个操作: bind和设置端口占用的排他性。bind即Windows函数bind，位于jdk\src\windows\native\java\net\net_util_md.c:
1JNIEXPORT int JNICALL
2NET_Bind(int s, struct sockaddr *him, int len) {
3 int rv;
4 rv = bind(s, him, len);
5 if (rv == SOCKET_ERROR) {
6 //...
7 }
8 return rv;
9}
排他性设置由net_util_md.c的NET_SetSockOpt函数实现，简略版源码:
1JNIEXPORT int JNICALL
2NET_SetSockOpt(int s, int level, int optname, const void *optval,int optlen){
3 int rv;
4 int parg;
5 int plen = sizeof(parg);
6 rv = setsockopt(s, level, optname, optval, optlen);
7 if (rv == SOCKET_ERROR) {
8 //...
9 }
10 return rv;
11}
其实和Socket都是一套API.
configureBlocking
由ServerSocketChannelImpl.implConfigureBlocking实现:
1protected void implConfigureBlocking(boolean block) throws IOException {
2 IOUtil.configureBlocking(fd, block);
3}
底层实现便是Windows的ioctlsocket函数，ServerSocket中，被用以实现带超时参数的accept，并未被用于实现非阻塞IO。
selector注册
AbstractSelectableChannel.register简略版源码:
1public final SelectionKey register(Selector sel, int ops,Object att) {
2 synchronized (regLock) {
3 SelectionKey k = findKey(sel);
4 if (k != null) {
5 k.interestOps(ops);
6 k.attach(att);
7 }
8 if (k == null) {
9 // New registration
10 synchronized (keyLock) {
11 if (!isOpen())
12 throw new ClosedChannelException();
13 k = ((AbstractSelector)sel).register(this, ops, att);
14 //加入数组
15 addKey(k);
16 }
17 }
18 return k;
19 }
20}
方法将首先检查当前通道是否已经向给定的Selector注册过了 ，AbstractSelectableChannel内部维护有一个SelectionKey数组，findKey方法便是遍历此数组逐一比较其Selector的过程。
SelectableChannel.regist注释上提到，此方法可能会被阻塞如果当前有另一个线程阻塞在select上，这是怎么实现的呢?
SelectorImpl.register方法需要对publicKeys加锁:
1synchronized (publicKeys) {
2 implRegister(k);
3}
而执行select操作的lockAndDoSelect方法同样需要对此属性加锁:
1synchronized (publicKeys) {
2 synchronized (publicSelectedKeys) {
3 return doSelect(timeout);
4 }
5}
epoll_wait的阻塞并不会释放锁。
读
从类图中可以看出，只有SocketChannel才具有读写功能，ServerSocketChannel并不具备，这和Socket和ServerSocket的关系是一样的。
源码实现与FileChannle大体类似，但是有两点值得注意:
-
线程安全性，读的核心代码全部位于以下线程同步块中:
1synchronized (readLock) { 2 //code... 3}而写代码为writeLock，这也就验证了Channel线程安全的定义，同时说明SocketChannel支持写和读之间的并行，但不能写与写、读与读之间并行，这一特性其实是与TCP/IP协议相关的，所以，很容易可以推测FileChannel仅支持单线程读写，FileChannelImpl.read部分源码:
1synchronized(positionLock) {//code...} -
源码使用了字段readerThread来唤醒被阻塞的线程，那么这里的阻塞到底指的什么呢?其实从系统层面上来说，一个读的过程可以分为两部分:
- 从网络、文件读取。
- 内核将读到的数据从内核空间拷贝到用户空间交于用户程序使用。
Java的阻塞IO与非阻塞IO(NIO)是针对第一个阶段而言的，第二个阶段仍是阻塞的。
Java阻塞IO与非阻塞IO的表现可总结 如下:
Linux上的Java实现实际上是对系统调用read/write的封装，Java层面表现出来的特性其实是系统调用的反应。以写为例，在什么情况下会发生阻塞呢?对于TCP/IP协议栈，操作系统会为每个Socket维护一个发送缓冲区和一个接收缓冲区，所有待发送的数据应首先被放置到发送缓冲区中，但内核并不保证缓冲区中的数据一定会被发送出去，发送缓冲区的情况决定了写操作是否会被阻塞。
那么这个缓冲区一般有多大呢?在Linux上可以通过以下两个命令进行查看:
最大大小:
一般取值就在默认和最大之间，在我的ArchLinux虚拟机上两者是一样的，即160KB。
写操作在阻塞和非阻塞下的不同表现可总结如下:
- 如果发送缓冲区满，那么阻塞写将会阻塞，而非阻塞写返回0.
- 如果发送缓冲区不满，那么阻塞写会阻塞直到发送缓冲区能够放下所有的待写数据，而非阻塞写将返回能够放下的字节数。
对于阻塞写，还有一个非常有意思的细节，如果我们在写时如果连接已经断开，那么将会把发送缓冲填满并返回填入的字节数，在第二次写的时候才会报错，这个问题在实际中遇到了。
而读操作只要接收缓冲区中有数据就会返回，而不会等到接收缓冲区满，不同表现总结如下:
- 如果读缓冲为空，那么阻塞读将会阻塞，非阻塞读会返回0.
读的特性可利用以下代码结合Linux nc命令很容易证明:
1@Test
2public void nioRead() {
3 SocketChannel channel = SocketChannel.open();
4 channel.configureBlocking(false);
5 //Linux nc监听地址
6 channel.connect(new InetSocketAddress("192.168.80.128", 10010));
7 while (channel.isConnectionPending()) {
8 channel.finishConnect();
9 }
10 ByteBuffer buffer = ByteBuffer.allocate(10);
11 int readed = channel.read(buffer);
12 System.out.println(readed);
13}
这里有一个以前没注意过的细节，对于非阻塞IO其connect方法也是非阻塞，也就是说，很有可能当我们调用read方法时连接还没有完成，所以我们需要循环调用isConnectionPending直到完成。参考:
Linux IO模式及 select、poll、epoll详解
accept
ServerSocketChannelImpl.accept简略版源码:
1public SocketChannel accept() {
2 synchronized (lock) {
3 FileDescriptor newfd = new FileDescriptor();
4 InetSocketAddress[] isaa = new InetSocketAddress[1];
5 accept0(this.fd, newfd, isaa);
6 IOUtil.configureBlocking(newfd, true);
7 InetSocketAddress isa = isaa[0];
8 sc = new SocketChannelImpl(provider(), newfd, isa);
9 return sc;
10 }
11}
accept0为native方法，可以看出，其负责设置了新的文件描述符，创建ScoketChannel对象，注意，默认为阻塞模式。底层实现仍为accept函数，和ServerSocket一样。
connect
Linux connect系统调用。
socket
此方法用于获取通道对应的Socket对象，为什么要特别说明这个方法呢?这是因为想到了一个很有意思的情景:
如果我们将通道设置为非阻塞模式，而又创建 一个BufferedOutputStream进行输出，正如以下代码所示:
1new BufferedOutputStream(channel.socket().getOutputStream());
众所周知BufferedOutputStream一般是用在阻塞场景下，那么当阻塞遇见非阻塞会发生什么呢?
SocketChannelImpl.socket:
1public Socket socket() {
2 synchronized (stateLock) {
3 if (socket == null)
4 socket = SocketAdaptor.create(this);
5 return socket;
6 }
7}
SocketAdaptor.create方法实际上创建了一个SocketAdaptor对象，SocketAdaptor位于sun.nio.ch包下，是Socket的子类，这货和我们在Socket部分提到的真正的实现类有什么区别呢?来看一看此类的注释说明:
Make a socket channel look like a socket.
Otherwise an adapter socket should look enough like a real java.net.Socket to fool most of the developers most of the time.
尼玛，这货是将一个通道弄得看起来像一个真的Socket，WTF!
getOutputStream方法由Channels.newOutputStream实现，而Channels类是一个nio相关的工具类，提供字节流、字符流和通道之间的相互转换，类图:
newOutputStream方法实现:
1public static OutputStream newOutputStream(final WritableByteChannel ch) {
2
3 return new OutputStream() {
4 private ByteBuffer bb = null;
5 private byte[] bs = null; // Invoker's previous array
6 private byte[] b1 = null;
7 public synchronized void write(int b) throws IOException {
8 if (b1 == null)
9 b1 = new byte[1];
10 b1[0] = (byte)b;
11 this.write(b1);
12 }
13 public synchronized void write(byte[] bs, int off, int len)
14 throws IOException {
15 if ((off < 0) || (off > bs.length) || (len < 0) ||
16 ((off + len) > bs.length) || ((off + len) < 0)) {
17 throw new IndexOutOfBoundsException();
18 } else if (len == 0) {
19 return;
20 }
21 ByteBuffer bb = ((this.bs == bs) ? this.bb : ByteBuffer.wrap(bs));
22 bb.limit(Math.min(off + len, bb.capacity()));
23 bb.position(off);
24 this.bb = bb;
25 this.bs = bs;
26 Channels.writeFully(ch, bb);
27 }
28 public void close() throws IOException {
29 ch.close();
30 }
31 };
32}
可以看出，返回的其实是一个OutputStream的匿名子类，核心位于writeFully方法:
1private static void writeFully(WritableByteChannel ch, ByteBuffer bb) {
2 if (ch instanceof SelectableChannel) {
3 SelectableChannel sc = (SelectableChannel)ch;
4 synchronized (sc.blockingLock()) {
5 if (!sc.isBlocking())
6 throw new IllegalBlockingModeException();
7 writeFullyImpl(ch, bb);
8 }
9 } else {
10 writeFullyImpl(ch, bb);
11 }
12}
关键就在于条件判断if (!sc.isBlocking())，也就是说，如果给定的通道处于非阻塞模式，那么直接抛出异常，这就很好的印证了流"阻塞"的语义，其实这里在做的就是用通道模仿出流的行为。
关闭
SocketChannel和FileChannel一样都是AbstractInterruptibleChannel的子类，所以close方法的实现是一样的:
1public final void close(){
2 synchronized (closeLock) {
3 if (!open)
4 return;
5 open = false;
6 implCloseChannel();
7 }
8}
这里只是修改了开启标志位，很容易想到，SocketChannel关闭的核心是以下两步:
- 取消注册的key.
- 如果有线程阻塞在读或写上。
AbstractSelectableChannel.implCloseChannel:
1protected final void implCloseChannel() {
2 implCloseSelectableChannel();
3 //取消所有的key
4 synchronized (keyLock) {
5 int count = (keys == null) ? 0 : keys.length;
6 for (int i = 0; i < count; i++) {
7 SelectionKey k = keys[i];
8 if (k != null)
9 k.cancel();
10 }
11 }
12}
SocketChannelImpl.implCloseSelectableChannel:
1protected void implCloseSelectableChannel() {
2 synchronized (stateLock) {
3 isInputOpen = false;
4 isOutputOpen = false;
5 if (state != ST_KILLED)
6 nd.preClose(fd);
7 //如果有线程阻塞在写/读上，那么唤醒之，这么做的原因是在Linux上关闭文件描述符并不会导致线程被唤醒，所以
8 //需要手动唤醒，这一点在FileChannel关闭中也提到了
9 if (readerThread != 0)
10 NativeThread.signal(readerThread);
11 if (writerThread != 0)
12 NativeThread.signal(writerThread);
13 //如果当前Channel不再被Select使用，那么kill掉，为什么不直接Kill呢，因为对SelectionKey.cancel方法的
14 //调用同样会导致kill被调用
15 if (!isRegistered())
16 kill();
17 }
18}
kill方法:
1public void kill() throws IOException {
2 synchronized (stateLock) {
3 if (state == ST_KILLED)
4 return;
5 if (state == ST_UNINITIALIZED) {
6 state = ST_KILLED;
7 return;
8 }
9 assert !isOpen() && !isRegistered();
10 // Postpone the kill if there is a waiting reader
11 // or writer thread. See the comments in read() for
12 // more detailed explanation.
13 if (readerThread == 0 && writerThread == 0) {
14 nd.close(fd);
15 state = ST_KILLED;
16 } else {
17 state = ST_KILLPENDING;
18 }
19 }
20}
预关闭
源码中nd.preClose(fd)用于对文件描述符进行预关闭，native实现位于FileDispatcherImpl.c:
1JNIEXPORT void JNICALL
2Java_sun_nio_ch_FileDispatcherImpl_preClose0(JNIEnv *env, jclass clazz, jobject fdo) {
3 jint fd = fdval(env, fdo);
4 if (preCloseFD >= 0) {
5 if (dup2(preCloseFD, fd) < 0)
6 JNU_ThrowIOExceptionWithLastError(env, "dup2 failed");
7 }
8}
dup2位为Linux系统调用，函数声明为:
1int dup2(int oldfd, int newfd);
作用为将oldfd拷贝给newfd的值，newfd原先指向的文件描述符将被关闭，preClose0方法中的preCloseFD是一个已经关闭的描述符，这样可以防止由于内核对文件描述符的重用造成的读到其它描述符指向的内容的问题，这里可以参考FileChannel-关闭一节中的相关说明，dup2参考Linux man page:
Linux Programmer's Manual DUP(2)
我们可以用如下方式对文件描述符进行验证，假设有命令nc -l -p 10010对10010端口进行监听，我们使用简单的Java连接此端口，使用ps命令得到此nc的进程号，在/proc/进程号/fd便是此进程拥有的文件描述符，如下图(ls -lh):
0,1,2是Unix中标准的文件描述符号，其意义如下:
| 文件描述符 | 用途 | POSIX名称 | stdio流 |
|---|---|---|---|
| 0 | 标准输入 | STDIN_FILENO | stdin |
| 1 | 标准输出 | STDOUT_FILENO | stdout |
| 2 | 标准错误 | STDERR_FILENO | stderr |
参考: 每天进步一点点——Linux中的文件描述符与打开文件之间的关系
那么socket后面的数字又是指的什么呢(如果在Redhat7上执行同样的命令，可以看到socket行为红色闪烁，这表示为找不到所连接的文件)。
这个数字其实是文件描述符的inode号，链接实际上指向/proc/net/tcp(6)或udp下的一行记录(所以找不到文件)，以inode号12884为例，执行命令: cat /proc/net/tcp | grep 12884:
每一栏是什么意思执行命令head -1 /proc/net/tcp即可:
关闭
nd.close(fd)用以真正的关闭一个文件描述符，native由FileDispatcherImpl.c实现:
1static void closeFileDescriptor(JNIEnv *env, int fd) {
2 if (fd != -1) {
3 int result = close(fd);
4 if (result < 0)
5 JNU_ThrowIOExceptionWithLastError(env, "Close failed");
6 }
7}
close为Linux系统调用，引自man page的说法:
close() closes a file descriptor, so that it no longer refers to any file and may be reused.
所以close方法被调用后，文件描述符将被重用。
线程安全
SocketChannelImpl.kill方法中很值得玩味的一个细节:
1if (readerThread == 0 && writerThread == 0) {
2 nd.close(fd);
3 state = ST_KILLED;
4} else {
5 state = ST_KILLPENDING;
6}
当有线程正在当前文件描述符上读/写时，并不会马上调用close方法，而是延迟关闭。为什么呢?
结合read方法部分源码:
1synchronized (stateLock) {
2 if (!isOpen()) {
3 return 0;
4 }
5 readerThread = NativeThread.current();
6}
7//here!
8for (;;) {
9 n = IOUtil.read(fd, buf, -1, nd);
10 if ((n == IOStatus.INTERRUPTED) && isOpen()) {
11 continue;
12 }
13 return IOStatus.normalize(n);
14}
如果我们不采用延迟关闭，而是直接调用close方法，有三个线程分别执行以下操作:
- 关闭通道(1)。
- 读(2)。
- 资源申请(打开文件描述符, 3)。
假设它们的执行出现以下时序:
可以看出，这样读线程便读到了其它文件的数据。解决的办法便是推迟，由读(或写)线程调用readerCleanup方法最终完成文件描述符的关闭:
1private void readerCleanup() throws IOException {
2 synchronized (stateLock) {
3 readerThread = 0;
4 if (state == ST_KILLPENDING)
5 kill();
6 }
7}
总结
可能会有疑问，为啥普通的OIO socket关闭如此的简单粗暴?因为那是线程不安全的，相当于把保证线程安全的锅甩给了我们，而我们的使用场景又无需保证这一点(比如说，每个线程持有自己的连接)。:haha
如何让NIO跑满CPU
我们通过几个不正常的情况来更加深入的了解NIO的实现原理，这里的NIO特指select操作所在的线程，"跑满"准确来说是让一个CPU核心满载，因为假设只有一个select线程。
事件忽略
假设我们的select代码如下所示:
1while (true) {
2 if (selector.select() > 0) {
3 Set<SelectionKey> keys = selector.selectedKeys();
4 Iterator<SelectionKey> iterator = keys.iterator();
5 SelectionKey key;
6 while (iterator.hasNext()) {
7 key = iterator.next();
8 if (key.isAcceptable()) {
9 //nothing
10 }
11 iterator.remove();
12 }
13 }
14}
然后我们再用一个普通的Socket去连接此服务监听的端口，触发accept事件:
1new Socket().connect(new InetSocketAddress(8080));
然后即可以看到一个CPU已跑满。这其实与epoll的两种事件触发机制有关:
- 水平触发(LT): 当被监控的文件描述符发生感兴趣的事件时，epoll将会一直通知你，直到事件被处理。比如对于读事件来说，epoll将会一直通知你直到把事件产生的Socket的读缓冲读完。
- 边沿触发(ET): 仅当事件发生变化时才会通知你。
Java采用水平触发且不可更改，所以在上面的代码中，accept一直没有处理(调用ServerSocketChannel的accept方法)，epoll也就不会阻塞而是一直通知你。
同时可以看出，我们只是在客户端一侧关闭了Socket连接，服务器没有(也没有机会有)取消epoll注册的操作，那epoll是如何处理这类连接(文件描述符)的呢?其实它会自动取消注册，参考Linux man page-Questions and answers Q6:
Linux Programmer's Manual EPOLL(7)
SelectionKey不移除
将上面的代码改为:
1while (true) {
2 if (selector.select() > 0) {
3 Set<SelectionKey> keys = selector.selectedKeys();
4 Iterator<SelectionKey> iterator = keys.iterator();
5 SelectionKey key;
6 while (iterator.hasNext()) {
7 key = iterator.next();
8 if (key.isAcceptable()) {
9 channel.accept();
10 }
11 }
12 }
13}
还是用事件忽略中的客户端连接代码，进行两次连接，第一次不会出现问题，第二次将导致CPU满载，且selector.select()始终返回0.
问题的出现原因在于EPollSelectorImpl.updateSelectedKeys的这一部分:
1if (selectedKeys.contains(ski)) {
2 if (ski.channel.translateAndSetReadyOps(rOps, ski)) {
3 numKeysUpdated++;
4 }
5}
可见，如果selectedKeys集合中已含有指定的key，那么只有在translateAndSetReadyOps返回true的情况下才会导致就绪事件数加一。
ServerSocketChannelImpl.translateReadyOps部分源码:
1public boolean translateReadyOps(int ops, int initialOps, SelectionKeyImpl sk) {
2 int intOps = sk.nioInterestOps(); // Do this just once, it synchronizes
3 int oldOps = sk.nioReadyOps();
4 int newOps = initialOps;
5 sk.nioReadyOps(newOps);
6 return (newOps & ~oldOps) != 0;
7}
由于两次都是accept事件，所以此方法返回false，这就致使虽然有accept事件，但最终返回的就绪事件数仍为0.
可写事件
OP_WRITE的注册同样会导致满载，将代码修改为:
1while (true) {
2 if (selector.select() > 0) {
3 Set<SelectionKey> keys = selector.selectedKeys();
4 Iterator<SelectionKey> iterator = keys.iterator();
5 SelectionKey key;
6 while (iterator.hasNext()) {
7 key = iterator.next();
8 if (key.isAcceptable()) {
9 SocketChannel client = channel.accept();
10 client.configureBlocking(false);
11 client.register(selector, SelectionKey.OP_WRITE);
12 }
13 iterator.remove();
14 }
15 }
16}
问题的关键是理解在什么情况下可写事件会触发，对于Java使用的水平触发(LT)，只要发送缓冲区不满，就是可写的，可以想象，多数应用的多数情况下都会是可写的，所以正确的OP_WRITE使用姿势是: 当需要写的时候再去注册OP_WRITE事件。
这里再跑个题，为什么Java要求注册到Selector的通道必须是非阻塞的(如果尝试注册阻塞的，会抛出IllegalBlockingModeException)，前提是epoll LT模式同时支持阻塞和非阻塞，但ET仅支持非阻塞。
一般来说，我们的IO操作都是在select线程中完成的，我的理解是如果交由其它线程完成，那么其它线程IO完成和select线程下一次select这两个操作之间的顺序无法保证，很有可能出现当select线程进行下一次select时上一次通知的IO事件仍未被处理，这就造成了无谓的事件通知，况且这里的IO操作为从内核空间到用户空间的内存拷贝，完全取决于内存的性能，多线程并没有多大的意义。
有了上面这个前提，以写为例，考虑这样一种情形: 假设发送缓冲区目前剩余50个字节大小，但是我们需要写入200个字节，对于阻塞写便会一直保持阻塞直到200字节能够完全放入到发送缓冲区，这无疑影响了其它IO事件的处理。