Redis windows 2.6版本并发出错解决方法

在使用MS opentech开发的redis 2.6 windows版本时,会出现在连接数过多(在我的机器上是超过800)时,会出现如下错误

"Error registering fd event for the new client: Result too large (fd=xxxxx)"

在网上却收不到任何结果.在看过代码之后,发现windows版本的redis的实现是有问题的.

原版的redis是使用accept来获取一个新的连接的fd,然后使用这个fd作为aeEventLoop->events的index来存储并获取events的值,从而处理事件.而MS OpenTech使用IOCP模型实现了一个aeWinAccept来获取fd.关键代码如下:

int aeWinQueueAccept(SOCKET listensock) {
    aeSockState *sockstate;
    aeSockState *accsockstate;
    DWORD result, bytes;
    SOCKET acceptsock;
    aacceptreq * areq;

    if ((sockstate = aeGetSockState(iocpState, (int)listensock)) == NULL) {
        errno = WSAEINVAL;
        return -1;
    }

    //这里使用了socket的返回值来初始化aeEventLoop中的fd值
    acceptsock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
    if (acceptsock == INVALID_SOCKET) {
        errno = WSAEINVAL;
        return -1;
    }

    accsockstate = aeGetSockState(iocpState, (int)acceptsock);
    if (accsockstate == NULL) {
        errno = WSAEINVAL;
        return -1;
    }
    ...

int aeWinAccept(int fd, struct sockaddr *sa, socklen_t *len) {
    aeSockState *sockstate;
    int acceptsock;
    int result;
    SOCKADDR *plocalsa;
    SOCKADDR *premotesa;
    int locallen, remotelen;
    aacceptreq * areq;
    SOCKET listenSock = (SOCKET)fd;

    if ((sockstate = aeGetSockState(iocpState, fd)) == NULL) {
        errno = WSAEINVAL;
        return SOCKET_ERROR;
    }

   //在这里取回之前存在aeEventLoop中的socket句柄作为fd
    areq = sockstate->reqs;
    if (areq == NULL) {
        errno = WSAEINVAL;
        return SOCKET_ERROR;
    }

    sockstate->reqs = areq->next;

    acceptsock = (int)areq->accept;
    ...

int aeCreateFileEvent(aeEventLoop *eventLoop, int fd, int mask,
        aeFileProc *proc, void *clientData)
{
    aeFileEvent *fe;
    if (fd >= eventLoop->setsize) {
        errno = ERANGE;
        return AE_ERR;
    }
    //在这里判断fd是否超过pool的size,并通过fd的值来取得事件
    fe = &eventLoop->events[fd];
    ...

Windows版本的redis和原版的redis的实现是一样的,重要的是accept的返回值和aeWinAccept所返回的socket句柄逻辑不一样导致windows版本的redis出现了bug.在Linux中,accept的返回是递增的,因此linux版本的redis是可以处理eventLoop->setsize个连接的,而在windows上socket返回的句柄会以大概12的步进增长,所以windows版本的redis就只能处理约eventLoop->setsize/12个连接了.

 

解决方法:

我的解决方法比较hack,我在aeEventLoop中添加一个fd_map的数组,用于把fd映射到0到eventLoop->setsize的值,这样每次从events中存取数据就通过查询fd_map来获取index,从而达到让redis能处理eventLoop->setsize个连接的效果.

 不过由于这个方法比较猥琐,我就没有提交patch了,而是提交了一个issue,不知道下一个版本会不会解决这个问题.