一个死锁分析过程

 

一小伙说他的程序死锁了，让帮忙看看。对死锁问题，首先祭出GDB这一神器。

(gdb) bt

#0  0xffffe410 in __kernel_vsyscall ()

#1  0xf7fa790e in __lll_mutex_lock_wait () from /lib/libpthread.so.0

#2  0xf7fa3a8b in _L_mutex_lock_81 () from /lib/libpthread.so.0

#3  0xf7fa35be in pthread_mutex_lock () from /lib/libpthread.so.0

#4  0x08316692 in mooon::sys::CLock::lock (this=0x89f59e0)

 

第一步的目标是找到锁被谁持有了，这只需要找到死锁的位置，然后查看pthread_mutex_t.__owner值是什么。接下来使用GDB的“info threads”命令找到持有的线程。

找到持有的线程后，查看它的调用栈：

#0  0xffffe410 in __kernel_vsyscall ()

#1  0xf7daea16 in __gxx_personality_v0 () from /lib/libc.so.6

#2  0xf7ddccbc in usleep () from /lib/libc.so.6

#3  0x0825a374 in CSHMPkg::LockWait (this=0xddb3ebb0) at SHMPkg.cpp:221

 

这个时候需要看对应的源代码：

bool CSHMPkg::LockWait()

{

  if (strlen(m_lockFilePath) <= 0) return false;

  while (!m_readLock.LockFile(m_lockFilePath))

    usleep(10);

  return true;

}

 

进一步看加文件锁的代码：

bool CFileLock::LockFile(const char* filePath)

{

  m_fd = open(filePath, O_WRONLY|O_TRUNC, S_IRUSR|S_IWUSR);

  if(m_fd == -1)

    return false;

  if (write_lock(m_fd, 0, SEEK_SET, 1) == -1) {

    close(m_fd);

    m_fd = -1;

    return false;

  }

  return true;

}

 

初步估计while处死循环了，在usleep处打个断点可轻松确定是否死循环。结果确认这里是死循环了。因此问题在LockFile函数，它应当是返回了false。通过单步调试，发现是open失败。检查文件filePath存在，且权限正常，需要找出open失败的原因。

因为open是个系统调用，因此只需要知道errno值即可知道原因。但errno是个宏，不能直接打印，找到宏errno的定义：

#   define errno (*__errno_location ())

 

在GDB中调用__errno_location()，发现errno的值为24：

#define EMFILE 24 /* Too many open files */

 

到这里，问题已清楚，执行shell命令ulimit -a查看，发现“open files”值为1024，在当下的服务器，1024是一个比较小的值。程序中大量采用redis集群直连，对fd的需求很大，进一步执行“netstat -antp”或lsof也可以看到。

因此解决办法是调大“open files”值，临时可使用ulimit调大，但一般还是得修改文件limits.conf。有关limits.conf，可阅读另一博文《源码解读Linux的limits.conf文件》。