coredump详解

什么是coredump

　　当应用程序宕掉了，需要定位故障，对应程序由于各种异常或者bug导致在运行过程中异常退出或者中止，并且在满足一定条件下会产生一个叫做core的文件。
    　通常情况下，core文件会包含了程序运行时的内存，寄存器状态，堆栈指针，内存管理信息还有各种函数调用堆栈信息等，我们可以理解为是程序工作当前状态存储生成的一个文件，许多的程序出错的时候都会产生一个core文件，通过工具分析这个文件，我们可以定位到程序异常退出的时候对应的堆栈调用等信息，找出问题所在并进行及时解决。

core文件的开启或关闭

查看core文件是否被启用

[root@test conf]# ulimit -c                ## 返回0表示未启用。unlimited表示启用
unlimited

开启core文件及设置文件大小

[root@test conf]# ulimit -c 2048         # 2048个block,1个block为512bytes
[root@test conf]# ulimit -c unlimited    # 取消大小限制，当前会话生效。

显示当前所有limit信息

[root@test conf]# ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 7197
max locked memory       (kbytes, -l) 16384
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65535
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 7197
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

ulimit命令参数

命令参数	描述	举例
-H	设置硬资源限制，一旦设置不能增加。	ulimit -Hs 64；限制硬资源，线程栈大小为 64K。
-S	设置软资源限制，设置后可以增加，但是不能超过硬资源设置。	ulimit -Sn 32；限制软资源，32 个文件描述符。
-a	显示当前所有的 limit 信息
-c	最大的 core 文件的大小， 以 blocks 为单位	ulimit -c unlimited； 对生成的 core 文件的大小不进行限制
-d	进程最大的数据段的大小，以 Kbytes 为单位	ulimit -d unlimited；对进程的数据段大小不进行限制
-f	进程可以创建文件的最大值，以 blocks 为单位	ulimit -f 2048；限制进程可以创建的最大文件大小为 2048 blocks
-l	最大可加锁内存大小，以 Kbytes 为单位	ulimit -l 32；限制最大可加锁内存大小为 32 Kbytes
-m	最大内存大小，以 Kbytes 为单位	ulimit -m unlimited；对最大内存不进行限制
-n	可以打开最大文件描述符的数量	ulimit -n 128；限制最大可以使用 128 个文件描述符
-p	管道缓冲区的大小，以 Kbytes 为单位	ulimit -p 512；限制管道缓冲区的大小为 512 Kbytes
-s	线程栈大小，以 Kbytes 为单位	ulimit -s 512；限制线程栈的大小为 512 Kbytes
-t	最大的 CPU 占用时间，以秒为单位	ulimit -t unlimited；对最大的 CPU 占用时间不进行限制
-u	用户最大可用的进程数	ulimit -u 64；限制用户最多可以使用 64 个进程
-v	进程最大可用的虚拟内存，以 Kbytes 为单位	ulimit -v 200000；限制最大可用的虚拟内存为 200000 Kbytes

配置core永久生效

第一种方式：修改/etc/profile

将ulimit -S -c 0 > /dev/null 2>&1中的0改成unlimited
如果没有这行，添加一下就好了，ulimit -S -c unlimited > /dev/null 2>&1
source一下/etc/profile。普通用户需要该用户的环境变量文件

第二种方式：修改/etc/security/limits.conf文件来设置，需要root权限

[root@master ~]# vim /etc/security/limits.conf
#<domain>      <type>  <item>         <value>
*               soft    core            unlimited

core文件位置

core文件默认的存储位置与对应的可执行程序在同一目录下，文件名是core，可以通过下面的命令看到core文件的存在位置：

[root@test conf]# cat  /proc/sys/kernel/core_pattern
|/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e

注意：这里是指在进程当前工作目录的下创建。通常与程序在相同的路径下。但如果程序中调用了chdir函数，则有可能改变了当前工作目录。这时core文件创建在chdir指定的路径下。有好多程序崩溃了，我们却找不到core文件放在什么位置。和chdir函数就有关系。当然程序崩溃了不一定都产生 core文件

修改core文件存储位置

[root@test ~]# mkdir /data/coredump -p

[root@test ~]# echo “/data/coredump/core”> /proc/sys/kernel/core_pattern

命名core文件

缺省情况下，内核在coredump时所产生的core文件放在与该程序相同的目录中，并且文件名固定为core。很显然，如果有多个程序产生core文件，或者同一个程序多次崩溃，就会重复覆盖同一个core文件，因此我们有必要对不同程序生成的core文件进行分别命名。 

1）/proc/sys/kernel/core_uses_pid可以控制core文件的文件名中是否添加pid作为扩展。文件内容为1，表示添加pid作为扩展名，生成的core文件格式为core.xxxx；为0则表示生成的core文件同一命名为core。可通过以下命令修改此文件：

[root@test ~]# cat /proc/sys/kernel/core_uses_pid
1

2）proc/sys/kernel/core_pattern可以控制core文件保存位置和文件名格式，可通过以下命令修改此文件：

[root@test ~]# echo "/corefile/core-%e-%p-%t" > /proc/sys/kernel/core_pattern
# 可以将core文件统一生成到/corefile目录下，产生的文件名为core-命令名-pid-时间戳

core文件参数列表

%% - 单个%字符
%p - 添加pid
%u - 添加当前uid
%g - 添加当前gid
%s - 添加导致产生core的信号
%t - 添加core文件生成时的unix时间
%h - 添加主机名
%e - 添加程序文件名

造成程序core的原因

造成程序coredump的原因有很多：

（1）内存访问越界

   a) 由于使用错误的下标，导致数组访问越界。
   b) 搜索字符串时，依靠字符串结束符来判断字符串是否结束，但是字符串没有正常的使用结束符。
   c) 使用strcpy, strcat, sprintf, strcmp,strcasecmp等字符串操作函数，将目标字符串读/写爆。应该使用strncpy, strlcpy, strncat, strlcat, snprintf, strncmp, strncasecmp等函数防止读写越界。

 （2）多线程程序使用了线程不安全的函数

 应该使用下面这些可重入的函数，它们很容易被用错：
asctime_r(3c) 、gethostbyname_r(3n) 、getservbyname_r(3n)、ctermid_r(3s) 、gethostent_r(3n) 、getservbyport_r(3n)、
ctime_r(3c) 、getlogin_r(3c)、getservent_r(3n) 、fgetgrent_r(3c) 、getnetbyaddr_r(3n) 、getspent_r、(3c)fgetpwent_r(3c)、getnetbyname_r(3n)、 
getspnam_r(3c)、 fgetspent_r(3c)、getnetent_r(3n) 、gmtime_r(3c)、 gamma_r(3m) 、getnetgrent_r(3n) 、lgamma_r(3m) 、
getauclassent_r(3)、getprotobyname_r(3n) 、localtime_r(3c) 、getauclassnam_r(3) 、etprotobynumber_r(3n)、nis_sperror_r(3n) 、
getauevent_r(3) 、getprotoent_r(3n) 、rand_r(3c) 、getauevnam_r(3)、getpwent_r(3c) 、readdir_r(3c) 、getauevnum_r(3) 、getpwnam_r(3c) 、
strtok_r(3c)、 getgrent_r(3c)、getpwuid_r(3c) 、tmpnam_r(3s) 、getgrgid_r(3c) 、getrpcbyname_r(3n)、 ttyname_r(3c)、getgrnam_r(3c) 、
getrpcbynumber_r(3n) 、gethostbyaddr_r(3n) 、getrpcent_r(3n)

  （3）多线程读写的数据未加锁保护：

对于会被多个线程同时访问的全局数据，应该注意加锁保护，否则很容易造成coredump。

（4）非法指针：

 a) 使用空指针；
 b) 随意使用指针转换。一个指向一段内存的指针，除非确定这段内存原先就分配为某种结构或类型，或者这种结构或类型的数组，否则不要将它转换为这种结构或类型的指针，而应该将这段内存拷贝到一个这种结构或类型中，再访问这个结构或类型。这是因为如果这段内存的开始地址不是按照这种结构或类型对齐的，那么访问它时就很容易因为bus error而core dump。

（5）堆栈溢出：

 不要使用大的局部变量（因为局部变量都分配在栈上），这样容易造成堆栈溢出，破坏系统的栈和堆结构，导致出现莫名其妙的错误