随笔分类 - Linux环境编程
学习linux api
摘要：1、前言 一直在从事linux下后台开发，经常与core文件打交道。还记得刚开始从事linux下开发时，程序突然崩溃了，也没有任何日志。我不知所措，同事叫我看看core，我却问什么是core，怎么看。同事鄙视的眼神，我依然在目。后来学会了从core文件中分析原因，通过gdb看出程序挂再哪里，分析前后
阅读全文
摘要：RCU原理： RCU(Read-Copy Update)，顾名思义就是读-拷贝修改，它是基于其原理命名的。对于被RCU保护的共享数据结构，读者不需要获得任何锁就可以访问它，但写者在访问它时首先拷贝一个副本，然后对副本进行修改，最后使用一个回调（callback）机制在适当的时机把指向原来数据的...
阅读全文
摘要：1、前言 当前计算机都是多核的，linux2.6提供了进程绑定cpu功能，将进程指定到某个core上执行，方便管理进程。linux提供了sysconf系统调用可以获取系统的cpu个数和可用的cpu个数。2、sysconf 函数 man一下sysconf，解释这个函数用来获取系统执行的配置信息。例...
阅读全文
摘要：1、前言 为了使程序方便扩展，具备通用性，可以采用插件形式。采用异步事件驱动模型，保证主程序逻辑不变，将各个业务已动态链接库的形式加载进来，这就是所谓的插件。linux提供了加载和处理动态链接库的系统调用，非常方便。本文先从使用上进行总结，涉及到基本的操作方法，关于动态链接库的本质及如何加载进来，...
阅读全文
摘要：1、前言 在实际开发过程中，各个模块之间会涉及到一些通用的功能，比如读写文件，查找、排序。为了减少代码的冗余，提高代码的质量，可以将这些通用的部分提取出来，做出公共的模块库。通过动态链接库可以实现多个模块之间共享公共的函数。之前看《程序员的自我修养》中讲到程序的链接和装入过程，这些玩意都是底层的，对于理解程序的编译过程有好处。http://www.ibm.com/developerworks/cn/linux/l-dynlink/博文介绍了程序的链接和装入过程。本文重点在于应用，如何编写和使用动态链接库，后续使用动态链接库实现一个插件程序。2、动态链接库生产 动态链接库与普通的程序相比而言..
阅读全文
摘要：1、前言 时间对操作系统来说非常重要，从内核级到应用层，时间的表达方式及精度各部相同。linux内核里面用一个名为jiffes的常量来计算时间戳。应用层有time、getdaytime等函数。今天需要在应用程序获取系统的启动时间，百度了一下，通过sysinfo中的uptime可以计算出系统的启动时间。2、sysinfo结构 sysinfo结构保持了系统启动后的信息，主要包括启动到现在的时间，可用内存空间、共享内存空间、进程的数目等。man sysinfo得到结果如下所示： 1 struct sysinfo { 2 long uptime; ...
阅读全文
摘要：1、前言 测试一个程序的执行时间，时间包括用户CPU时间、系统CPU时间、时钟时间。之前获取之前时间都是在程序的main函数用time函数实现，这个只能粗略的计算程序的执行时间，不能准确的获取其他时间。在看《APUE》时，书中有关程序时间测试程序，非常正规，提供这三个时间。如是，上网搜了一下，进行总结一下。2、获取方法 有两种方法可以获取，第一种是用time命令，time 进程。第二种是通过在程序中进行记录，首先利用sysconf函数获取时钟滴答数，再用times获取tms结构。查看times函数，man 2 tms，得到tms结构定义和times函数声明如下：struct tms {...
阅读全文
摘要：1、前言 在嵌入式设备中，硬盘空间非常有限，在涉及到经常写日志的进程时候，需要考虑日志的大小和删除，不然很快就硬盘写满，导致日志程序崩溃。为了捕获硬盘写满的异常场景，我们需要在写日志过程中判断硬盘空间的使用情况，根据硬盘的使用情况，就可以判断是否写满了。如果将要写满了，就给出警告。这样就可以避免程序崩溃。首先看一下linux获取硬盘和目录大小的命令，最后总结一下statfs结构和函数。2、df命令 Linux下可以用df命令获取硬盘的使用情况，通过man可以获取df命令的详细情况。df命令经常用的参数为： a：显示全部的档案系统和各分割区的磁盘使用情形 i：显示i -nodes的使用量...
阅读全文
摘要：1、前言 工作中涉及到文件系统，有时候需要判断文件和目录是否存在。我结合APUE第四章文件和目录，总结一下如何正确判断文件和目录是否存在，方便以后查询。2、stat系列函数 stat函数用来返回与文件有关的结构信息。stat系列函数有三种情况，分别对应文件名称、文件描述符和符号链接文件。stat结构描述了文件的属性，主要包括文件的类型、文件大小等等。详细stat结构如下所示： 1 struct stat { 2 mode_t st_mode; // file type & mode(permissions) 3 ino_t st_ino; /...
阅读全文
摘要：1、前言 之前在看《unix环境高级编程》第八章进程时候，提到孤儿进程和僵尸进程，一直对这两个概念比较模糊。今天被人问到什么是孤儿进程和僵尸进程，会带来什么问题，怎么解决，我只停留在概念上面，没有深入，倍感惭愧。晚上回来google了一下，再次参考APUE，认真总结一下，加深理解。2、基本概念 我们知道在unix/linux中，正常情况下，子进程是通过父进程创建的，子进程在创建新的进程。子进程的结束和父进程的运行是一个异步过程,即父进程永远无法预测子进程 到底什么时候结束。当一个 进程完成它的工作终止之后，它的父进程需要调用wait()或者waitpid()系统调用取得子进程的终止状态。 ..
阅读全文
摘要：1、前言 目前从事于linux下程序开发，涉及到多个文件，多个目录，这时候编译文件的任务量比较大，需要写Makefile。关于Makefile的详细内容可以参考网上流传非常广泛的《跟我一起写Makefile》http://blog.csdn.net/haoel/article/details/2886/，作者是个大牛，非常佩服。2、简单测试 测试程序在同一个文件中，共有func.h、func.c、main.c三个文件，Makefile写法如下所示： 1 CC = gcc 2 CFLAGS = -g -Wall 3 4 main:main.o func.o 5 $(CC) mai...
阅读全文
摘要：在linux系统中创建一个文件提示：/application/report/shiwei # touch test.ctouch: cannot touch `test.c': Read-only file system总是提示Read-only file system，也就是说系统是只读的，什么也写不了。于是在网上到处找了一下，发现解决起来挺容易的。一条命令就可以了mount -o remount rw /参考：http://www.blogjava.net/hadeslee/archive/2009/08/13/291043.html
阅读全文
摘要：今天在执行一个protobuf程序时，提示error while loading shared libraries: libprotobuf.so.8: cannot open shared object file: No such file or directory错误。google了一下，是由于找不到lib这个文件。解决办法：一般我们在Linux下执行某些外部程序的时候可能会提示找不到共享库的错误, 比如:tmux: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file
阅读全文
摘要：1、protobuf是google公司提出的数据存储格式，详细介绍可以参考：https://code.google.com/p/protobuf/2、下载最新的protobuf，下载地址：https://code.google.com/p/protobuf/downloads/list3、下载protobuf2.5.o版本，protobuf-2.5.0.tar.gz解压并进行安装。解压：tar xvfprotobuf-2.5.0.tar.gz安装步骤：（1）./configure （2）make （3）make check （4）make install注意：安装成功后，将它的bin和lib目
阅读全文
摘要：1、概述 系统调用mmap通过映射一个普通文件实现共享内存。System V 则是通过映射特殊文件系统shm中的文件实现进程间的共享内存通信。也就是说，每个共享内存区域对应特殊文件系统shm中的一个文件。执行过程是先调用shmget，再调用shmat。对于每个共享的内存区，内核维护如下的信息结构，定义在<sys/shm.h>头文件中。 1 struct shmid_ds { 2 struct ipc_perm shm_perm; /* operation perms */ 3 int shm_segsz; /* size of segment (byte...
阅读全文
摘要：1、概述 Posix提供了两种在无亲缘关系进程间共享内存区的方法：（1）内存映射文件：先有open函数打开，然后调用mmap函数把得到的描述符映射到当前进程地址空间中的一个文件（上一篇笔记所用到的就是）。（2）共享内存区对象：先有shm_open打开一个Posix IPC名字（也可以是文件系统中的一个路径名），然后调用mmap将返回的描述符映射到当前进程的地址空间。者两种方法多需要调用mmap，差别在于作为mmap的参数之一的描述符的获取手段。2、Posix共享内存区对象 Posix共享内存区涉及以下两个步骤要求：（1）指定一个名字参数调用shm_open，以创建一个新的共享内存区对象或打开.
阅读全文
摘要：共享内存可以说是最有用的进程间通信方式，也是最快的IPC形式。两个不同进程A、B共享内存的意思是，同一块物理内存被映射到进程A、B各自的进程地址空间。进程A可以即时看到进程B对共享内存中数据的更新，反之亦然。由于多个进程共享同一块内存区域，必然需要某种同步机制，互斥锁和信号量都可以。 采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝。对于像管道和消息队列等通信方式，则需要在内核和用户空间进行四次的数据拷贝，而共享内存则只拷贝两次数据[1]：一次从输入文件到共享内存区，另一次从共享内存区到输出文件。实际上，进程之间在共享内存时，并不总是读写少量...
阅读全文
摘要：System V 信号量在内核中维护，其中包括二值信号量 、计数信号量、计数信号量集。二值信号量 ： 其值只有0、1 两种选择，0表示资源被锁，1表示资源可用；计数信号量：其值在0 和某个限定值之间，不限定资源数只在0 1 之间；计数信号量集 ：多个信号量的集合组成信号量集内核维护的信号量集结构信息如下：定义在头文件<sys/sem.h>struct semid_ds { struct ipc_perm sem_perm; struct sem *sem_base; ushort sem_nsems;...
阅读全文
摘要：1、概述 信号量（semaphore）是一种用于提供不同进程间或一个给定进程的不同线程间同步手段的原语。信号量的使用主要是用来保护共享资源，使得资源在一个时刻只有一个进程（线程）所拥有。信号量的值为正的时候，说明它空闲。所测试的线程可以锁定而使用它。若为0，说明它被占用，测试的线程要进入睡眠队列中，等待被唤醒。Posix信号量分为有名信号量和无名信号量（也叫基于内存的信号量）。2、Posix有名信号量 有名信号量既可以用于线程间的同步也可以用于进程间的同步。1)由sem_open来创建一个新的信号量或打开一个已存在的信号量。其格式为：sem_t *sem_open(const char *..
阅读全文
摘要：1、概述 记录锁是读写锁的一种扩展类型，可用于亲缘关系或无亲缘关系的进程之间共享某个文件的读与写。被锁住的文件通过文件描述符进行访问，执行上锁的操作函数是fcntl，这种类型的锁通常在内核中维护。 记录锁的功能是：一个进程正在读或修改文件的某个部分时，可以阻止其他进程修改同一文件区，即其锁定的是文件的一个区域或整个文件。记录锁有两种类型：共享读锁，独占写锁。基本规则是：多个进程在一个给定的字节上可以有一把共享的读锁，但在一个给定字节上的写锁只能有一个进程独用。即：如果在一个给定的字节上已经有一把读或多把读锁，则不能在该字节上再加写锁；如果在一个字节上已经有一把独占性的写锁，则不能再对它加任..
阅读全文