Python创建真正的多线程
众所周知,Python代码中有一个threading模块,可以创建多线程,但是在这种模式下创建的多线程并不能将多核利用起来,所有由这种模式下创建的线程最多只能共享一个CPU核,所以在有些场景下,我们需要将一个作业分配给一个独立的线程,并且每个独立的线程可以使用不同的CPU核资源,做到真正的并发执行。
如何实现呢?这里有一个办法是通过调用一个C库函数来实现,在C库中再调用标准的pthread_create函数来实现,参考代码如下:
- C库函数
#include <stdio.h> #include <stdlib.h> #include <pthread.h> #include <unistd.h>
void myThread(void arg)
{
while (1);
}
void createThread(void)
{
int err;
pthread_t tid;
err = pthread_create(&tid, NULL, myThread, NULL);
if (err != 0) {
printf("create thread failed!\n");
return;
}
return;
}
编译成动态库:
$ gcc -fPIC -shared -o libfoo.so foo.c
-
在Python中调用,实现真正的多线程
代码如下:
#-*- coding=utf-8 -*- from ctypes import * import time
lib = CDLL("./libfoo.so", RTLD_GLOBAL)
create_thread = lib.createThread
#create_thread.argtypes = [c_void]
#create_thread.restype = c_void
if name == 'main':
create_thread()
create_thread()
while True:
print 'I am in main thread!'
time.sleep(2)
运行起来后,查看CPU占用率:
hank@hank-desktop:~/Study/Python/CallC2$ top top - 10:33:27 up 2:06, 3 users, load average: 0.31, 0.08, 0.07 Tasks: 159 total, 1 running, 158 sleeping, 0 stopped, 0 zombie %Cpu0 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu1 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu2 : 0.3 us, 0.0 sy, 0.0 ni, 99.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu3 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem: 8166744 total, 1696620 used, 6470124 free, 280708 buffers KiB Swap: 0 total, 0 used, 0 free. 731816 cached Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2625 hank 20 0 51404 7616 4824 S 199.8 0.1 0:17.52 python
1035 daemon 20 0 517408 8136 7144 S 0.3 0.1 0:25.53 CodeMeterLin
2628 hank 20 0 29152 3324 2804 R 0.3 0.0 0:00.01 top
可以看到在C库中创建的两个线程(while无限循环)分别消耗掉了两个独立的CPU核,这也就验证了可以做到真正并发的目的。