python设置CPU亲缘性

由于未知的原因,一个python程序总是占用一个CPU核心,导致一个使用率满的,另一个很低,不均衡。固然可以在任务管理中设置进程相关性为所有处理器,但是每次都设置太过麻烦,查了下可以使用windows的API设置,但是要在python中设置,需要做点工作。

首先,python要有pywin32的支持,地址:http://sourceforge.net/projects/pywin32/

其次,下载affinity模块安装,这里提供了访问SetProcessAffinityMask的方法,地址:http://pypi.python.org/pypi/affinity

然后就可以使用了。举例如下,在程序的开始地方加上代码

1 import affinity # need pywin32
2 import os
3 
4 affinity.set_process_affinity_mask(os.getpid(), 3L) # set all cpu to run

运行程序,在任务管理器中可以看到程序在使用两个CPU。

说明:程与指定cpu绑定:SetProcessAffinityMask(GetCurrentProcess(), dwMask);

dwMask为CPU序号的或运算值:1(0001)代表只运行在CPU1,2(0010)代表只运行在CPU2,3(0011)代表可以运行在CPU1和CPU2,以此类推。

还没找到python获取CPU核心数量的函数,所以手工查看一下了,貌似win32con可以做到,linux下也没研究。。。

 

附:

CPU亲缘性介绍

按照默认设置,当系统将线程分配给处理器时,Windows使用软亲缘性来进行操作。这意味着如果所有其他因素相同的话,它将设法在它上次运行的那个处理器上运行线程。让线程留在单个处理器上,有助于重复使用仍然在处理器的内存高速缓存中的数据。

有一种新的计算机结构,称为NUMA(非统一内存访问),在该结构中,计算机包含若干块插件板,每个插 件板上有4个CPU和它自己的内存区。
当CPU访问的内存是它自己的插件板上的内存时,NUMA系统运行的性能最好。如果CPU需要访问位于另一个插件板上的内 存时,就会产生巨大的性能降低。在这样的环境中,就需要限制来自一个进程中的线程在共享同一个插件版的CPU上运行。为了适应这种计算机结构的需要,Windows允许你设置进程和线程的亲缘性。换句话说,你可以控制哪个CPU能够运行某些线程。这称为硬亲缘性。请注意,子进程可以继承进程的亲缘性。

注意:

(1)无论计算机中实际拥有多少个CPU,Windows98及以前系统只使用一个CPU,上述API不被支持。

(2)在大多数环境中,改变线程的亲缘性就会影响调度程序有效地在 各个CPU之间移植线程的能力,而这种能力可以最有效地使用CPU时间。

 

posted on 2012-08-21 18:26  小交响曲  阅读(4163)  评论(0编辑  收藏  举报

导航