[常用工具] 基于psutil和GPUtil获取系统状态信息
本文主要介绍在Python3中利用psutil库获取系统状态,利用GPUtil获取gpu状态。
psutil (process and system utilities)(进程和系统实用程序)是一个跨平台库,用于在Python中检索有关运行进程和系统利用率(CPU、内存、磁盘、网络、传感器)的信息。它实现了经典UNIX命令行工具提供的许多功能,如ps、top、iotop、lsof、netstat、ifconfig、free等。psutil目前支持windows,linux,macOS等主流系统平台。本文主要介绍psutil中的常用函数。pstuil安装代码如下:
pip install psutil
psutil官方仓库见psutil。
GPUtil是一个Python模块,用于使用nvidia smi从NVIDA GPU获取GPU状态。GPUtil定位计算机上的所有GPU,确定其可用性,并返回可用GPU的有序列表。GPUtil安装代码如下:
pip install gputil
GPUtil官方仓库见gputil。
文章目录
1 psutil的使用
1.1 CPU状态
# 导入库
import psutil
# 返回系统CPU时间。每个属性代表CPU在给定模式下花费的秒数。属性可用性因平台而异。
# percpu表示是否返回单个cpu的花费时间
# 主要返回参数有:
# user:正常进程在用户模式下执行所花费的时间;在 Linux 上,这还包括访客时间
# system:在内核模式下执行的进程所花费的时间
# idle:空闲的时间
psutil.cpu_times(percpu=False)
scputimes(user=7627895.98, nice=4419.62, system=1704625.93, idle=249261020.67, iowait=75386.74, irq=0.0, softirq=36410.5, steal=0.0, guest=0.0, guest_nice=0.0)
# 以百分比返回用户、系统、空闲所使用的cpu时间
psutil.cpu_times_percent(percpu=False)
scputimes(user=0.2, nice=0.0, system=0.0, idle=99.8, iowait=0.0, irq=0.0, softirq=0.0, steal=0.0, guest=0.0, guest_nice=0.0)
# 返回表示当前系统CPU利用率百分比的浮点值
# interval=1比较1s内CPU利用率
psutil.cpu_percent(interval=1)
0.5
# 当interval=None(默认为None)表示自上次调用或模块导入以来系统CPU利用率
psutil.cpu_percent(interval=None)
5.1
# 当percpu为True时,返回浮点列表,表示每个CPU的利用率百分比
# psutil.cpu_percent(interval=1, percpu=True)
# 返回逻辑cpu的数量(物理内核数乘以每个cpu内核上可以运行的线程数)
psutil.cpu_count(logical=True)
64
# 返回物理cpu的数量
psutil.cpu_count(logical=False)
16
# 返回CPU 频率,包括当前、最小和最大频率,以Mhz表示。
psutil.cpu_freq()
scpufreq(current=2599.998000000001, min=0.0, max=0.0)
1.2 内存状态
# 返回有关系统内存使用情况的统计信息,以字节表示。主要返回参数有:
# total: 内存总量
# available:可用内存
# used: 已用内存
# free:完全没有使用的内存,在windows系统同等于available
# percent:已用内存比例,计算方式为(total - available) / total * 100
psutil.virtual_memory()
svmem(total=541061697536, available=530528514048, percent=1.9, used=7251107840, free=249252380672, active=28388438016, inactive=247208853504, buffers=7200718848, cached=277357490176, shared=56004608, slab=15238979584)
# 打印内存使用比例
print(psutil.virtual_memory().percent)
1.9
# 通过数值计算指标
mem = psutil.virtual_memory()
# 已使用和可用的总和不一定等于总和,所以计算方式看自己选择。
print(mem.used/mem.total*100)
# 实际psutil计算方式
print(100-mem.available/mem.total*100)
1.3401628452026104
1.94676199331208
# 返回系统交换内存统计信息
psutil.swap_memory()
sswap(total=0, used=0, free=0, percent=0.0, sin=0, sout=0)
1.3 磁盘状态
# 返回磁盘分区情况
# psutil.disk_partitions()
# 返回包含给定路径的分区的磁盘使用率统计信息,以字节表示,主要返回参数有:
# total:总空间
# used:已用空间
# free:可用空间
# percent:使用率百分比,计算方式为used / total * 100
psutil.disk_usage('./')
sdiskusage(total=4363237892096, used=2180849664, free=4141137940480, percent=0.1)
# 返回系统范围的磁盘输入/输出统计信息,主要返回参数有:
# read_count: 读取次数
# write_count: 写入次数
# read_bytes: 读取的字节数
# write_bytes: 写入的字节数
psutil.disk_io_counters()
sdiskio(read_count=19240910, write_count=60524213, read_bytes=3411362631680, write_bytes=7641118547968, read_time=89751300, write_time=1571245636, read_merged_count=15, write_merged_count=44291429, busy_time=73232832)
1.4 网络状态
# 返回网络io统计信息,主要返回参数包括收发字节数、收发包数等。
psutil.net_io_counters()
snetio(bytes_sent=6606245, bytes_recv=7806674, packets_sent=22430, packets_recv=32301, errin=0, errout=0, dropin=0, dropout=0)
# 返回每个网卡接口的网络统计信息
psutil.net_io_counters(pernic=True)
{'lo': snetio(bytes_sent=2535762, bytes_recv=2535762, packets_sent=6513, packets_recv=6513, errin=0, errout=0, dropin=0, dropout=0),
'eth1': snetio(bytes_sent=740299, bytes_recv=1362457, packets_sent=9909, packets_recv=18518, errin=0, errout=0, dropin=0, dropout=0),
'eth0': snetio(bytes_sent=3339973, bytes_recv=3913748, packets_sent=6022, packets_recv=7282, errin=0, errout=0, dropin=0, dropout=0)}
# 返回网络的连接信息
# psutil.net_connections()
# 返回网卡配置信息
# psutil.net_if_addrs()
# 返回网卡的具体信息
psutil.net_if_stats()
{'lo': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=0, mtu=65536),
'eth1': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_FULL: 2>, speed=10000, mtu=1500),
'eth0': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=65535, mtu=1500)}
1.5 传感器状态
# 返回硬件温度,如果没有温度传感器返回空值,有些系统和版本没有该函数
psutil.sensors_temperatures()
{}
# 返回硬件风扇速度,有些系统和版本没有该函数
psutil.sensors_fans()
{}
# 返回电池信息,比如剩余电量
psutil.sensors_battery()
1.6 进程状态
进程状态的函数很多,具体可以看看psutil的官方仓库
# 正在运行进程的pid
psutil.pids()
[1, 8, 9, 34, 70, 71, 91, 6873]
# 返回当前进程信息
# 返回值:进程pid,进程名,进程状态
psutil.Process()
psutil.Process(pid=6873, name='python', status='running', started='19:21:01')
# 查看pid为1的进程信息
psutil.Process(1)
psutil.Process(pid=1, name='sh', status='sleeping', started='18:09:15')
# 进程是否存在
psutil.pid_exists(123)
False
1.7 其他状态
# 返回当前用户信息,包括用户名、登陆终端、host端口,登陆时间
# psutil.users()
# 返回系统启动时间,时间戳形式
# psutil.boot_time()
2 GPUtil的使用
2.1 GPU的ID获取
获取可用GPU的ID列表
deviceIDs = GPUtil.getAvailable(order = ‘first’, limit = 1, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])
输入参数如下:
- order:确定返回可用GPU设备ID的顺序,可输入参数:first(升序排列),last(降序排列),random(随机选取),load(按负载递增),memory(按显存使用量递增)
- limit:将返回的GPU设备数量限制为指定数量
- maxLoad:负载率大于maxLoad的不会被返回
- maxMemory:显存使用率大于maxMemory的不会被返回
- includeNan:是否包括负载或内存使用为Nan的GPU
- excludeID:不用于排序的GPU的id
- excludeUUID:不用排序的GPU的uuid
返回参数如下:
- deviceIDs: 所有可用GPU设备ID的列表,id号从0开始。
# 导入库
import GPUtil
# 获取一个可用gpu的id
deviceIDs = GPUtil.getAvailable()
deviceIDs
[0]
# 获取最后一个可用gpu的id
deviceIDs = GPUtil.getAvailable(order = 'last')
deviceIDs
[3]
# 随机获取4个可用gpu的id
deviceIDs = GPUtil.getAvailable(order = 'random', limit=4)
deviceIDs
[0, 3, 1, 2]
获取第一个可用的GPU的id
deviceID = GPUtil.getFirstAvailable(order = ‘first’, maxLoad=0.5, maxMemory=0.5, attempts=1, interval=900, verbose=False)
输入参数和GPUtil.getAvailable差不多,其他参数如下:
- attempts:在放弃寻找可用GPU之前,函数应进行的尝试次数
- interval:查找gpu的间隔
- verbose:是否显示详细信息
返回参数如下:
- deviceID: 一个可用GPU设备ID的列表
# 随机获取1个可用gpu的id
deviceID = GPUtil.getFirstAvailable(order = 'random')
deviceID
[1]
打印所有GPU的当前状态
GPUtil.showUtilization(all=False, attrList=None, useOldCode=False)
输入参数如下:
- all:显示GPU所有信息,如果否只显示GPU利用率和GPU显存使用率
- interval:要显示的属性列表列表,这个要看代码
- useOldCode:是否应使用显示GPU利用率的旧代码
该函数在命令行界面输出结果。
# 命令行打印结果
GPUtil.showUtilization(all=False, attrList=None, useOldCode=False)
| ID | GPU | MEM |
------------------
| 0 | 0% | 0% |
| 1 | 0% | 0% |
| 2 | 0% | 0% |
| 3 | 0% | 0% |
2.2 GPU信息读取
获取所有GPU对象的列表
GPUs = GPUtil.getGPUs()
返回参数如下:
- 所用可用GPU列表
import GPUtil
# 获取所有可用GPU列表,id号从0开始
GPUs = GPUtil.getGPUs()
GPUs
[<GPUtil.GPUtil.GPU at 0x7fd3142f08d0>,
<GPUtil.GPUtil.GPU at 0x7fd3142ec390>,
<GPUtil.GPUtil.GPU at 0x7fd3142f0f90>,
<GPUtil.GPUtil.GPU at 0x7fd3142ecfd0>]
筛选可用GPU
GPUavailability = GPUtil.getAvailability(GPUs, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])
- 输入参数:GPUs为GPU对象列表,其他参数与GPUtil.getAvailable一样
- 返回参数:返回一个与GPUs大小相等的1和0列表,指示哪些对应的GPU可用,1表示可用,0表示不可用
GPUavailability = GPUtil.getAvailability(GPUs)
GPUavailability
[1, 1, 1, 1]
GPU属性获取
返回单个GPU的属性,GPU属性的描述来自于nvidia-smi命令。这些属性分别为:
- id:gpu的id
- uuid:gpu的uuid,全球唯一
- load:gpu的负载率,100%表示满载
- memoryUtil:gpu的显存使用率,100%表示全部使用
- memoryTotal:gpu的总显存
- memoryUsed:gpu已使用显存
- memoryFree:gpu可用显存
- driver:gpu的驱动版本
- name:gpu的正式产品名称
- serial:gpu的序列号,全球唯一
- display_mode:物理显示器是否连接到GPU
- display_active:显示器是否活跃
# 获取所有可用GPU列表,id号从0开始
GPUs = GPUtil.getGPUs()
# 第0个gpu的id
GPUs[0].id
0
# 第0个gpu的负载率
GPUs[0].load
0.0
# 第1个gpu的显存
GPUs[0].memoryTotal
32510.0
# 第1个gpu的驱动版本
GPUs[1].driver
'460.32.03'
# 第2个gpu的产品名称
GPUs[2].name
'Tesla V100-SXM2-32GB'
# 最后一个gpu是否连接物理显示器
GPUs[-1].display_mode
'Enabled'
3 参考
本文来自博客园,作者:落痕的寒假,转载请注明原文链接:https://www.cnblogs.com/luohenyueji/p/16970166.html
![](https://gitcode.net/LuohenYJ/article_picture_warehouse/-/raw/main/wechat/content/%E5%8A%A0%E6%B2%B9%E9%B8%AD.gif)