[常用工具] 基于psutil和GPUtil获取系统状态信息

本文主要介绍在Python3中利用psutil库获取系统状态，利用GPUtil获取gpu状态。

psutil (process and system utilities)（进程和系统实用程序）是一个跨平台库，用于在Python中检索有关运行进程和系统利用率（CPU、内存、磁盘、网络、传感器）的信息。它实现了经典UNIX命令行工具提供的许多功能，如ps、top、iotop、lsof、netstat、ifconfig、free等。psutil目前支持windows，linux，macOS等主流系统平台。本文主要介绍psutil中的常用函数。pstuil安装代码如下：

pip install psutil

psutil官方仓库见psutil。

GPUtil是一个Python模块，用于使用nvidia smi从NVIDA GPU获取GPU状态。GPUtil定位计算机上的所有GPU，确定其可用性，并返回可用GPU的有序列表。GPUtil安装代码如下：

pip install gputil

GPUtil官方仓库见gputil。

文章目录

1 psutil的使用

1.1 CPU状态

# 导入库
import psutil

# 返回系统CPU时间。每个属性代表CPU在给定模式下花费的秒数。属性可用性因平台而异。
# percpu表示是否返回单个cpu的花费时间
# 主要返回参数有：
# user：正常进程在用户模式下执行所花费的时间；在 Linux 上，这还包括访客时间
# system：在内核模式下执行的进程所花费的时间
# idle:空闲的时间
psutil.cpu_times(percpu=False)

scputimes(user=7627895.98, nice=4419.62, system=1704625.93, idle=249261020.67, iowait=75386.74, irq=0.0, softirq=36410.5, steal=0.0, guest=0.0, guest_nice=0.0)

# 以百分比返回用户、系统、空闲所使用的cpu时间
psutil.cpu_times_percent(percpu=False)

scputimes(user=0.2, nice=0.0, system=0.0, idle=99.8, iowait=0.0, irq=0.0, softirq=0.0, steal=0.0, guest=0.0, guest_nice=0.0)

# 返回表示当前系统CPU利用率百分比的浮点值
# interval=1比较1s内CPU利用率
psutil.cpu_percent(interval=1)

0.5

# 当interval=None（默认为None）表示自上次调用或模块导入以来系统CPU利用率
psutil.cpu_percent(interval=None)

5.1

# 当percpu为True时，返回浮点列表，表示每个CPU的利用率百分比
# psutil.cpu_percent(interval=1, percpu=True)

# 返回逻辑cpu的数量（物理内核数乘以每个cpu内核上可以运行的线程数）
psutil.cpu_count(logical=True)

64

# 返回物理cpu的数量
psutil.cpu_count(logical=False)

16

# 返回CPU 频率，包括当前、最小和最大频率，以Mhz表示。
psutil.cpu_freq()

scpufreq(current=2599.998000000001, min=0.0, max=0.0)

1.2 内存状态

# 返回有关系统内存使用情况的统计信息，以字节表示。主要返回参数有：
# total: 内存总量
# available：可用内存
# used： 已用内存
# free：完全没有使用的内存，在windows系统同等于available
# percent：已用内存比例，计算方式为(total - available) / total * 100
psutil.virtual_memory()

svmem(total=541061697536, available=530528514048, percent=1.9, used=7251107840, free=249252380672, active=28388438016, inactive=247208853504, buffers=7200718848, cached=277357490176, shared=56004608, slab=15238979584)

# 打印内存使用比例
print(psutil.virtual_memory().percent)

1.9

# 通过数值计算指标
mem = psutil.virtual_memory()
# 已使用和可用的总和不一定等于总和，所以计算方式看自己选择。
print(mem.used/mem.total*100)
# 实际psutil计算方式
print(100-mem.available/mem.total*100)

1.3401628452026104
1.94676199331208

# 返回系统交换内存统计信息
psutil.swap_memory()

sswap(total=0, used=0, free=0, percent=0.0, sin=0, sout=0)

1.3 磁盘状态

 # 返回磁盘分区情况
 # psutil.disk_partitions() 

# 返回包含给定路径的分区的磁盘使用率统计信息，以字节表示，主要返回参数有：
# total：总空间
# used：已用空间
# free：可用空间
# percent：使用率百分比，计算方式为used / total * 100
psutil.disk_usage('./')

sdiskusage(total=4363237892096, used=2180849664, free=4141137940480, percent=0.1)

# 返回系统范围的磁盘输入/输出统计信息，主要返回参数有：
# read_count: 读取次数
# write_count: 写入次数
# read_bytes: 读取的字节数
# write_bytes: 写入的字节数
psutil.disk_io_counters()

sdiskio(read_count=19240910, write_count=60524213, read_bytes=3411362631680, write_bytes=7641118547968, read_time=89751300, write_time=1571245636, read_merged_count=15, write_merged_count=44291429, busy_time=73232832)

1.4 网络状态

# 返回网络io统计信息，主要返回参数包括收发字节数、收发包数等。
psutil.net_io_counters()

snetio(bytes_sent=6606245, bytes_recv=7806674, packets_sent=22430, packets_recv=32301, errin=0, errout=0, dropin=0, dropout=0)

# 返回每个网卡接口的网络统计信息
psutil.net_io_counters(pernic=True)

{'lo': snetio(bytes_sent=2535762, bytes_recv=2535762, packets_sent=6513, packets_recv=6513, errin=0, errout=0, dropin=0, dropout=0),
 'eth1': snetio(bytes_sent=740299, bytes_recv=1362457, packets_sent=9909, packets_recv=18518, errin=0, errout=0, dropin=0, dropout=0),
 'eth0': snetio(bytes_sent=3339973, bytes_recv=3913748, packets_sent=6022, packets_recv=7282, errin=0, errout=0, dropin=0, dropout=0)}

# 返回网络的连接信息
# psutil.net_connections()

# 返回网卡配置信息
# psutil.net_if_addrs()

# 返回网卡的具体信息
psutil.net_if_stats()

{'lo': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=0, mtu=65536),
 'eth1': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_FULL: 2>, speed=10000, mtu=1500),
 'eth0': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=65535, mtu=1500)}

1.5 传感器状态

# 返回硬件温度，如果没有温度传感器返回空值，有些系统和版本没有该函数
psutil.sensors_temperatures()

{}

# 返回硬件风扇速度，有些系统和版本没有该函数
psutil.sensors_fans()

{}

# 返回电池信息，比如剩余电量
psutil.sensors_battery()

1.6 进程状态

进程状态的函数很多，具体可以看看psutil的官方仓库

# 正在运行进程的pid
psutil.pids()

[1, 8, 9, 34, 70, 71, 91, 6873]

# 返回当前进程信息
# 返回值：进程pid，进程名，进程状态
psutil.Process()

psutil.Process(pid=6873, name='python', status='running', started='19:21:01')

# 查看pid为1的进程信息
psutil.Process(1)

psutil.Process(pid=1, name='sh', status='sleeping', started='18:09:15')

# 进程是否存在
psutil.pid_exists(123)

False

1.7 其他状态

# 返回当前用户信息，包括用户名、登陆终端、host端口，登陆时间
# psutil.users()

# 返回系统启动时间，时间戳形式
# psutil.boot_time()

2 GPUtil的使用

2.1 GPU的ID获取

获取可用GPU的ID列表

deviceIDs = GPUtil.getAvailable(order = ‘first’, limit = 1, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])

输入参数如下：

  • order：确定返回可用GPU设备ID的顺序，可输入参数：first（升序排列），last（降序排列），random（随机选取），load（按负载递增），memory（按显存使用量递增）
  • limit：将返回的GPU设备数量限制为指定数量
  • maxLoad：负载率大于maxLoad的不会被返回
  • maxMemory：显存使用率大于maxMemory的不会被返回
  • includeNan：是否包括负载或内存使用为Nan的GPU
  • excludeID：不用于排序的GPU的id
  • excludeUUID：不用排序的GPU的uuid

返回参数如下：

  • deviceIDs: 所有可用GPU设备ID的列表，id号从0开始。
# 导入库
import GPUtil

# 获取一个可用gpu的id
deviceIDs = GPUtil.getAvailable()
deviceIDs

[0]

# 获取最后一个可用gpu的id
deviceIDs = GPUtil.getAvailable(order = 'last')
deviceIDs

[3]

# 随机获取4个可用gpu的id
deviceIDs = GPUtil.getAvailable(order = 'random', limit=4)
deviceIDs

[0, 3, 1, 2]

获取第一个可用的GPU的id

deviceID = GPUtil.getFirstAvailable(order = ‘first’, maxLoad=0.5, maxMemory=0.5, attempts=1, interval=900, verbose=False)

输入参数和GPUtil.getAvailable差不多，其他参数如下：

  • attempts：在放弃寻找可用GPU之前，函数应进行的尝试次数
  • interval：查找gpu的间隔
  • verbose：是否显示详细信息

返回参数如下：

  • deviceID: 一个可用GPU设备ID的列表
# 随机获取1个可用gpu的id
deviceID = GPUtil.getFirstAvailable(order = 'random')
deviceID

[1]

打印所有GPU的当前状态

GPUtil.showUtilization(all=False, attrList=None, useOldCode=False)

输入参数如下：

  • all：显示GPU所有信息，如果否只显示GPU利用率和GPU显存使用率
  • interval：要显示的属性列表列表，这个要看代码
  • useOldCode：是否应使用显示GPU利用率的旧代码

该函数在命令行界面输出结果。

# 命令行打印结果
GPUtil.showUtilization(all=False, attrList=None, useOldCode=False)

| ID | GPU | MEM |
------------------
|  0 |  0% |  0% |
|  1 |  0% |  0% |
|  2 |  0% |  0% |
|  3 |  0% |  0% |

2.2 GPU信息读取

获取所有GPU对象的列表

GPUs = GPUtil.getGPUs()

返回参数如下：

  • 所用可用GPU列表
import GPUtil
# 获取所有可用GPU列表，id号从0开始
GPUs = GPUtil.getGPUs()
GPUs

[<GPUtil.GPUtil.GPU at 0x7fd3142f08d0>,
 <GPUtil.GPUtil.GPU at 0x7fd3142ec390>,
 <GPUtil.GPUtil.GPU at 0x7fd3142f0f90>,
 <GPUtil.GPUtil.GPU at 0x7fd3142ecfd0>]

筛选可用GPU

GPUavailability = GPUtil.getAvailability(GPUs, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])

  • 输入参数：GPUs为GPU对象列表，其他参数与GPUtil.getAvailable一样
  • 返回参数：返回一个与GPUs大小相等的1和0列表，指示哪些对应的GPU可用，1表示可用，0表示不可用
GPUavailability = GPUtil.getAvailability(GPUs)
GPUavailability

[1, 1, 1, 1]

GPU属性获取

返回单个GPU的属性，GPU属性的描述来自于nvidia-smi命令。这些属性分别为：

  • id：gpu的id
  • uuid：gpu的uuid，全球唯一
  • load：gpu的负载率，100%表示满载
  • memoryUtil：gpu的显存使用率，100%表示全部使用
  • memoryTotal：gpu的总显存
  • memoryUsed：gpu已使用显存
  • memoryFree：gpu可用显存
  • driver：gpu的驱动版本
  • name：gpu的正式产品名称
  • serial：gpu的序列号，全球唯一
  • display_mode：物理显示器是否连接到GPU
  • display_active：显示器是否活跃
# 获取所有可用GPU列表，id号从0开始
GPUs = GPUtil.getGPUs()

# 第0个gpu的id
GPUs[0].id

0

# 第0个gpu的负载率
GPUs[0].load

0.0

# 第1个gpu的显存
GPUs[0].memoryTotal

32510.0

# 第1个gpu的驱动版本
GPUs[1].driver

'460.32.03'

# 第2个gpu的产品名称
GPUs[2].name

'Tesla V100-SXM2-32GB'

# 最后一个gpu是否连接物理显示器
GPUs[-1].display_mode

'Enabled'

3 参考

posted @ 2022-07-18 18:42  落痕的寒假  阅读(200)  评论(0)  编辑  收藏  举报