虚警率、漏警率、准确率、精确率、召回率
在 5G NR 的 PUCCH 仿真中遇到了有关虚警率和漏警率的概念。在此记录一下。文章内容来自于:虚警率、漏警率
一、相关概念
-
真实值(actual value)、预测值(predicted value)
actual value 指真实记录的已发生的测量结果值;predicted value 指对未发生的预测值。
-
真(True)、假(False)
True 表示预测值与真实值一致;False 表示预测值和真实值不一致。
-
阳性/正(Positive)、阴性/负(Negative)
分别指代条件或者事物存在/不存在,具体理解可看第二节。
二、具体指标说明
所有样本分为阳性/正样本和阴性/负样本,各自数量为 \(P\) 和 \(N\) 。
- 正样本预测为正样本 的为 True positive(\(TP\))—— 真阳
- 正样本预测为负样本 的为 False negative(\(FN\))—— 假阴
- 负样本预测为负样本 的为 True negative(\(TN\))—— 真阴
- 负样本预测为正样本 的为 False positive(\(FP\))—— 假阳
所以:\(P=TP+FN,\quad N=TN+FP\)
-
准确率(accuracy)
反映模型正确判断样本正确与否的能力。即正确地将正样本判定为正,负样本判定为负的正确分类能力。
\[ACC=\frac{TP+TN}{P+N} \] -
精确率(precision)
反映模型正确预测正样本精度的能力。
\[precision=\frac{TP}{TP+FP} \] -
召回率(recall),也称为真阳率、命中率
反映模型正确预测正样本全度的能力。即正样本被预测为正样本占总的正样本的比例。
\[recall=TPR=\frac{TP}{TP+FN} \] -
虚警率(false alarm),也称为假阳率、误检率
反映模型正确预测正样本纯度的能力。即负样本被预测为正样本占总的负样本的比例。
\[falsealarm=FPR=\frac{FP}{TN+FP} \] -
漏警率(miss rate),也称为漏检率
\[missrate=FNR=\frac{FN}{TP+FN} \]
三、实例
在 5G NR 的 PUCCH 仿真中,当上行控制信息(UCI)小于或等于 11 比特时需要进行能量检测,保证虚警率、漏警率满足一定的指标。根据典型仿真场景,考虑 format 0、1、2 三种格式下小于等于 11 比特的能量检测,其基本方法如下:
- 首先,在一个信噪比下,发送端不发送信号,即接收端只接收到噪声。假设虚警率要求为1%。接收端根据随机的噪声信号计算相关值(format 0)、信道功率(format 1、2)等,统计一定数量的功率值后,根据概率密度累积分布可以得到大于99%处的值,作为门限。这样就只有1%的噪声可以穿过门限,即保证虚警率也就是DTX to ACK小于1%(DTX,Discontinuous Transmission)。当统计数量足够大的话,不发送信号时在该门限测出的DTX to ACK应该为1%。
- 发送端正常发送信号,将得到的相关值、功率等与上面得到的门限进行比较。若没有超过门限,则判定为接收端没有发送信号,也就是漏检了,这一帧不再进行后面的解调。这样统计得到漏检率,也就是ACK missed。若超过门限,则进行信号检测和解调,如果出错则视为错帧,统计得到BLER也就是NACK to ACK的概率。