最优检测器,ROC,AUC
一.背景
一般机器学习完成后会生成正确率等指标，ROC也是常用的指标
\(假设有一随机变量X,离散值,有n中取值，同时有两类分布对应X\)
\(1.真实分布-从样本中,概率为p=(p_1,p_2,....,p_n)\)
\(2.假设分布-学习得到,概率为q=(q_1,q_2,....,q_n)\)
\(问题,若现在已知X=某个值,那么请问这个X来源于哪个分布?\)
二.\(概率矩阵P\)
\(P=\begin{pmatrix}
p_1 & q_1 \\
p_2 & q_2 \\
. & . \\
p_n & q_n \\
\end{pmatrix},每列代表一种分布,每行代表X可能的离散值\)
\(P_{kj}=Prob(X=k|\theta =j)代表某个分布j下产生样本k的概率,这是条件分布,\color{red}{给定了分布}\)
三.检测器/检测矩阵 dector T
\(T=\begin{pmatrix}
1 & 1 & 0.5 & 0.3 & 0 & ... \\
0 & 0 & 0.5 & 0.7& 1 & ... \\
\end{pmatrix}\)
\(每一行对应一种分布,每一列X=k代表这个值在1分布的概率或者2分布的概率，显然要么在1分布，要么在2分布，每一列求和=1\)
\(上面是Random\ dector\)
\(如果T对应如下情况\)
\(T=\begin{pmatrix}
1 & 1 & 0 & 0 & ... \\
0 & 0 & 1 & 1 & ... \\
\end{pmatrix}\)
\(这种叫确定性的矩阵 deterministic\ dector,也就是这两类分布是完全独立，互不影响的\)
\(t_{ik}=Prob(\hat \theta=i|X =k),\color{red}{给定了样本值}情况下,样本属于哪个分布的概率\)
四.检测概率矩阵 Detection Prob Matrix-D
\(D_{ij}=Prob(\hat \theta =i | \theta =j),真实分类/分布是j,但识别称了i\)
\(根据全概率公式\)
\(P(A|C)=\sum P(A|BC)P(B|C)\)
\(=\sum_B \frac{P(ABC)}{BC} \frac{P(BC)}{C}\)
\(=\frac{P(AC)}{C}=P(A|C)\)
\(故有\)
\(D_{ij}=Prob(\hat \theta =i | \theta =j)\)
\(=\sum_{k=1}^{n}P(\hat \theta =i| x=k,\theta =j) P(x=k|\theta =j)\)
\(=\sum_{k} t_ik p_{kj}\)
\(=TP_{ij},是矩阵相乘\)
Detection Prob-判断正确的概率
\(P_i^{d}=D_{ii}=Prob(\hat \theta =i|\theta =i)\)
Error Prob-判断错误的概率
\(P_i^{e}=\sum_{j+i}D_{ji}=Prob(\hat \theta =i|\theta =i)\)
\(矩阵D有如下性质\)
\(\sum_{i=1}^{n}D_{ij}=1-D_{ii}=Prob(\hat \theta =j|\theta =i),i\ne j\)
五.最优检测器设计
1.limit on error and detection
限制正确率，错误率
\(P_i^{d}=D_{ii} \ge L_j\)
\(D_{ij}\le u_{ij}(i\ne j)\)
\(这是一个解可行域的问题,feasibility\ Problem\)
\(这里变量是T矩阵,T=(t_1,...,t_k,...,t_K),t_k是列向量\)
2. Minimum detection design-极小化错误率
\(min\ max_j P_i^{e}\)
\(s.t. \ t_k\ge 0,1^Tt_k =1\)
六.真假阴阳性,Binary case
\(D = TP = [Tp_1,Tp_2] = \begin{bmatrix}真实分布 & - & + &推测 \\
&P_{TN} & P_{FN} & -\\
&P_{FP} & P_{TP} & +
\end{bmatrix}\)
\(列代表样本实际是+还是-,行代表样本被分为+样本还是-样本\)
真实/假 True/False
阴性/阳性 Positive/Negative
\(P_{TP}+ P_{FP} =1\)
\(P_{FN} + P_{TN} =1\)
举些例子
一些疾病，不能错放一个,没病的检测出有空可以容忍,要控制假阴性
False Positive :假阳
False Negative:假阴
True Positive :真阳
True Negative:真阳
这是一个多目标检测问题
\(\begin{cases}
& min(w.r.t\ R_{+}^2)(P_{fp},P_{fn}) = ((Tp)_2,(Tq)_1)\\
s.t. & t_1k+t_2k =1 \\
& t_ik \ge 0 & i=1,2,..., k =1,2,...,n
\end{cases}\)
\(变量为T\)
七.求解
\(min(Tp)_2+\lambda(Tq)_1\)
\(s.t.\ t_1k + t_2k =1\)
\(t_ik \ge 0\)
\(KKT条件解最优化问题\)
\([T][p,q]\)
\(Q=\sum_{k=1}^{n}t_{2k}p_k+\lambda(\sum_{k=1}^{n}t_{1k}q_k)\)
\(L=Q-\sum_{i=1}^{l}\sum_{k=1}^{n}\mu_{ik}t_{ik} + \sum_{k=1}^{n}v_1(t_{1k}+t_{2k}-1),\mu_{ik}\ge 0\)
\(t_{1k}+t_{2k}=1\)
\(t_{ik} \ge 0\)
\(\mu_{ik} t_{ik} =0, 互补松弛条件\)
\(\frac{\partial L}{\partial t_{1k}}\)
\(\lambda q_k -\mu_{1k} + v_k =0\)
\(\frac{\partial L}{\partial t_{2k}}\)
\(p_k -\mu_{2k} + v_k =0\)
\(\lambda q_k -\mu_{1k} = p_k-\mu_{2k}\)
\(-\mu_{1k}+\mu_{2k}=p_k -\lambda q_k\)
if \(p_k>\lambda q_k,则 \mu_{2k}>0,t_{2k}=0,t_{1k}=1\)
if \(p_k<\lambda q_k,则 t_{2k}=1\)
结论
\((t_{1k},t_{2k})\begin{cases} (1,0) & p_k > \lambda q_k\\ (0,1) & p_k < \lambda q_k\\ \end{cases}\)
if \(p_k \ne \lambda q_k,就是一个确定性的检测问题\)
if \(p_k = \lambda q_k,就是random detection\)
八.ROC 接受者操作特征曲线,AUC Area under Curve 曲线下的面积
\(代入不同的\lambda 值可以得到下面的曲线P_{fp}-P_{fn}\)
\(更加常见的是P_{FP}-P_{TP}曲线\)
曲线的由来是下面这张图，左右两个分布函数是+(阳性)样本的分布,-(阴性)样本的分布,竖线代表取到某个值，从左到右移动就绘成了上面的曲线图
当两个分布可以完全分离，即没有任何错分的时候，ROC基本贴近于正方形的边上,AUC(即曲线下面的面积约等于1)
<img src=https://img2022.cnblogs.com/blog/2682749/202201/2682749-20220124221433553-1141248710.png" width="60%" height="60%" />
九.Two Alternative forced choice
\(x_1为+样本,概率分布函数f_0(T),x_2为-样本,概率分布函数f_1(T),分布如图\)
\(回到最初的问题,有两个采样值,在两个分布中的值为x_1,x_2,则采样值来自于x_1分布的概率有多大\)
\(直观的考虑问题,随大流方法,哪个值大属于哪个分布\)
\(P(x_1 > x_2) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}I(T' > T)f_1(T')f_0(T)dTdT'\)
放一放
换个角度,算一下AUC
AUC
\(g_1(T)=TPR(T)\)
\(g_2(T)=FPR(T)=\int_{T}^{+\infty}f_0(x)dx\)
\(A=\int_{0}^{1}g_1(g_2)dg_2\)
\(有dg_2 =g_2' dT\)
\(则有A=\int_{+\infty}^{-\infty}g_1(T)g_2'dT\)
\(有g_2'(T)=-f_0(T)\)
\(继续有=\int_{-\infty}^{+\infty}\int_{T}^{+\infty}f_1(x)dx f_0(T)dT\)
\(=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}I(T' > T)f_1(T')dT'f_0(T)dT\)
\(=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}I(T' > T)f_1(T')f_0(T)dTdT'\)
\(就是上面的P(x_1 > x_2)\)
