[吴恩达机器学习笔记]15.1-3非监督学习异常检测算法/高斯回回归模型
15.异常检测 Anomaly detection
觉得有用的话,欢迎一起讨论相互学习~
吴恩达老师课程原地址
参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广
15.1问题动机 Problem motivation
飞机引擎异常检测
- 假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行 QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。如下图所示：\(x_1,x_2,x_3...\) 用以表示测量得到的飞机引擎的特征。而数据集中的m个数据用\({x^{(1)},x^{(2)},x^{(3)}...x^{(m)}}\)表示
- 这样一来，你就有了一个数据集，从 \(x^{(1)}到x^{(m)}\)，如果你生产了 m 个引擎的话，你将这些数据绘制成图表，看起来就是这个样子：
- 这里的每个点、每个叉，都是你的 无标签数据 。这样，异常检测问题可以定义如下：假设后来有一天，你有一个新的飞机引擎从生产线上流出，而你的新飞机引擎有特征变量\(x^{test}\)。所谓的异常检测问题就是：希望知道这个新的飞机引擎是否有某种异常，或者说，我们希望判断这个引擎是否需要进一步测试。因为，如果它看起来像一个正常的引擎，那么我们可以直接将它运送到客户那里，而不需要进一步的测试。
- 给定一个训练集，然后对训练数据进行建模即\(p^{(x)}\),即对飞机引擎的特征进行建模，然后当给定一个新的数据即\(x^{(test)}\),如果概率\(P^{(test)}\)低于阈值ε-- 那么就将其标记为异常，如果概率\(P^{(test)}\)大于等于阈值ε-- 那么就将其标记为正常
- 观察模型，将会发现在中心区域的这些点概率相当大，而稍微远离中心的点概率会少些，而离中心更远的点，其概率会更小即出现异常的概率会更大，而最外的标记点就是 异常点(anomaly) ,而中心区域的点P(x)很大即是 正确的点
- 这种方法称为 密度估计 表达如下：
\[if\ p(x)\begin{cases}\le\epsilon\ anomaly\\> \epsilon normal\\
\end{cases}\]
欺骗识别
- 使用\(x^{(i)}表示第i个用户的行为特征\)，通过检测是否有\(p(x)<\epsilon\)来断定用户是否是一个非正常用户。
- 异常检测主要用来识别欺骗。例如在线采集而来的有关用户的数据，一个特征向量中可能会包含如：\(x_1\)用户多久登录一次，\(x_2\)访问过的页面，\(x_3\)在论坛发布的帖子数量，甚至是\(x_4\)打字速度等。尝试根据这些特征构建一个模型，可以用这个模型来识别行为异常的用户。
数据中心异常检测
- 特征可能包含：\(x_1\)内存使用情况，\(x_2\)被访问的磁盘数量，\(x_3\)CPU的负载，\(x_4\)网络的通信量等。根据这些特征可以构建一个模型，用来是否有\(p(x)<\epsilon\)来判断某些计算机是不是有可能出错了
15.2高斯分布 Gaussian Distribution
- 通常如果我们认为变量 x 符合高斯分布 x~N(μ,σ2)则其概率密度函数为：
其中$\mu \(表示数据的平均值而\)\sigma^2$表示样本的方差，横轴表示数据的值，而纵轴则表示此值出现的概率密度，图像与一段范围内的横轴包围的面积即为x的取值落在此范围内的概率，其图像如下图所示：
其中\(\mu\)控制图像的中线所在位置，而\(\sigma\)控制图像的宽度，并且对于概率密度函数而言，其与坐标轴包围的区域的面积始终为1
- 利用已有的数据来预测总体中的\(\mu 和 \sigma^2\)的计算方法如下：
其中统计学家认为计算方法中的分母应该为(m+1),而机器学习学者则认为其中的分母为m也很合适，当时数据量十分巨大时，分母为m或者为(m+1)实质上没有很大的区别。
15.3非监督学习的异常检测算法
- 假定有共m个样本的无标签训练集，训练集中的每个样本都是一个\(R^n\)维的特征向量。
则处理异常检测的方法是 使用数据集建立起概率模型p(x) 试图通过特征量的乘积来对样本的异常状况进行检测。 - 假设特征量之间是相互独立的，则概率模型可表示为特征量的概率的乘积：
\[P(x)=p(x_1)p(x_2)p(x_3)...p(x_n)
\]
- 假设特征都是分散的，并且 服从高斯正态分布 则概率模型可表示为$$p(x)=p(x_1;\mu_1,\sigma_1)p(x_2;\mu_2,\sigma_2)p(x_3;\mu_3,\sigma_3)...p(x_n;\mu_n,\sigma_n)$$
即
\[\prod^{n}_{j=1}p(s_j;\mu_j,\sigma_j^2)
\]
异常检测算法概述
- 挑选对异常检测有用的特征\(x_i\)
- 计算每个特征的均值和方差\(\mu_1,\mu_2,\,u_3...,\mu_n,\sigma_1^{2},\sigma_2^{2},\sigma_3^{2}...\sigma_n^{2}\)
- 给定样本x,计算概率p(x),\(如果概率小于\epsilon\),则判断这个样本存在异常
异常检测示例
- 此时选定\(\epsilon\)大小为0.02，则计算样本点\(x_{test}^{(1)}\)的概率为0.0426，而计算样本点\(x_{test}^{(2)}\)的概率为0.0021。因此样本1可以被视为正常样本，而样本2则被视为异常样本。
