摘要：
批梯度下降 (Batch Gradient Descent)以线性回归为例，用梯度下降算法进行参数更新的公式为$$\theta_j=\theta_j-\alpha\frac{1}{m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$... 阅读全文
摘要：
异常检测(Anomaly Detection) 基本假设：多数情况下数据点落入正常的取值范围，但是当异常行为发生时，数据点的取值落入正常取值范围之外（如图1所示）。所以可以利用高斯分布，计算行为发生的概率，如果是概率小于给定阈值，则认为发生了异常行为。基本过程是利用训练数据点建立模型$p(x)$，对 阅读全文
摘要：
K-Means算法 非监督式学习对一组无标签的数据试图发现其内在的结构，主要用途包括： 市场划分（Market Segmentation） 社交网络分析（Social Network Analysis） 管理计算机集群（Organize Computer Clusters） 天文学数据分析（Astr 阅读全文
摘要：
支持向量机(Support Vector Machine, SVM)考虑logistic回归，对于$y=1$的数据，我们希望其$h_\theta(x) \approx 1$，相应的$\theta^Tx \gg 0$; 对于$y=0$的数据，我们希望$h_\theta(x) \approx 0$，相应... 阅读全文
摘要：
应用机器学习的建议1. 评估学习算法在实际中应用学习算法时，如何评估一个学习算法的好坏？进一步地，如果学习的算法的效果不太好，如何改进学习算法？例如，对于一个简单的线性拟合模型，改进算法效果的策略包括：采用更多的训练实例训练模型采用更小的特征集合增加额外的特征尝试高次项拟合($x_1^2$, $x_... 阅读全文
摘要：
这一章可能是Andrew Ng讲得最不清楚的一章，为什么这么说呢？这一章主要讲后向传播(Backpropagration, BP)算法，Ng花了一大半的时间在讲如何计算误差项$\delta$，如何计算$\Delta$的矩阵，以及如何用Matlab去实现后向传播，然而最关键的问题——为什么要这么计算？ 阅读全文
摘要：
动机(Motivation)对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多学习参数过多，从而复杂度太高。神经网络(Neural Network)一个简单的神经网络如下图所示，每一个圆圈表示一个神经元，每个神经元接收上一层神经元的输出作为其输入，同时其输出信号到下一层... 阅读全文
摘要：
Logistic 回归 通常是二元分类器（也可以用于多元分类）,例如以下的分类问题 Email: spam / not spam Tumor: Malignant / benign 假设 (Hypothesis)：$$h_\theta(x) = g(\theta^Tx)$$ $$g(z) = \fr 阅读全文
摘要：
多元线性回归 一元线性回归只有一个特征$x$，而多元线性回归可以有多个特征$x_1, x_2, \ldots, x_n$ 假设 (Hypothesis)：$h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\ldots+\theta_nx_n$ 参数 (Pa 阅读全文
摘要：
初步介绍 监督式学习: 给定数据集并且知道其正确的输出应该是怎么样的，即有反馈（feedback），分为 回归 （Regressioin）: map输入到连续的输出值。 分类 （Classification）：map输出到离散的输出值。 非监督式学习: 给定数据集，并不知道其正确的输出是什么，没有反 阅读全文