摘要：
三十一、线性变换及对应矩阵 定义线性变换： $$T:\mathbb{R}^n\to \mathbb{R}^m$$ 表示的是n维列向量到m维列向量的映射，该映射是可以线性组合的，即： $$T(ax+by)=aT(x)+bT(y)$$ 线性变换T可以用$m\times n$矩阵A表示： $$T(x)=A 阅读全文
摘要：
二十六、对称矩阵及正定性 实对称矩阵 实对称矩阵是所有元素均为实数的对称矩阵。具有以下性质： 1、所有特征值均为实数 2、所有特征向量均为实向量 3、不同特征值对应的特征向量之间是正交的 4、具有n个线性无关的特征向量 5、任意实对称阵A都可以用正交阵$P$对角化：$A=Q\Lambda Q^{ 1 阅读全文
摘要：
线性回归的Normal Equations 令全体训练样本构成的矩阵为 $$X=\begin{pmatrix}(x^{(1)})^T\\\vdots\\(x^{(m)})^T\end{pmatrix}$$ 对应的真实值 $$y=\begin{pmatrix}y^{(1)}\\\vdots\\y^{( 阅读全文
摘要：
Machine Learning(Andrew Ng,Stanford University) 学习笔记 第1~8章笔记：http://www.cnblogs.com/qpswwww/p/8934162.html 第9~12章笔记：http://www.cnblogs.com/qpswwww/p/9 阅读全文
摘要：
高斯分布实现异常检测 单变量高斯分布实现异常检测 模型描述 在单变量高斯分布中，对于m组、n种特征的数据， 假设其所有特征都是相互独立的 ，$P(x|\mu;\sigma^2)$是数据x正常的概率，那么 $$P(x|\mu;\sigma^2)=P(x_1|\mu_1;\sigma_1^2)\cdot 阅读全文
摘要：
支持向量机 SVM的代价函数 首先回顾不带正则化的逻辑回归的代价函数： $$J(\theta)=\frac 1 m \sum_{i=1}^m[ y^{(i)}log(h_\theta(x^{(i)})) (1 y^{(i)})log(1 h_\theta(x^{(i)}))]$$ $$J(\thet 阅读全文
摘要：
神经网络 非线性假设 一般来说，分类问题的数据是非线性可分的，如上图左侧所示，若采用logistic回归分类这些数据，则必须考虑构造高阶特征，如上图右侧所示。 然而，若原始数据包含$n$种特征，若想手动构造出二阶特征，则可能构造出大约$C_n^2=\frac{n(n 1)}2$个特征，若想构造出更高 阅读全文
摘要：
Programming Exercise 7: K means Clustering and Principal Component Analysis K Means聚类 findClosestCentroids 给出若干组数据点X，矩阵X每一行代表一组数据，以及K个聚类中心centroids，寻找 阅读全文
摘要：
Programming Exercise 5: Regularized Linear Regression and Bias v.s. Variance linearRegCostFunction 与Ex4类似，没什么好说的 learningCurve 绘制出不同训练样本数目下，训练集误差和验证集误 阅读全文
摘要：
Programming Exercise 3: Multi class Classification and Neural Networks 带正则化的多分类Logistic回归 lrCostFunction K(K 2)分类Logistic回归中，可以构造K个分类器，第K个分类器的假设函数$h_\t 阅读全文