随笔分类 - 机器学习
按部就班的吴恩达机器学习网课用于讨论（16）
摘要：图片文字识别-问题描述和流程图 针对识别图片中的文本信息识别，分为文本区域检测，之后是将文本区域的字符分割，分割以后开始进行字符识别。 滑动窗口 滑动窗口是用来定位文字位置、行人位置等。 以行人检测为例子： 1.做滑动窗口前，首先进行预训练（训练样本为固定大小的图片），获得一个能识别行人的模型。 2
按部就班的吴恩达机器学习网课用于讨论（15）
摘要：大规模机器学习-学习大数据集 数据越多，自然训练效果越好，在训练过程中，过拟合与欠拟合的指标通过绘图确定，据此调整超参数。 在此前的批梯度下降法的过程中，当数据集过大时候，由于如下计算式子中要求遍历所有数据得到一次更新，其计算成本过于昂贵。因此，如果裁剪数据集的大小，如果也能够达到相同的训练效果，则
按部就班的吴恩达机器学习网课用于讨论（14）
摘要：推荐系统-问题公式化 如下是一个电影评分系统。某个用户没有看过某电影时，通过得到预测评分来判断是否推荐该电影给该用户。 其中？表示没有看过，对应的r=0。其它表示在图中给出。从常识上看，电影列表中前三个为爱情片，后两个为动作片，这为评分预测提供了线索。可以进行针对每个用户将电影分类，求得该用户对某类
按部就班的吴恩达机器学习网课用于讨论（13）
摘要：异常检测-问题动机 为了进行数据条目的异常检测（正样本很少的二分类问题），使用密度估计的方法，在每条数据中，每个x的特征可能性为𝑝(𝑥)。 当模型概率𝑝(𝑥)累乘值小于epsilon，则认为是一条异常条目。在下图中，数据集中的中心区域，其概率累乘p则大一些，更可能是正常的样本。 高斯分布 高
按部就班的吴恩达机器学习网课用于讨论（12）
摘要：数据压缩 将二维数据降低到一维数据的方法，有直接替换的方法。下图中，将数据条目的二维特征x1,x2，转化为了一维特征z1。其中，x1和x2是直接相关的（因为四舍五入出现了一些偏差），而z1等于x1。 但是更通用的方法，应该是建立一个直线，该直线到所有特征点的距离平方和是最小的。以该直线建立坐标轴z，
按部就班的吴恩达机器学习网课用于讨论（11）
摘要：核函数2 知道了核函数的表示形式（使用例如高斯核函数作为工具，计算样本x和地标l之间的距离作为特征f，其中f为核函数），之后就是讨论核函数地标的选择。 选择形式为：将训练集中的样本个数m选择，作为地标，获得m个特征f。并增加一个偏置f0=1。得到m+1维的特征f。 对于支持向量机的thetaT*x，
按部就班的吴恩达机器学习网课用于讨论（10）
摘要：类偏斜的误差度量 比如在一个肿瘤预测的问题上，当大量的样本为负样本（实际上没有肿瘤99.5%），只有少数的样本为正样本（实际存在肿瘤0.5%）。那么评判一个机器学习模型的指标，就需要调整。 在一个极端的情况，当一个模型为y=0，也就是将所有预测全为负样本，就有了99.5%的正确率，而这种模型忽略了输
按部就班的吴恩达机器学习网课用于讨论（9）
摘要：模型选择与交叉验证 需要选择合适的模型，能够正确的训练模型，并更好的拟合数据。如下的例子是房价面积和价格的线性回归模型， 更少的参数拟合效果不够好，更多的参数导致过拟合。 因此，在使用过程中，将数据集划分为：训练集、验证集、测试集。比例为：6:2:2。选择完以后，使用如下的第一个J函数作为训练依据，
按部就班的吴恩达机器学习网课用于讨论（8）
摘要：反向传播的直观理解 在如下例子的神经网络中，误差从后向前传递。误差反向传递的过程中，以权值theta作为反向传递的依据。 如delta(4)1=y-a(4)1作为最终的误差。delta(3)2=theta(3)02*delta(4)1，delta(2)2=theta(2)12*delta(3)1+t
按部就班的吴恩达机器学习网课用于讨论（7）
摘要：神经网络模型表示 前向传播 每一层都增加一个偏差单位x0=1和a0=1以后，使用如下公式推导出输出h。 相当于输入层的x经过权重theta乘积变换后重组为特征输出a，然后a再经过变换得到结果h。 theta作为权值矩阵的表示为： 在上述网络中，增加了偏置值x0，则从隐层向输入层，theta1的尺寸为
按部就班的吴恩达机器学习网课用于讨论（6）
摘要：梯度下降的高级优化 三种高级算法的优点： 这些高级算法，有对应的库实现。使用方法如： 其中的fminunc函数提供了优化算法。参考：https://www.zhihu.com/question/45955668?sort=created 多类别分类 多类别分类，使用多个分类器进行分类，当输入一个样本
按部就班的吴恩达机器学习网课用于讨论（5）
摘要：Octave操作概览 hold on legend('sin','cos') title('myplot') plot(t,y2,’r’) xlabel('time') ylabel('value') print –dpng 'myplot.png' 保存图像 figure(1) plot(t, y
机器学习中的特征选择filter
摘要：来源地址：https://www.cnblogs.com/bjwu/p/9103002.html Filter-移除低均方差的特征 代码： from sklearn.feature_selection import VarianceThreshold X = [[0, 0, 1], [0, 1, 0
按部就班的吴恩达机器学习网课用于讨论（4）
摘要：学习率 认为尝试0.001以3倍网上增加算，进行测试。并让误差函数J的值越来越小才是正确的。 误差越来越大，可能是学习率过大造成，学习率太小可能导致梯度下降慢。 特征和多项式回归 线性回归不适合所有数据，有时候需要一些实际操作，如在房价问题中： 认为临街宽度，纵向深度作为特征，价格作为标签。但是在真
按部就班的吴恩达机器学习网课用于讨论（3）
摘要：矩阵加法与乘法 加法省略，乘法房价案例： 输入层M节点，输入1xM的矩阵行向量输入，输入层到隐藏层N节点，权重表示为MxN的矩阵， 矩阵中每行N个数字，分别表示从输入层某节点接到所有隐层节点。 1xM * MxN，得到1xN，为隐层输入数据，以列向量表示。 矩阵乘法属性 单位矩阵I可以表示为： 这里
按部就班的吴恩达机器学习网课用于讨论（2）
摘要：梯度下降 梯度下降的伪代码如左下，计算误差函数J的梯度，完成一次更新误差函数中的变参，使得误差函数的值尽量最小化。 不正确的更新方式是因为，在前面计算梯度就更新参数，则后面的误差函数进行求导得出的另外的变参值，已经不再和前面组成梯度方向。 收敛 梯度收敛的原因，是随着时间的前进，则遇到更大的梯度，变
按部就班的吴恩达机器学习网课用于讨论（1）
摘要：机器学习是什么 给予计算机学习能力，应用场景主要有：垃圾邮件识别，下棋，房价预测等等。 监督学习 监督学习的数据集由正确答案组成， 有回归问题（推测出连续值，如房价），分类问题（推测出离散的输出，如鉴别肿瘤的种类） 无监督学习 数据集没有标签，应用领域如：谷歌同类新闻推送，多DNA的特定相同基因鉴别
主成分分析法详解（PCA）
摘要：引用：https://blog.csdn.net/program_developer/article/details/80632779 将n维特征映射到k维上，只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。 PCA算法有两种实现方法：基于特征值分解协方
吴恩达机器学习私人总结（3）神经网络
摘要：使用梯度检验，减少梯度下降过程中的bug。之后去掉梯度检验，使用梯度下降的优化算法完成梯度下降过程。 梯度检验的一些原理： 初始权值的范围 神经网络的隐层建议：
