随笔分类 - 机器学习
摘要：第8章 正则化过拟合问题代价函数线性回归的正则化 过拟合问题 解决过拟合的方法 减少特征的个数 Manually select which features to keep. Model selection algorithm 正则化(不减少特征个数） Keep all the features,
阅读全文
摘要：决策树与if-then规则 决策树可以看成是if-then规则的集合。由决策束的根节点到叶节点的每一条路径构成一条规则，叶节点的作为规则的结论。下图为决策树用于分类问题的示意图(决策树也能用于回归问题）。 特征选择问题 如上图，4个条件对应4个特征，问题在于如何确定每个特征从根节点开始往下的依次顺序
阅读全文
摘要：文章目录确定执行的优先级误差分析不对称性分类的误差评估精确度和找回率的权衡机器学习数据 确定执行的优先级 列出可能的解决方案，然后权衡选择。而不是一开始只是关注去收集更多的数据。例如对于垃圾邮件可以有以下一些方案： 误差分析 一般先花一天时间，简单粗暴的实现一个算法，画出学习曲线，然后逐步改进。 S
阅读全文
摘要：应用机器学习的建议 如何改进算法 更多的训练数据不一定有效 尝试更小的特征 增加特征 增加多项式特征 尝试不同的正则化系数 以上方法可能并不是一些很有效的方法 如何评价和诊断一个机器学习系统，可以极大地提高改进算法的效率。 评估假设 如何防止过拟合与欠拟合的问题 将数据分割为训练集与测试集，统计测试
阅读全文
摘要：代价函数 像大部分机器学习一样，从代价函数开始讲起。 重点讲解，神经网络在分类问题中的应用。 神经网络层数 用LLL来表示神经网络结果的总层数。 每层单元数 用sls_lsl表示第lll层的单元数，但不包括偏置。 Binary classification 一个输出单元 Multi-class c
阅读全文
摘要：第9章 神经网络学习非线性假设神经元与大脑模型展示 1模型展示 2例子与直觉理解 1例子与直觉理解2 非线性假设 为什么需要学习这个算法 非线性拟合 多项式 多项式拟合参数个数大于特征个数 神经网络 当特征个数过大时，多项式拟合参数过多 二次项的个数大约是(n2)/2(n^2)/2(n2)/2，nn
阅读全文
摘要：文章目录1. 原始优化问题等价拉格朗日的极小极大问题2. 对偶问题3. 原问题和对偶问题的关系 1. 原始优化问题等价拉格朗日的极小极大问题 原始优化问题 ci(x)c_i(x)ci(x)为不等式约束 hj(x)h_j(x)hj(x)为等式约束 广义拉格朗日函数 其中αj,βj\alpha_j,
阅读全文
摘要：Logistic regression cost function 用以上代价函数拟合参数的优点: 这个式子是从统计学中的极大似然法的来的, 它是统计学中为不同模型快速寻找参数的方法. 除此之外它还有个优点就是, 它是凸的.
阅读全文
摘要：矩阵乘积运算有许多有用的性质，从而使矩阵的数学分析更加方便 矩阵乘积分配律 矩阵乘积的结合率 矩阵的逆 用于解释求解线性方程组 方程组的解（线性组合），沿着第i个方向走多远。 生成子空间 不能使用矩阵的逆求解线性方程组的情况 如果矩阵A不是一个方阵或是一个奇异的方阵，该方程仍然可能有解，但不能使用矩
阅读全文
摘要：文章目录第一章 扩展你的数据挖掘工具什么是数据挖掘Fayyad等人的KDD过程1.2.3 CRISP-DM过程 第一章 扩展你的数据挖掘工具 模式识别 面对感官信息时，人类自然想要寻找模式，对其进行区别、分类和预测。这种寻找周围模式的过程是人类的基本活动，人类的大脑对此很擅长。利用这种技能，我们的祖
阅读全文
摘要：supervised learning to used inputs to predict the values of the outputs. inputs predictors; independent variable; features; outputs responses
阅读全文
摘要：4种不同的线性模型 logistic回归 softmax回归 感知机 支持向量机 这些模拟区别在于使用了不同的决策函数 线性判别函数和决策边界 线性分类模型或是线性分类器，是由一个（或多个）线性的判别函数和非线性的决策函数组成。 线性分类模型 是指其决策边界是线性超平面。在特征空间中，决策平面与权重
阅读全文
摘要：根据模型H，使用演算法A，在训练样本上进行训练，器对应的g就是我们最后需要的机器学习的模型函数，一般g解决与目标函数f. perceptron learning algorithm的证明过程 即随着迭代次数T的增加，Wf与WT越来越接近 值域 数学中的加法，乘法有一个共同的特点就是，可以将一个实体分
阅读全文
