随笔分类 - 机器学习
摘要：输入空间 输入$X$可能取值的集合就是输入空间（input space）。输入空间可以是有限集合空间，也可以是整个欧式空间。 输出空间 输出$Y$可能取值的集合就是输出空间（output space）。输出空间可以是有限集合空间，也可以是整个欧式空间。 特征空间 输入空间中每个具体的输入就是一个实例
阅读全文
摘要：1 前言 线性回归形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于线性回归的解直观表达了各属性在预测中的重要性，因此线性回归有很好的可解释性。 1.1 什么是回归分析 回归分析是一种预测性的建模技术
阅读全文
摘要：1 历史 决策树算法起源于E.B.Hunt等人于1966年提出，但真正让决策树成为机器学习主流算法的还是Quinlan（罗斯.昆兰）大神。昆兰在1979年提出了ID3算法，掀起了决策树研究的高潮。现在最常用的决策树算法是C4.5是昆兰在1993年提出的。为什么叫C4.5？因为昆兰提出ID3后，掀起了
阅读全文
摘要：1 前言 机器学习和深度学习里面都至关重要的一个环节就是优化损失函数，一个模型只有损失函数收敛到一定的值，才有可能会有好的结果，降低损失的工作就是优化方法需做的事。常用的优化方法：梯度下降法家族、牛顿法、拟牛顿法、共轭梯度法、Momentum、Nesterov Momentum、Adagrad、RM
阅读全文
摘要：1 概率 1.1 概率与随机变量 频率学派概率 (Frequentist Probability)：认为概率和事件发⽣的频率相关。 贝叶斯学派概率 (Bayesian Probability)：认为概率是对某件事发⽣的确定程度，可以理解成是确信的程度。 随机变量 (Random Variable)：
阅读全文
摘要：1 前言 机器学习中，绕不开的一个概念就是熵 (Entropy)，信息熵。信息熵常被用来作为一个系统的信息含量的量化指标，用来作为系统方程优化的目标或者参数选择的判据。 2 熵的定义？ 信息熵的定义公式： $H(X)=-\sum \limits_{x\in \mathrm{x}}p(x)\ log
阅读全文
摘要：1、标量、向量、矩阵、张量 1.1 标量(Scalar) 表示一个单独的数，通常用斜体小写字母表示，如$s\in R$ 。 1.2 向量 (Vector) 表⽰一列数，这些数有序排列的，可以通过下标获取对应值，通常⽤粗体⼩写字母表⽰：$x\in R^{n}$ ，它表⽰元素取实数，且有 n个元素，第⼀
阅读全文
摘要：一、特征值和特征向量的定义 定义1：设 $A$ 是 $n$ 阶方阵，若存在数 $\lambda$ 和非零向量 $x$，使得 $Ax =\lambda x \quad (x≠0)$ 则称 $\lambda$ 是 $A$ 的一个特征值，$x$ 为 $A$ 的对应于特征值 $\lambda$ 的特征向量。
阅读全文
摘要：1 介绍 感知机是1957年，由Rosenblatt提出会，是神经网络和支持向量机的基础。 感知机 (Perceptron)是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1。感知机对应于输入空间(特征空间)中将实例划为正负两类的分离超平面，属于判别模型。感知机预测是用学
阅读全文
摘要：1 前言 机器学习中，我们不能将全部数据用于模型训练，否则将没有数据集对模型进行验证，从而无法评估模型的预测效果。模型的评估方法主要是针对有监督学习的。 2 数据集划分方法 我们在拿到数据的时候，数据的表现形式会呈现多种多样性，我们首先需要做的是把数据格式化，把数据处理成计算机可以认识的结构。处理数
阅读全文
摘要：1 引言 学习神经网络的时候总是听到激活函数这个词，常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。学习激活函数之前，先问几个问题： 什么是激活函数？ 为什么需要激活函数？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 2 什么是激活函数？ 首先要了解神经
阅读全文
摘要：一：回顾 1.1 人工全连接神经网络 （1）每相邻两层之间的每个神经元之间都是有边相连的。 （2）当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢。 1.2传统神经网络存在的问题： （1）权值太多，计算量太大。 （2）权值太多，需要大量样本进行训练 。 二
阅读全文
摘要：什么是卷积网络？ 卷积⽹络是指那些⾄少在⽹络的⼀层中使⽤卷积运算来替代一般的矩阵乘法运算的神经⽹络。 卷积运算 卷积操作是指对不同的数据窗口数据 (图像) ⽤一组固定的权重 (滤波矩阵，可以看做⼀个恒定的滤波器 Filter) 逐个元素相乘再求和 (做内积)。也可以⽤如下⽅式理解，如果想要低噪声估计
阅读全文
摘要：1 定义 定义：正则化是我们对学习算法所做的任何修改，旨在减少其泛化误差( generalization error)，而不是其训练误差(training error)。 在深入探讨该主题之前，请查看以下图片： 从左向右比较，模型不断尝试从训练数据中学习细节和噪音，慢慢很好的模拟训练数据，但最终却导
阅读全文