摘要：
一、信息量与信息熵 简单来讲，就是一个时间的发生概率越小，信息量越大 信息量的定义： 不确定性越大，熵值越大，信息熵是时间集合的信息量的平均值。 信息熵的定义： 若随机变量退化成定值，熵为0 经验信息熵：根据你的样本得到的概率 条件熵：在给定X的条件下，随机变量Y的不确定性。相当于是数学期望。 可以 阅读全文
摘要：
通用的损失函数最优化的数值方法，来源于泰勒展开式，多元函数的泰勒展开式为： 一、一阶逼近与一阶方法 一阶泰勒展开式： 其中，是代表了β变化的可能性，t在之后说到的梯度下降方法中演变成了学习速率。 现在，我们需要第二项最小，向量内积，最小为-|梯度||a|，这就是β的改变量。梯度的方向是函数在给定点上 阅读全文
摘要：
一、基本形式 一个示例具有d个属性x=(x1,x2...xd)。我们试图学习一个预测函数，即： 线性模型有很好的可解释性，直观地看出哪个属性的重要程度。 二、线性回归 1、代价函数(cost function) 利用最小二乘法进行参数估计： 更一般的情形是，样本有d个属性描述，试图学得： 这称为“多 阅读全文
摘要：
一、累积BP算法 前文所讲的标准BP算法每次只针对一个训练集中的一个样例。权值和阈值更新的比较频繁，但是对不同的样例进行更新的效果可能出现“抵消”现象。因此，为了达到同样的累积误差极小点，累积BP算法直接针对累积误差最小化，它在读取整个训练集D一遍后才对参数进行更新，频率会低很多。但是，在很多任务中 阅读全文
摘要：
矩阵，实际上是指定基下的线性变换。 一、相似矩阵 对相似矩阵直观的理解就是两个在不同基下的变换矩阵，也可以理解成在不同视角下的变换过程。 例如有一个在基x，y下的向量v，p是根据两个基得到的矩阵（分别计算x，y在x'，y'的坐标作为两个列向量）。v左乘p后只是换了基（表面上看是换了v的坐标，但是实际 阅读全文
摘要：
一、神经元模型 每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值(threshold)”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。 M-P神经元模型 神经元接收到来自n个其他神经元传递过来的 阅读全文
摘要：
21/tcp FTP 文件传输协议 22/tcp SSH 安全登录、文件传送(SCP)和端口重定向 23/tcp Telnet 不安全的文本传送 25/tcp SMTP Simple Mail Transfer Protocol (E-mail) 69/udp TFTP Trivial File T 阅读全文
摘要：
一、贝叶斯网(Bayesian network) 借助有向无环图来刻画属性之间的依赖关系。可以用条件概率表(Conditional Probability Table)来描述属性的联合概率分布。若两个属性有直接的依赖关系，用一条有向边连接。如下，属性B依赖属性A。量化的依赖关系是P(B|A)。 二、 阅读全文
摘要：
一、Bayes理论 为了最小化决策风险，首先获得后验概率P(c|x)。通常有两种方法： 1、判别式模型（discriminative models）：给定x，通过直接建模P(c|x)来预测c。 2、生成式模型（generative models）：先对概率分布P(x,c)建模，再由此获得P(c|x) 阅读全文
摘要：
一、ROC和AUC 大前提是我们可以在一般情形下对每个测试样本预测出一个[0.0,1.0]之间的实值。接下来自然会有一个排序质量的好坏，ROC曲线就是从这个角度出发研究泛化性能的。具体做法如下： 1、我们得到了学习器给样本的预测值。 2、依次选定该预测值为阈值，算出真正例率（x轴）和假正例率（y轴） 阅读全文