基础数学 - 随笔分类 - 影醉阏轩窗

偏差、方差和噪声的权衡关系

摘要：我们先定义几个概念： x：数据集 y：真实标签（实际值） yd: 当前标签（标签值，有可能是错误的，因为收集过程可能出错） f(x;D)：在D模型中X的预测值 f(x)拔：x在某个模型中的期望值（可以说是概率也可以说是平均值，比如硬币正反面的期望是0.5，不用管怎么来的，就看作平均值即可）求取平均阅读全文

posted @ 2017-12-30 10:02 影醉阏轩窗阅读(930) 评论(0) 推荐(0) 编辑

信息熵的概念

摘要：注释：《机器学习实战》这本书说到香农熵，查了两个小时弄明白了。信息熵有两种通俗解释： 1.代表信息的有用程度，越有用信息熵越大，负数是不可能的，我说句话不影响别人也可以影响我自己啊。 2.代表信息的压缩大小，一段话里面有重复的，把重复的去掉就等于压缩，这个压缩的极限就是信息熵。看下面两个链接就明阅读全文

posted @ 2017-11-18 21:38 影醉阏轩窗阅读(953) 评论(0) 推荐(0) 编辑

凸优化&非凸优化问题

摘要：转载知乎大神的回答：Robin Shen 参考：https://www.zhihu.com/question/20343349 阅读全文

posted @ 2017-11-04 18:55 影醉阏轩窗阅读(405) 评论(0) 推荐(0) 编辑

一些误差的概念

摘要：训练误差训练得出的的误差，比如训练1000个样本得出的误差是0.01，训练500个样本得出的误差是0.02。一般在程序里当做训练终止的条件，例如do while(|R1-R2|<0.01){ do something } 泛化误差训练好模型之后测试的误差，比如训练一个y=kx+b的模型了，现在去阅读全文

posted @ 2017-11-04 02:11 影醉阏轩窗阅读(230) 评论(0) 推荐(0) 编辑

大数定律和中心极限定律

摘要：看了《概率论与数理统计》上面说了大数定律和中心极限定律的推到。。。。没时间去弄公式推到，现在大概了解，之后用到再去一步步推到。中心极限定理：设随机变量X1，X2，......Xn，......独立同分布，并且具有有限的数学期望和方差：E(Xi)=μ，D(Xi)=σ20(k=1,2....)，则对阅读全文

posted @ 2017-11-01 22:30 影醉阏轩窗阅读(2114) 评论(0) 推荐(0) 编辑

先验概率、后验概率、似然函数的理解

摘要：注释：最近一直看到先验后验的说法，一直不懂，这次查了资料记录一下。 1.先验和后验的区别： A.简单的了解两个概率的含义先验概率可理解为统计概率，后验概率可理解为条件概率。设定背景：酒至半酣,忽阴云漠漠,骤雨将至。情景一： “天不会下雨的，历史上这里下雨的概率是20%” 先验概率 “但阴云漠漠阅读全文

posted @ 2017-11-01 21:49 影醉阏轩窗阅读(3682) 评论(0) 推荐(1) 编辑

概率密度函数、概率分布函数、概率质量函数

摘要：1.概率密度函数 1.1. 定义如果对于随机变量X的分布函数F(x),存在非负函数f(x),使得对于任意实数有则称X为连续型随机变量，其中F(x)称为X的概率密度函数，简称概率密度。（f(x)>=0,若f(x)在点x处连续则F(x)求导可得）f(x)并没有很特殊的意义，但是通过其值得相对大小得知阅读全文

posted @ 2017-11-01 17:58 影醉阏轩窗阅读(21085) 评论(0) 推荐(8) 编辑

高维高斯分布的简述

摘要：标准的一元高斯分布概率密度函数是：如果有另外一个随机变量，它和是相互独立的，那么，它们的联合概率密度函数是：那么，如果用和组成一个随机向量，形如: 那么，的密度函数就是：为了让形式更一般化，设: 概率密度函数关系里可知：注释：这里笔误||A|| >>>|A| 是指A的矩阵概率密度函数间的关阅读全文

posted @ 2017-11-01 17:25 影醉阏轩窗阅读(728) 评论(0) 推荐(0) 编辑

协方差和相关系数的概念和含义

摘要：1.协方差：在概率论中，两个随机变量 X 与 Y 之间相互关系，大致有下列3种情况：当 X, Y 的联合分布像上图那样时，我们可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，这种情况，我们称为“正相关”。当X, Y 的联合分布像上图那样时，我们可以看出，大致上有：X 越大Y 阅读全文

posted @ 2017-11-01 15:36 影醉阏轩窗阅读(1256) 评论(0) 推荐(0) 编辑

从最大似然函数到 EM算法详解

摘要：极大似然算法本来打算把别人讲的好的博文放在上面的，但是感觉那个适合看着玩，我看过之后感觉懂了，然后实际应用就不会了。。。。 MLP其实就是用来求模型参数的，核心就是“模型已知，求取参数”，模型的意思就是数据符合什么函数，比如我们硬币的正反就是二项分布模型，再比如我们平时随机生成的一类数据符合高斯模阅读全文

posted @ 2017-06-14 18:10 影醉阏轩窗阅读(6239) 评论(0) 推荐(8) 编辑

遗传算法入门---附源程序

摘要：目标是学习“神经网络”的，但是看到一篇博文说学习之前应该把遗传算法了解一下，所以干脆学习一下遗传算法了：注：本博文是改编CSND上一篇大神的博文，我测试他的程序有问题，自己动手改了一下，现在测试几个函数完全可以运行！大神博文地址：他写的很好：http://blog.csdn.net/emiyas 阅读全文

posted @ 2017-03-02 11:13 影醉阏轩窗阅读(937) 评论(0) 推荐(1) 编辑

寂寞的小乞丐

随笔分类 - 基础数学