归纳偏置和选择性偏差
摘要：一、归纳偏置 1、概念 inductive bias是关于目标函数的必要假设。 在机器学习中，很多学习算法经常会对学习的问题做一些假设，这些假设就称为归纳偏置(Inductive Bias)。 归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎, induction and ded
阅读全文
posted @ 2020-07-09 10:44
随笔分类 - 机器学习
Alias采样算法
摘要：一、离散分布 离散分布：给你一个概率分布，是离散的，比如[1/2, 1/3, 1/12, 1/12]，代表某个变量属于事件A的概率为1/2， 属于事件B的概率为1/3，属于事件C的概率为1/12，属于事件D的概率为1/12。 离散分布的随机变量的取样问题： 一个随机事件包含四种情况，每种情况发生的概
阅读全文
posted @ 2020-04-22 00:01
人工智能、机器学习、深度学习区别
摘要：一、人工智能 应用： 二、机器学习 应用： 三、深度学习（神经网络） 四、三者区别 https://www.bilibili.com/video/av22530538?p=1
阅读全文
posted @ 2020-03-23 16:37
Reservoir Sampling 蓄水池采样算法
摘要：https://blog.csdn.net/huagong_adu/article/details/7619665 https://www.jianshu.com/p/63f6cf19923d https://www.cnblogs.com/snowInPluto/p/5996269.html ht
阅读全文
posted @ 2019-07-18 19:55
NLP传统基础（2）---LDA主题模型---学习文档主题的概率分布（文本分类/聚类）
摘要：一、简介 https://cloud.tencent.com/developer/article/1058777 1、LDA是一种主题模型 作用：可以将每篇文档的主题以概率分布的形式给出【给定一篇文档，推测其主题分布】。我们的目标是找到每一篇文档的主题分布和每一个主题中词的分布。 从而通过分析一些文
阅读全文
posted @ 2019-07-08 11:47
NLP传统基础（1）---BM25算法---计算文档和query相关性
摘要：一、简介：TF-IDF 的改进算法 https://blog.csdn.net/weixin_41090915/article/details/79053584 bm25 是一种用来评价搜索词和文档之间相关性的算法。通俗地说：主要就是计算一个query里面所有词q和文档的相关度，然后再把分数做累加操
阅读全文
posted @ 2019-07-08 11:00
机器学习实战----
摘要：一、机器学习实战的github https://www.jianshu.com/c/ddbe1e7af9c2 https://github.com/Y1ran/Machine-Learning-in-Action-Python3
阅读全文
posted @ 2019-04-09 00:06
PCA----降维
摘要：引言： 特征值分解：矩阵的作用就是线性变换（如旋转，伸缩，平移等），在一个空间当中，矩阵左乘向量就是将向量线性变换成想要的效果，那么矩阵的特征值和特征向量是什么呢？ 特征值、特征向量：在线性代数的定义当中，特征值和特征向量的定义是这样的，AX=rX ，则称r为A的特征值，X称为A的属于特征值k的特征
阅读全文
posted @ 2018-12-12 18:30
调参
摘要：一、训练集、验证集和测试集 传统的机器学习的切分：【小数量，百、千、万】 70%的训练集、30%的测试集 60%的训练集、20%验证集和20%的测试集 大数据时代：【百万、千万、亿】 验证集的目的是验证不同的算法，检验哪种算法有效。 百万：98%训练，1%验证，1%测试 超过百万：99.5%训练，0
阅读全文
posted @ 2018-11-24 14:52
Attention
摘要：摘自https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247486960&idx=1&sn=1b4b9d7ec7a9f40fa8a9df6b6f53bbfb&chksm=96e9d270a19e5b668875392da1d1aaa28ff
阅读全文
posted @ 2018-10-25 16:03
beta分布
摘要：1、beta分布 来源于：https://blog.csdn.net/a358463121/article/details/52562940 用一句话来说，beta分布可以看作一个概率的概率分布，当你不知道一个东西的具体概率是多少时，它可以给出了所有概率出现的可能性大小。 举一个简单的例子，熟悉棒球
阅读全文
posted @ 2018-09-13 14:24
生成模型和判别模型
摘要：1、通俗解释： https://www.cnblogs.com/czdbest/p/5771500.html SVM、决策树等都是在给定x的情况下直接对p(y|x;Θ)进行建模。例如，逻辑回归利用hθ(x) = g(θTx)对p(y|x;Θ)建模。 现在考虑这样一个分类问题，我们想根据一些特征来区别
阅读全文
posted @ 2018-09-12 21:54
贝叶斯算法
摘要：1、贝叶斯要解决的问题： 正向概率：已知袋子中有N个白球和M个黑球，摸到白球的概率多大？ 逆向概率：事先不知道袋子中黑白球的比例，通过摸出来球的颜色来判断球的比例。 贝叶斯是在概率的框架下实施决策的节本方法。对分类来说，在所有相关概率都已知的理想情形下，贝叶斯考虑如何基于这些概率和误判损失来按着最优
阅读全文
posted @ 2018-06-17 11:55
广义线性模型------逻辑回归和softmax回归
摘要：1、广义线性模型 2、逻辑回归 3、softmax回归
阅读全文
posted @ 2018-06-07 13:20
逻辑回归（1）
摘要：代码思路： 1、读取数据 2、预测模型函数：①sigmoid函数②预测函数 3、目标函数（似然函数） 4、计算梯度的函数： 5、梯度下降的函数（更新梯度值）： 1、sigmoid函数：（也是预测函数） 2、逻辑回归过程：（目标函数） （将目标函数转化成对数似然函数） 3、求导过程：
阅读全文
posted @ 2018-05-21 17:24
线性回归
摘要：线性回归的总结：https://www.cnblogs.com/pinard/p/6004041.html 一、线性回归：hθ(x(i))=θ0+θ1x(i) ，x(i) ，y(i) 为观察样本值，hθ(x(i))为预测的y(i) 的值。θ为参数 可以用最小二乘法来求解线性回归：最小二乘法：其目标函
阅读全文
posted @ 2018-04-14 20:02
BP算法
摘要：1、BP算法的任务： 给定输入样本数据值x1和x2，给定输出值y1和y2，初始化参数w1、w2……、b1、b2……； 目标：调整参数w1、w2……、b1、b2……使输出值接近输出值y1和y2。即求参数。 2、BP算法作用和实质： 用来求解神经网络的算法，是梯度下降和链式求导的结合。 梯度下降： 链式
阅读全文
posted @ 2018-03-13 17:43
神经网络----笔记（1）
摘要：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/DL.mp4 1、步骤 Step1：就是Neural Network。 2、概念 一个logistics regression就是一个Neural，将多个logistics reg
阅读全文
posted @ 2018-03-13 14:31
