摘要：
LVQ聚类与k-means不同之处在于，它是有标记的聚类。 基本思想：初始化q个原型向量（q代表需要聚类的类别数），每个原型向量也初始化其标签（标签与样本标签取值范围相同），如果原型向量的标签与某样本标签相同/不同，则使用两者间距离更新原型向量（相同时靠近更新，不同时远离更新）。因此，原型向量将反映 阅读全文
摘要：
作为聚类的代表算法，k-means本属于NP难问题，通过迭代优化的方式，可以求解出近似解。 伪代码如下： 1，算法部分 距离采用欧氏距离。参数默认值随意选的。 import numpy as np def k_means(x,k=4,epochs=500,delta=1e-3): # 随机选取k个样 阅读全文
摘要：
首先需要安装gym模块，提供游戏的。 1，所需模块 import tensorflow as tf import numpy as np import gym import random from collections import deque from keras.utils.np_utils 阅读全文
摘要：
LBP（Local Binary Pattern），即局部二进制模式，对一个像素点以半径r画一个圈，在圈上取K个点（一般为8），这K个点的值（像素值大于中心点为1，否则为0）组成K位二进制数。此即局部二进制模式，实际中使用的是LBP特征谱的直方统计图。在旧版的Opencv里，使用CvHaarClas 阅读全文
摘要：
朴素贝叶斯假设各属性间相互独立，直接从已有样本中计算各种概率，以贝叶斯方程推导出预测样本的分类。 为了处理预测时样本的（类别，属性值）对未在训练样本出现，从而导致概率为0的情况，使用拉普拉斯修正（假设属性值与类别均匀分布）。 代码及注释如下： 一、离散值 1，朴素贝叶斯算法计算相关参数并返回，预测使 阅读全文
摘要：
在SVM中，我们的超平面参数最终只与间隔边界上的向量（样本）有关，故称为支持向量机。 求解最优超平面，即求最大化间隔，或最小化间隔的倒数：||w||2/2，约束条件为yi(wTxi+b)>=1 因为此函数为凸函数（拉格朗日乘子法的前提条件），可用拉格朗日乘子法转化为对偶问题，当满足KKT条件时，对偶 阅读全文
摘要：
BP算法为深度学习中参数更新的重要角色，一般基于loss对参数的偏导进行更新。 一些根据均方误差，每层默认激活函数sigmoid（不同激活函数，则更新公式不一样） 假设网络如图所示： 则更新公式为： 以上列举了最后2层的参数更新方式，第一层的更新公式类似，即上一层的误差来自于下一层所有的神经元，e的 阅读全文
摘要：
如图，为使用到的公式，信息熵表明样本的混乱程度，增益表示熵减少了，即样本开始分类，增益率是为了平衡增益准则对可取值较多的属性的偏好，同时增益率带来了对可取值偏小的属性的偏好，实际中，先用增益进行筛选，选取大于增益平均值的，然后再选取其中增益率最高的。 以下代码纯粹手写，未参考其他人代码，如果问题，请 阅读全文
摘要：
关于word2vec的理解，推荐文章https://www.cnblogs.com/guoyaohua/p/9240336.html 代码参考https://github.com/eecrazy/word2vec_chinese_annotation 我在其基础上修改了错误的部分，并添加了一些注释。 阅读全文
摘要：
注意力往往与encoder-decoder（seq2seq）框架搭在一起，假设我们编码前与解码后的序列如下： 编码时，我们将source通过非线性变换到中间语义： 则我们解码时，第i个输出为： 可以看到，不管i为多少，都是基于相同的中间语义C进行解码的，也就是说，我们的注意力对所有输出都是相同的。所 阅读全文