2017年5月7日
线性神经网络
摘要： 线性神经网络的结构与感知器相似，激活函数采用线性函数purelin，假设输入样本为m维向量x={p1,p2,p3,...pr},网络有s个神经元，则第j个神经元的输出为vj: vj=Σi=1 to rpiwji+bj 网络的第j个神经元的最终输出yj=purelin(vj) 将上述写成矩阵形式： p 阅读全文
posted @ 2017-05-07 16:07 semen 阅读(284) 评论(0) 推荐(0) 编辑
单层感知器
摘要： 单层感知器是最基本的神经网络，采用hardlim或hardlim作为激活函数，下面是其拓扑结构： 该感知器有s个神经元，m个输入，n个输出，先给出一些定义： 为了方便表示，将样本向量的第一个分量设为1，p(n)=[1,p1(n),p2(n),...,pm(n))，与之对应地权值矩阵的第一列设为每个神 阅读全文
posted @ 2017-05-07 15:10 semen 阅读(544) 评论(0) 推荐(0) 编辑
2017年5月5日
K-means聚类
摘要： 给定样本集D={x1,x2,x3,...xm},K-means算法划分所得簇C={c1,c2,c3,...,ck}的最小平方误差，k表示将数据划分为K簇 E=∑i=1 to k∑x->ci||x-ui||2 ui为簇中心，ui=∑x->cix/|ci| 其中|ci|表示该簇中的样本数，直接计算上面的 阅读全文
posted @ 2017-05-05 22:57 semen 阅读(164) 评论(0) 推荐(0) 编辑
支持向量机
摘要： 上图中2为划分超平面： WTx+b=0 假设超平面能将训练样本真确分类，yi=1时WTx+b>0 yi=-1 时WTx+b<0,令1和3表达式为 WTx1+b=-1 和 WTx2+b=1 故两支持向量之间的距离为 WT(x1-x2)=2 两边取范数： ||W||||x1-x2||cosθ=2 而|| 阅读全文
posted @ 2017-05-05 15:12 semen 阅读(204) 评论(0) 推荐(0) 编辑
2017年5月4日
adaboost原理
摘要： 一般来说 adaboost算法包括三步： 1 初始化训练数据的权值，对于有N个样本的数据集，所有样本的初始权值都是1/N 2 训练弱分类器，将前一个弱分类器错误分类的样本的权值加大，减小被正确分类的样本的权值，这样下一个弱分类器就会重新重视被误分类的样本 3 弱分类器组合成强分类器，减小分类误差率大 阅读全文
posted @ 2017-05-04 21:45 semen 阅读(166) 评论(0) 推荐(0) 编辑
朴素贝叶斯
摘要： 朴素贝叶斯的基本思想：对于给出的待分类项，在给出待分类项的条件下求出各个类别出现的概率，哪个类别的概率大，该分类项就属于该类别 算法描述： (1) 设样本x=(a1,a2,...an) ai为特征的取值 (2) 类别集合C={c1,c3,...ck) 表示有k个类别 (3) 计算p(c1|x),p( 阅读全文
posted @ 2017-05-04 20:05 semen 阅读(144) 评论(0) 推荐(0) 编辑
KNN算法
摘要： KNN算法的核心思想：如果一个样本在特征空间中的k个最邻近的样本大多数属于某一类别，则该样本也属于该类别 KNN算法的结果很大程度上取决于K的取值，下面进行说明： 如果k=5 则上图中的红点属于三角形所属类，因为三角形所属类占3/5，而四边形类只占了2/5，如果k=11,则红点属于四边形类，四边形类 阅读全文
posted @ 2017-05-04 17:39 semen 阅读(194) 评论(0) 推荐(0) 编辑
决策树
摘要： 预备知识： 信息熵：信息量的期望，反映随机变量的不确定性 H(X)=-∑x->Xp(x)log(p(x)) 通俗的理解信息熵 设类别C={c1,c2,...ck) 记分类标记ck的样本数为|ck|,样本为D,样本总数|D| H(D)=-∑|ck|/|D|log(|ck|/|D|) 其中k为类别标记数 阅读全文
posted @ 2017-05-04 16:19 semen 阅读(190) 评论(0) 推荐(0) 编辑
2017年5月3日
信息熵，联合熵，交叉熵，相对熵，条件熵
摘要： 1 信息熵：信息量的期望，反映随机变量的不确定性 H(X)=-∑x→Xp(x)log(p(x)) H(X)=I(X;Y)+H(X|Y) 2 联合熵：表示多个随机变量一起发生的不确定性 H(X,Y)=-∑x->X∑y->Yp(x,y)log(p(x,y)) H(X,Y)=H(X)+H(Y|X) 3 条 阅读全文
posted @ 2017-05-03 22:02 semen 阅读(622) 评论(0) 推荐(0) 编辑
logistic回归模型
摘要： logistic回归边界形式为： θ0+θ1x1+θ2x2+...+θdxd=∑θixi =θTx 其中i=0,1,2,,,d(d为特征数） 分类预测函数为： hθ(x)=1/(1+exp(-θTx) hθ(x)表示类别为1的概率，可以得到如下： P(y=1|x)=hθ(x） 1 P(y=0|x)= 阅读全文
posted @ 2017-05-03 20:03 semen 阅读(478) 评论(-2) 推荐(0) 编辑