随笔分类 -  机器学习

摘要:首先简要介绍了下TFRecord格式以及内部实现protobuf协议,然后基于TFRecord格式,对MNIST数据集转换成TFRecord格式,写入本地磁盘文件,再从磁盘文件读取,通过pyplot模块现实在界面上,效果图如下: TFRecord和Protobuf协议简介 TFRecord是谷歌专门 阅读全文
posted @ 2018-08-24 01:04 派森蛙 阅读(419) 评论(0) 推荐(0) 编辑
摘要:如果不对模型参数进行保存,当训练结束以后,模型也在内存中被释放,下一轮又需要对模型进行重新训练,有没有一种方法,可以利用之前已经训练好的模型参数值,直接进行模型推理或者继续训练?这里需要引入一个数据之久化的概念,其通用定义就是将内存中的数据模型转换为存储模型,以及将存储模型转换为内存中的数据模型的统 阅读全文
posted @ 2018-08-14 23:36 派森蛙 阅读(389) 评论(0) 推荐(0) 编辑
摘要:如下样例基于tensorflow实现了一个简单的3层深度学习入门框架程序,程序主要有如下特性: 1、 基于著名的MNIST手写数字集样例数据:http://yann.lecun.com/exdb/mnist/ 2、 加入衰减学习率优化,使得学习率可以根据训练步数指数级减少,在训练后期增加模型稳定性 阅读全文
posted @ 2018-08-05 01:20 派森蛙 阅读(407) 评论(0) 推荐(0) 编辑
摘要:为了使训练模型在测试数据上有更好的效果,可以引入一种新的方法:滑动平均模型。通过维护一个影子变量,来代替最终训练参数,进行训练模型的验证。 在tensorflow中提供了ExponentialMovingAverage来实行滑动平均模型,模型会维护一个影子变量,其计算公式为: shadow_vari 阅读全文
posted @ 2018-08-04 11:56 派森蛙 阅读(737) 评论(0) 推荐(0) 编辑
摘要:机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1-norm和ℓ2-norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数。L2范数也被称为权重衰减(weight decay)。 一般回归分析中回归ww表示特征的系数,从上式可以看到正则化项是对系 阅读全文
posted @ 2018-08-03 23:47 派森蛙 阅读(2927) 评论(0) 推荐(0) 编辑
摘要:衡量一个回归模型常用的两个参数:皮尔逊相关系数和R平方 一、皮尔逊相关系数 在统计学中,皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient,简称 PP 阅读全文
posted @ 2018-05-03 22:56 派森蛙 阅读(12351) 评论(1) 推荐(1) 编辑
摘要:一、概率 在引入问题前,我们先复习下数学里面关于概率的基本概念 概率:对一件事发生的可能性衡量 范围:0<=P<=1 计算方法:根据个人置信区间;根据历史数据;根据模拟数据。 条件概率:B发生的条件下,A发生的概率 二、Logistic Regression(逻辑回归) 1、问题引入 处理二值数据时 阅读全文
posted @ 2018-05-03 00:41 派森蛙 阅读(6218) 评论(0) 推荐(0) 编辑
摘要:1、问题引入 在统计学中,线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。一个带有一个自变量的线性回归方程代表一条直线。我们需要对线性回归结果进行统计分析。 例如,假设我们已知一些学生年纪和游 阅读全文
posted @ 2018-04-25 00:01 派森蛙 阅读(44971) 评论(1) 推荐(2) 编辑
摘要:深度神经网络算法,是基于神经网络算法的一种拓展,其层数更深,达到多层,本文以简单神经网络为例,利用梯度下降算法进行反向更新来训练神经网络权重和偏向参数,文章最后,基于Python 库实现了一个简单神经网络算法程序,并对异或运算和0-9字符集进行预测。 一、问题引入 利用如下图像结构,通过训练集对其参 阅读全文
posted @ 2018-04-21 00:24 派森蛙 阅读(679) 评论(0) 推荐(0) 编辑
摘要:学习了SVM分类器的简单原理,并调用sklearn库,对40个线性可分点进行训练,并绘制出图形画界面。 一、问题引入 如下图所示,在x,y坐标轴上,我们绘制3个点A(1,1),B(2,0),C(2,3),其中A和B属于一类,C属于一类。 我们希望找到一条直线,将两个类分开来,且保持实线和两条虚线的距 阅读全文
posted @ 2018-04-19 02:08 派森蛙 阅读(1941) 评论(0) 推荐(0) 编辑
摘要:K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。谁和我隔得近,我就跟谁是一类,有点中国古语说的 阅读全文
posted @ 2018-04-07 03:36 派森蛙 阅读(6283) 评论(0) 推荐(0) 编辑
摘要:前一天,我们基于sklearn科学库实现了ID3的决策树程序,本文将基于python自带库实现ID3决策树算法。 一、代码涉及基本知识 1、 为了绘图方便,引入了一个第三方treePlotter模块进行图形绘制。该模块使用方法简单,调用模块createPlot接口,传入一个树型结构对象,即可绘制出相 阅读全文
posted @ 2018-04-05 05:03 派森蛙 阅读(2239) 评论(0) 推荐(0) 编辑
摘要:本文介绍如何利用决策树/判定树(decision tree)中决策树归纳算法(ID3)解决机器学习中的回归问题。文中介绍基于有监督的学习方式,如何利用年龄、收入、身份、收入、信用等级等特征值来判定用户是否购买电脑的行为,最后利用python和sklearn库实现了该应用。 1、 决策树归纳算法(ID 阅读全文
posted @ 2018-04-03 22:46 派森蛙 阅读(7480) 评论(0) 推荐(0) 编辑
摘要:学习完Python基础语法,开始进行机器学习,首先了解下机器学习和深度学习的一些基本概念和术语: 1、 机器学习概念及应用 2、 深度学习概念及应用 3、 机器学习基本术语及举例 4、 机器学习步骤框架 1、 机器学习概念及应用 概念:(Machine Learning, ML)多领域交叉学科,涉及 阅读全文
posted @ 2018-04-03 22:02 派森蛙 阅读(448) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示