随笔分类 - 机器学习
摘要：1.LeNet模型 LeNet是一个早期用来识别手写数字的卷积神经网络，这个名字来源于LeNet论文的第一作者Yann LeCun。LeNet展示了通过梯度下降训练卷积神经网络可以达到手写数字识别在当时最先进的成果，这个尊基性的工作第一次将卷积神经网络推上舞台 上图就是LeNet模型，下面将对每层参
阅读全文
摘要：需求: 从零和使用mxnet实现dropout 数据集： 使用load_digits()手写数字数据集 要求： 使用1个掩藏层n_hidden1 = 36，激活函数为relu，损失函数为softmax交叉熵损失函数 注意： drop函数的实现方法 训练和测试时drop的区别 1.从零实现dropou
阅读全文
摘要：1.softmax从零实现 (1797, 64) (1797,) (1797, 10) epoch:50,loss: [1.9941667] ,accuracy:0.3550361713967724 epoch:100,loss: [0.37214527] ,accuracy:0.939343350
阅读全文
摘要：1.线性回归从零实现 (1000,) epoch:1,loss:5.7996 epoch:2,loss:2.1903 epoch:3,loss:0.9078 epoch:4,loss:0.3178 epoch:5,loss:0.0795 epoch:6,loss:0.0204 epoch:7,los
阅读全文
摘要：1. 激活函数 1.1 各激活函数曲线对比 常用激活函数： tf.sigmoid() tf.tanh() tf.nn.relu() tf.nn.softplus() tf.nn.softmax() tf.nn.dropout() tf.nn.elu() 1.2 各激活函数优缺点 sigmoid函数
阅读全文
摘要：1. 什么是集成学习？ 如果你随机向几千个人询问一个复杂问题，然后汇总它们的答案。在许多情况下你会发现，这个汇总的回答比专家的答案还要好，这被称为集体智慧，同样，如果你聚合一组预测器的预测，得到的预测结果也比最好的单个预测器要好，这样的一组预测器，我们称为集成，也被称为集成学习。集成学习可以用于分类
阅读全文
摘要： 本文主要是学习笔记，一方面是为了加强理解，感觉在做笔记过程中理解起来更简单，另一方面为了加强记忆，建立大脑关于‘隐马尔可夫模型’的神经网络 1. 模型场景 在介绍隐马尔可夫模型之前先来看个例子： 假设有4个盒子，每个盒子里面都装有红、白两种颜色的求，盒子里面的红包球数量如下：
阅读全文
摘要：1. 需求 使用skip gram模式实现word2vect，然后在jaychou_lyrics.txt数据集上应用 jaychou_lyrics.txt数据集收录了周杰伦从第一张专辑到第十张专辑中的歌词，比如： 想要有直升机 想要和你飞到宇宙去 想要和你融化在一起 融化在宇宙里 我每天每天每天在想
阅读全文
摘要：1. 数据集说明 trec06c是一个公开的垃圾邮件语料库，由国际文本检索会议提供，分为英文数据集（trec06p）和中文数据集（trec06c），其中所含的邮件均来源于真实邮件保留了邮件的原有格式和内容,下载地址：https://plg.uwaterloo.ca/~gvcormac/treccor
阅读全文
摘要：1. LDA描述 线性判别分析(Linear Discriminant Analysis,LDA)是一种有监督学习算法，同时经常被用来对数据进行降维，它是Ronald Disher在1936年发明的，有些资料上也称位Fisher LDA.LDA是目前机器学习、数据挖掘领域中经典且热门的一种算法 相比
阅读全文
摘要：1. 主成分基本思想 主成分基本思想：在主成分分析中，首先对给定数据进行规范化，使得数据每一个变量的平均值维0，方差为1，之后对数据进行正交变换，原来由线性相关变量表示的数据，通过正交变换变成由若干个线性无关的新变量表示的数据。新变量是可能的正交变换中变量的方差的和最大的，方差表示了新变量上信息的大
阅读全文
摘要：1 神经网络模型 以下面神经网络模型为例，说明神经网络中正向传播和反向传播过程及代码实现 1.1 正向传播 (1)输入层神经元$i_1,i_2$,输入层到隐藏层处理过程 $$HiddenNeth_1 = w_1i_1+w_2i_2 + b_1$$ $$HiddenNeth_2 = w_3i_1+w_
阅读全文
摘要：1. 场景描述 问题:如何对对下图的线性可分数据集和线性不可分数据集进行分类？ 思路: (1)对线性可分数据集找到最优分割超平面 (2)将线性不可分数据集通过某种方法转换为线性可分数据集 下面将带着这两个问题对支持向量机相关问题进行总结 2. 如何找到最优分割超平面 一般地，当训练数据集线性可分时，
阅读全文
摘要：1. 场景描述 时间：早上八点，地点：婚介所 ‘闺女，我有给你找了个合适的对象，今天要不要见一面？’ ‘多大？’ ‘26岁’ ‘长的帅吗？’ ‘还可以，不算太帅’ ‘工资高吗？’ ‘略高于平均水平’ ‘会写代码吗？’ ‘人家是程序员，代码写的棒着呢！’ ‘好，把他的联系方式发过来吧，我抽空见一面’
阅读全文
摘要：'没有测量，就没有科学'这是科学家门捷列夫的名言。在计算机科学特别是机器学习领域中，对模型的评估同样至关重要，只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要分为离线评估和在线评估两个阶段。针对分类、排序、回归、序列预测等不同类型的机器
阅读全文
摘要：0 机器学习简介 概念：多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 学科定位：人工智能(Artificial Intelligence, AI）的核心，
阅读全文
摘要：在sklearn之数据分析中总结了数据分析常用方法，接下来对数据预处理进行总结 当我们拿到数据集后一般需要进行以下步骤： (1)明确有数据集有多少特征，哪些是连续的，哪些是类别的 (2)检查有没有缺失值，对缺失的特征选择恰当的方式进行弥补，使数据完整 (3)对连续的数值型特征进行标准化 (4)对类别
阅读全文
摘要：熟话说,'巧妇难为无米之炊'，数据和特征就是'米'，模型和算法则是'巧妇'，没有充足的数据、合适的特征，再强大的模型结构也无法得到满意的输出，为了更好的使用模型，必须先对数据有个正确的认识，本博将对数据分析的三种方法(描述性统计，数据可视化和相关性系数)进行总结,为数据预处理准备 1. sklear
阅读全文
摘要：tensorflow库提供的专门的图片处理库，以下只是部分示例，更多函数请参照源码‘\tensorflow\_api\v1\image\__init__.py’ 加载图像 方式1： 使用tf.gfile.GFile以二进制方式读jpg文件，然后通过tf.image.decode_jpeg进行解码 注
阅读全文
摘要：为了解决在深度神经网络训练初期降低梯度消失/爆炸问题，Sergey loffe和Christian Szegedy提出了使用批量归一化的技术的方案，该技术包括在每一层激活函数之前在模型里加一个操作，简单零中心化和归一化输入，之后再通过每层的两个新参数(一个缩放，另一个移动)缩放和移动结果，话句话说，
阅读全文