摘要：前言 Transformer的应用场景是NLP领域的序列翻译，在Transformer产生之前，大家一般都是使用基于循环神经网络（RNN）的编码器-解码器（Encoder-Decoder）结构来完成序列翻译。所谓序列翻译，就是输入一个序列，输出另一个序列，例如汉英翻译即输入的序列是汉语表示的一句话，
阅读全文
posted @ 2022-12-25 19:59
随笔分类 - 【机器学习大类】
摘要：注意力机制 推荐阅读：https://www.cnblogs.com/CocoML/p/12725925.html https://www.cnblogs.com/BlairGrowing/p/15338310.html https://blog.csdn.net/qq_36136196/artic
阅读全文
posted @ 2022-12-25 19:56
摘要：设有n个可用作分类的测量值，为了在不降低（或尽量不降低）分类精度的前提下，减小特征空间的维数以减少计算量，需从中直接选出m个作为分类的特征。 问题：在n个测量值中选出哪一些作为分类特征，使其具有最小的分类错误？ 从n个测量值中选出m个特征，一共有 中可能的选法。 一种“穷举”办法：对每种选法都用训练
阅读全文
posted @ 2018-10-16 14:30
摘要：问题1：什么是参数和非参数机器学习算法？ 1.1参数机器学习算法 （1）两步骤： 1. 选择一种目标函数的形式； 2. 从训练数据中学习目标函数的系数。 （2）参数机器学习算法的优点： 简单：这些算法很容易理解和解释结果； 快速：参数模型可以很快从数据中学习； 少量的数据：它们不需要太多的训练数据，
阅读全文
posted @ 2018-09-15 10:52
摘要：KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的
阅读全文
posted @ 2018-09-01 15:36
摘要：1- 线性回归 2 - 逻辑回归 3 - 线性判别分析 4 - 决策树 5 - 随机森林算法 6 - SVM 7 - 朴素贝叶斯 8 - K最近邻算法 9 - K均值算法 10-Adaboost 算法 11--马尔可夫 1- 线性回归 预测建模主要关注的是如何最小化模型的误差，或是如何在一个可解释性
阅读全文
posted @ 2018-08-24 17:04
摘要：核心库 1. NumPy (提交数: 15980, 贡献者数: 522) 当开始处理Python中的科学任务，Python的SciPy Stack肯定可以提供帮助，它是专门为Python中科学计算而设计的软件集合（不要混淆SciPy库，它是SciPy Stack的一部分，和SciPy Stack的社
阅读全文
posted @ 2018-08-22 16:24
摘要：学习的种类 1.监督学习 （1）定义：指有求知欲的学生从老师那里获取知识、信息，老师提供对错指示、告知最终答案的学习过程。 在机器学习中，计算机 = 学生，周围的环境 = 老师。 （2）最终目标：根据在学习过程中获得的经验技能，对没学习过的问题也可以做出正确解答，使计算机获得这种泛化能力。 （3）应
阅读全文
posted @ 2018-08-20 10:39
摘要：27种？！神经网络竟有那么多种？这篇文章将逐一介绍下面这张图片中的27种神经网络类型，并尝试解释如何使用它们。准备好了吗？让我们开始吧！ 神经网络的种类越来越多，可以说是在呈指数级地增长。我们需要一个一目了然的图表，在这些新出现的网络构架和方法之间进行导航。 幸运的是，来自Asimov研究所的Fjo
阅读全文
posted @ 2018-08-20 10:30
摘要：1. 忘了数据规范化 2. 没有检查结果 3. 忘了数据预处理 4. 忘了正则化 5. 设置了过大的批次大小 6. 使用了不适当的学习率 7. 在最后一层使用了错误的激活函数 8. 网络含有不良梯度 9. 没有正确地初始化网络权重 10. 神经网络太深了 11. 隐藏unit的数量不对 12.补充
阅读全文
posted @ 2018-08-19 16:48
摘要：37 Reasons why your Neural Network is not working Neural Network Check List 如何使用这个指南 数据问题 检查输入数据 试一下随机输入 检查数据加载单元 确保输入和输出是一一对应的 输入和输出之间的关系映射的随机性会不会太强了
阅读全文
posted @ 2018-08-18 12:23
摘要：2-1、标量 一个标量就是一个单独的数，一般用小写的的变量名称表示。 2-2、向量 一个向量就是一列数，这些数是有序排列的。用过次序中的索引，我们可以确定每个单独的数。通常会赋予向量粗体的小写名称。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵柱：我们可以把向量看作空间中的点
阅读全文
posted @ 2018-08-15 15:01
摘要：四、信息论 信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化。如果说概率使我们能够做出不确定性的陈述以及在不确定性存在的情况下进行推理，那信息论就是使我们能够量化概率分布中不确定性的总量。 1948年，香农引入信息熵，将其定义为离散随机事件的出现概率。一个系统越是有序，信
阅读全文
posted @ 2018-08-15 14:51
摘要：3-1、为什么使用概率？ 概率论是用于表示不确定性陈述的数学框架，即它是对事物不确定性的度量。 在人工智能领域，我们主要以两种方式来使用概率论。首先，概率法则告诉我们AI系统应该如何推理，所以我们设计一些算法来计算或者近似由概率论导出的表达式。其次，我们可以用概率和统计从理论上分析我们提出的AI系统
阅读全文
posted @ 2018-08-15 14:49
摘要：1.微积分 2.线性代数 3.概率与统计 4.数值计算
阅读全文
posted @ 2018-08-15 14:46
摘要：1.Tensorflow一些常用基本概念与函数（1）
阅读全文
posted @ 2018-08-15 14:33
摘要：随着2016年Alpha Go在围棋击败李世石，2017年初卡内基梅隆大学人工智能系统Libratus在长达20天的鏖战中，打败4名世界顶级德州扑克玩家，这标志着人工智能技术又达到了一个新的高峰。人工智能已经不再是在各大公司幕后提供各种智能推荐、语音识别算法的工具，它已经慢慢走向台前进入到平常百姓的
阅读全文
posted @ 2018-08-13 10:23
