懵懂的菜鸟

摘要： 0. 前言 本文翻译自博客： iamtrask.github.io ，这次翻译已经获得trask本人的同意与支持，在此特别感谢trask。本文属于作者一边学习一边翻译的作品，所以在用词、理论方面难免会出现很多错误，假如您发现错误或者不合适的地方，可以给我留言，谢谢！ 2016.7.26 UPDATE 阅读全文

摘要： 转子：https://www.leiphone.com/news/201705/zW49Eo8YfYu9K03J.html 最近在看RNN模型，为简单起见，本篇就以简单的二进制序列作为训练数据，而不实现具体的论文仿真，主要目的是理解RNN的原理和如何在TensorFlow中构造一个简单基础的模型架构 阅读全文

摘要： 1. 注意力模型 1.2 注意力模型概述 注意力模型（attention model)是一种用于做图像描述的模型。在笔记6中讲过RNN去做图像描述，但是精准度可能差强人意。所以在工业界，人们更喜欢用attention model。 结合下图，先简单地讲一下，注意力模型的运作原理。 第一步：进来一张图 阅读全文

摘要： RNN入门学习 原文地址：http://blog.csdn.net/hjimce/article/details/49095371 作者：hjimce 一、相关理论 RNN(Recurrent Neural Networks)中文名又称之为：循环神经网络（原来还有一个递归神经网络，也叫RNN，搞得我 阅读全文

摘要： 点积有两种定义方式：代数方式和几何方式。通过在欧氏空间中引入笛卡尔坐标系，向量之间的点积既可以由向量坐标的代数运算得出，也可以通过引入两个向量的长度和角度等几何概念来求解。[1] 广义定义 广义定义 在一个向量空间V中，定义在 上的正定对称双线性形式函数即是V的数量积，而添加有一个数量积的向量空间即 阅读全文

摘要： 词集模型：单词构成的集合，每个单词只出现一次。 词袋模型：把每一个单词都进行统计，同时计算每个单词出现的次数。 在train_x中，总共有6篇文档，每一行代表一个样本即一篇文档。我们的目标是将train_x转化为可训练矩阵，即生成每个样本的词向量。可以对train_x分别建立词集模型，词袋模型来解决 阅读全文

摘要： 关于多分类 我们常见的逻辑回归、SVM等常用于解决二分类问题，对于多分类问题，比如识别手写数字，它就需要10个分类，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这里讨论另外一种方式来解决多分类——softmax。 关于softmax softmax的函数为 P(i)=exp(θT 阅读全文

摘要： Dropout: Dropout is a radically different technique for regularization. Unlike L1 and L2 regularization, dropout doesn't rely on modifying the cost fu 阅读全文

摘要： 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 阅读全文

摘要： 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失 阅读全文