摘要：
导读 目前采用编码器-解码器 (Encode-Decode) 结构的模型非常热门，是因为它在许多领域较其他的传统模型方法都取得了更好的结果。这种结构的模型通常将输入序列编码成一个固定长度的向量表示，对于长度较短的输入序列而言，该模型能够学习出对应合理的向量表示。然而，这种模型存在的问题在于：当输入序 阅读全文
摘要：
循环神经网络(RNN) 人们的每次思考并不都是从零开始的。比如说你在阅读这篇文章时，你基于对前面的文字的理解来理解你目前阅读到的文字，而不是每读到一个文字时，都抛弃掉前面的思考，从头开始。你的记忆是有持久性的。 传统的神经网络并不能如此，这似乎是一个主要的缺点。例如，假设你在看一场电影，你想对电影里 阅读全文
摘要：
矩阵奇异值的物理意义是什么？如何更好地理解奇异值分解？下面我们用图片的例子来扼要分析。 矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解（Singular Value Decomposition，简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所 阅读全文
摘要：
前言： 找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信 阅读全文
摘要：
前言： CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷积层和下采样层，虽然和MLP的 阅读全文
摘要：
本文主要是学习下Linear Decoder已经在大图片中经常采用的技术convolution和pooling，分别参考网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中对应的章节部分。 Linear Decoders: 阅读全文
摘要：
在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的激活 阅读全文
摘要：
1. 深度学习流程简介 1）一次性设置（One time setup） - 激活函数（Activation functions） - 数据预处理（Data Preprocessing） - 权重初始化（Weight Initialization） - 正则化（Regularization：避免过拟合 阅读全文
摘要：
引言 拿到这份文档时想必你的脑海中一直萦绕着这么一个问题，“机器学习/深度学习要怎么学呢？（怎么入门，又怎么进一步掌握？）”。关于这个问题其实并没有一个标准答案，有的人可能适合自底向上的学，也就是先从理论和数学开始，然后是算法实现，最后再通过一些项目去解决生活中的实际问题；有的人则可能适合自顶向下的 阅读全文
摘要：
1.原始版本 最早的卷积方式还没有任何骚套路，那就也没什么好说的了。 见下图，原始的conv操作可以看做一个2D版本的无隐层神经网络。 附上一个卷积详细流程： 【TensorFlow】tf.nn.conv2d是怎样实现卷积的？ - CSDN博客 代表模型： LeNet：最早使用stack单卷积+单池 阅读全文
摘要：
拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解，现在越发感觉拉格朗日乘数法应用的广泛性，所以特意抽时间学习了麻省理工学院的在线数学课程。新学到的知识一定要立刻记录下来，希望对各位博友有些许帮助。 拉格朗日乘数法（Lagrange Multi 阅读全文
摘要：
前言 本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此不赘述。 SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient desce 阅读全文
摘要：
梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 目录： 梯 阅读全文
摘要：
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 阅读全文
摘要：
数据结构中为了存储和查找的方便，用各种树结构来存储文件，本章就浅谈一下各种树的表示方法、特点及各自的用途，本章设计的树结构包括：二叉查找树（二叉排序树）、平衡二叉树（AVL树）、红黑树、B-树、B+树、字典树（trie树）、后缀树、广义后缀树。 1、二叉查找树（二叉排序树） （图a） 二叉查找树是一 阅读全文
摘要：
Prim算法 1.概览 普里姆算法 （Prim 算法），图论中的一种算法，可在加权连通图里搜索最小生成树。意即由此算法搜索到的边子集所构成的树中，不但包括了连通图里的所有顶点 （英语 ： Vertex (graph theory) ） ，且其所有边的权值之和亦为最小。该算法于1930年由捷克数学家沃 阅读全文
摘要：
问题：找出一个数组里面前K个最大数。 解法一（直接解法）： 对数组用快速排序，然后直接挑出第k大的数。这种方法的时间复杂度是O(Nlog(N))。N为原数组长度。 这个解法含有很多冗余，因为把整个数组都排序了，而实际上我们不需要这样做。 解法二（K数组排序）： 首先，创建一个长度为K的空数组。从原数 阅读全文
摘要：
这道题是LeetCode上的题目，难度级别为5，刚开始做没有找到好的思路，以为是自己智商比较低，后来发现确实也比较低。。。 题目： There are two sorted arrays nums1 and nums2 of size m and n respectively. Find the m 阅读全文
摘要：
Dijkstra算法 Dijkstra 算法是一种用于计算带权有向图中单源最短路径（SSSP：Single-Source Shortest Path）的算法。其解决的问题是：给定图$G$和源顶点$v$，找到从$v$至图中所有顶点的最短路径。 Dijkstra 算法采用贪心算法（Greedy Algo 阅读全文
摘要：
Readthedocs支持Markdown格式和sphinx格式的文档排版，是部署项目文档的绝佳平台。利用Github的托管服务，我们可以方便地将文档托管于Github，并利用Readthedocs查阅。 1. 在Readthedocs上新建一个项目，在项目中的：管理 -> Integrations 阅读全文