摘要：
拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解，现在越发感觉拉格朗日乘数法应用的广泛性，所以特意抽时间学习了麻省理工学院的在线数学课程。新学到的知识一定要立刻记录下来，希望对各位博友有些许帮助。 拉格朗日乘数法（Lagrange Multi 阅读全文
摘要：
前言 本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此不赘述。 SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient desce 阅读全文
摘要：
梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 目录： 梯 阅读全文
摘要：
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 阅读全文
摘要：
数据结构中为了存储和查找的方便，用各种树结构来存储文件，本章就浅谈一下各种树的表示方法、特点及各自的用途，本章设计的树结构包括：二叉查找树（二叉排序树）、平衡二叉树（AVL树）、红黑树、B-树、B+树、字典树（trie树）、后缀树、广义后缀树。 1、二叉查找树（二叉排序树） （图a） 二叉查找树是一 阅读全文
摘要：
Prim算法 1.概览 普里姆算法 （Prim 算法），图论中的一种算法，可在加权连通图里搜索最小生成树。意即由此算法搜索到的边子集所构成的树中，不但包括了连通图里的所有顶点 （英语 ： Vertex (graph theory) ） ，且其所有边的权值之和亦为最小。该算法于1930年由捷克数学家沃 阅读全文
摘要：
问题：找出一个数组里面前K个最大数。 解法一（直接解法）： 对数组用快速排序，然后直接挑出第k大的数。这种方法的时间复杂度是O(Nlog(N))。N为原数组长度。 这个解法含有很多冗余，因为把整个数组都排序了，而实际上我们不需要这样做。 解法二（K数组排序）： 首先，创建一个长度为K的空数组。从原数 阅读全文