随笔分类 - 01. Math
摘要:《算法导论》中有一节讲的是“(比较)排序算法时间的下界”,本文将论述同一个问题,思路略有差异。本文将从信息熵的角度论述排序算法时间复杂度的下界。若本文论述过程中有错误或是不足,还请各位指正。1. 问题归约 排序,涉及到被排序的序列和排序的方法。(比较)排序算法时间的下界对被排序的序列和排序方法做了以...
阅读全文
摘要:1. 引言 之前介绍的MCMC算法都具有一般性和通用性(这里指Metropolis-Hasting 算法),但也存在一些特殊的依赖于仿真分布特征的MCMC方法。在介绍这一类算法(指Gibbs sampling)之前,本节将介绍一种特殊的MCMC算法。 我们重新考虑了仿真的理论基础,建立了Slice ...
阅读全文
摘要:1. 概述 本节将介绍两类问题的不同解决方案。其一是通过随机的搜索算法对某一函数的取值进行比较,求取最大/最小值的过程;其二则和积分类似,是使得某一函数被最优化,这一部分内容的代表算法是EM算法。(书中章节名称为Optimization)2. 随机搜索 对于优化,一本很有名的书是Stephen Bo...
阅读全文
摘要:1. 几个问题为什么需要随机数?伪随机数伪在哪里?为何要采用伪随机数代替随机数?这种代替是否有不利影响?如何产生(伪)随机数? 以下内容将围绕这几个问题依次说明。2. 参考http://en.wikipedia.org/wiki/Monte_Carlo_methodMonte Carlo Stati...
阅读全文
摘要:起因 最开始的时候,写多了LDPCC误码率的仿真,心中便越来越有了疑惑。误码率仿真,多为Monte Carlo仿真,其原理是什么,仿真结果是否可靠,可靠程度是多少,如何衡量其可靠性这些问题我都很不清楚。那大概是2015年3月16日的事情了。当初提出的关于LDPC的问题慢慢解决了,但这一类问题却一直没...
阅读全文
摘要:Exponential family(指数分布族)是一个经常出现的概念,但是对其定义并不是特别的清晰,今天好好看了看WIKI上的内容,有了一个大致的了解,先和大家分享下。本文基本是WIKI上部分内容的翻译。 1. 几个问题 什么是指数分布族? 既然是”族“,那么族内的共同特点是什么? 为何指数分布族
阅读全文
摘要:现在,我面对的书籍中,到处都充斥着矩阵或是向量,所以矩阵分析定是很重要的吧。抱着这个想法,我选修了“矩阵分析”这门课。然而我总是觉得老师、课本以一种怎么让我难受怎么讲的方式讲授矩阵。但待学完这门课程后,按自己的思路梳理一遍所学知识,又有了一种豁然开朗的感觉。本文将按照我个人的思路,阐明矩阵各个概念出
阅读全文
摘要:对于见得多了的东西,我往往就习以为常了,慢慢的就默认了它的存在,而不去思考内在的一些道理。总体最小二乘是一种推广最小二乘方法,本文的主要内容参考张贤达的《矩阵分析与应用》。1. 最小二乘法 最小二乘法,大家都很熟悉,用在解决一超定方程。最小“二”乘的“二”体现在准则上——令误差的平方和最小,等价于 ...
阅读全文
摘要:CSDN的博主poson在他的博文《机器学习的最优化问题》中指出“机器学习中的大多数问题可以归结为最优化问题”。我对机器学习的各种方法了解得不够全面,本文试图从凸优化的角度说起,简单介绍其基本理论和在机器学习算法中的应用。 1.动机和目的 人在面临选择的时候重视希望自己能够做出“最好”的选择,如果把
阅读全文