随笔分类 -  01. Math

摘要:《算法导论》中有一节讲的是“(比较)排序算法时间的下界”,本文将论述同一个问题,思路略有差异。本文将从信息熵的角度论述排序算法时间复杂度的下界。若本文论述过程中有错误或是不足,还请各位指正。1. 问题归约 排序,涉及到被排序的序列和排序的方法。(比较)排序算法时间的下界对被排序的序列和排序方法做了以... 阅读全文
posted @ 2015-12-22 18:57 暗海风 阅读(4297) 评论(0) 推荐(2) 编辑
摘要:1. 引言 之前介绍的MCMC算法都具有一般性和通用性(这里指Metropolis-Hasting 算法),但也存在一些特殊的依赖于仿真分布特征的MCMC方法。在介绍这一类算法(指Gibbs sampling)之前,本节将介绍一种特殊的MCMC算法。 我们重新考虑了仿真的理论基础,建立了Slice ... 阅读全文
posted @ 2015-05-26 20:03 暗海风 阅读(1521) 评论(1) 推荐(0) 编辑
摘要:1. 概述 本节将介绍两类问题的不同解决方案。其一是通过随机的搜索算法对某一函数的取值进行比较,求取最大/最小值的过程;其二则和积分类似,是使得某一函数被最优化,这一部分内容的代表算法是EM算法。(书中章节名称为Optimization)2. 随机搜索 对于优化,一本很有名的书是Stephen Bo... 阅读全文
posted @ 2015-05-15 14:05 暗海风 阅读(1177) 评论(0) 推荐(0) 编辑
摘要:1. 几个问题为什么需要随机数?伪随机数伪在哪里?为何要采用伪随机数代替随机数?这种代替是否有不利影响?如何产生(伪)随机数? 以下内容将围绕这几个问题依次说明。2. 参考http://en.wikipedia.org/wiki/Monte_Carlo_methodMonte Carlo Stati... 阅读全文
posted @ 2015-05-15 10:07 暗海风 阅读(1457) 评论(0) 推荐(0) 编辑
摘要:起因 最开始的时候,写多了LDPCC误码率的仿真,心中便越来越有了疑惑。误码率仿真,多为Monte Carlo仿真,其原理是什么,仿真结果是否可靠,可靠程度是多少,如何衡量其可靠性这些问题我都很不清楚。那大概是2015年3月16日的事情了。当初提出的关于LDPC的问题慢慢解决了,但这一类问题却一直没... 阅读全文
posted @ 2015-05-12 19:29 暗海风 阅读(708) 评论(0) 推荐(0) 编辑
摘要:Exponential family(指数分布族)是一个经常出现的概念,但是对其定义并不是特别的清晰,今天好好看了看WIKI上的内容,有了一个大致的了解,先和大家分享下。本文基本是WIKI上部分内容的翻译。 1. 几个问题 什么是指数分布族? 既然是”族“,那么族内的共同特点是什么? 为何指数分布族 阅读全文
posted @ 2015-04-03 16:02 暗海风 阅读(13457) 评论(0) 推荐(0) 编辑
摘要:现在,我面对的书籍中,到处都充斥着矩阵或是向量,所以矩阵分析定是很重要的吧。抱着这个想法,我选修了“矩阵分析”这门课。然而我总是觉得老师、课本以一种怎么让我难受怎么讲的方式讲授矩阵。但待学完这门课程后,按自己的思路梳理一遍所学知识,又有了一种豁然开朗的感觉。本文将按照我个人的思路,阐明矩阵各个概念出 阅读全文
posted @ 2014-12-21 20:40 暗海风 阅读(5298) 评论(25) 推荐(18) 编辑
摘要:对于见得多了的东西,我往往就习以为常了,慢慢的就默认了它的存在,而不去思考内在的一些道理。总体最小二乘是一种推广最小二乘方法,本文的主要内容参考张贤达的《矩阵分析与应用》。1. 最小二乘法 最小二乘法,大家都很熟悉,用在解决一超定方程。最小“二”乘的“二”体现在准则上——令误差的平方和最小,等价于 ... 阅读全文
posted @ 2014-11-15 21:15 暗海风 阅读(10817) 评论(3) 推荐(2) 编辑
摘要:CSDN的博主poson在他的博文《机器学习的最优化问题》中指出“机器学习中的大多数问题可以归结为最优化问题”。我对机器学习的各种方法了解得不够全面,本文试图从凸优化的角度说起,简单介绍其基本理论和在机器学习算法中的应用。 1.动机和目的 人在面临选择的时候重视希望自己能够做出“最好”的选择,如果把 阅读全文
posted @ 2014-08-16 20:23 暗海风 阅读(17639) 评论(0) 推荐(3) 编辑

点击右上角即可分享
微信分享提示