摘要：高维空间中的高斯分布和随机投影（一）在高维球体表面产生均匀分布点的方法 我们来考虑一个采样问题，就是怎样在高维单位球体的表面上均匀的采样。首先，考虑二维的情况，就是在球形的周长上采样。我们考虑如下方法：第一，先在一个包含该圆形的外接正方形内均匀的采样；第二，将采样到的点投影到圆形上。具体地说就是，第一，先独立均匀的从区间$[-1,1]$（我们假设圆形跟正方形的中心点都在原点）内产生两个值组成一个二维的点$(x_1,x_2)$；第二，将该二维点投影到圆形上。例如，如下图所示，如果我们产生点是图中的A,B两点，那么投影到圆形上就是C点，如果产生的是点D，那么投影到圆形上就是E点。但是，用这样的方法 阅读全文

摘要：高维空间中的正方体和Chernoff Bounds 本文将介绍高维空间中正方体的一些性质，以及一个非常常见也是非常有用的概率不等式——Chernoff Bounds。 考虑$d$维单位正方体$C=\{x|0\leq x_i\leq 1,i=1,\cdots,d\}$，其中心点为$(\frac{1}{2},\cdots,\frac{1}{2})$，体积为1。现在我们将其半径收缩到$1-\frac{c}{d}$，其体积为$(1-\frac{c}{d})^d\leq e^{-c}$，所以当$d$很大时，高维正方体的体积总是分布在其边缘地带。 定义超平面$H=\{x|\sum_{i=1}^dx_i=\ 阅读全文

摘要：高维空间中的球体 注：此系列随笔是我在阅读图灵奖获得者John Hopcroft的最新书籍所作的笔记。其中我只详细读了第二（高维空间）、三（随机图）、六（VC理论）章，其他的某些章节也略微看了一下，但没有作笔记。此书的章节大部分是相互独立的，事实上每一个章节都是一个大的方向，代表了作者认为的在信息时代中最有用的计算机理论。（一）介绍 第一部分，高维空间。在现实的世界里，很多数据的维度都是及其高的，而当维度增高时，很多在低维中的性质在高维中似乎不太一样了。比如当维度趋近无穷时，单位超球的体积趋于0，而其面积大都集中在超球的赤道附近（equator）。 首先，来看一下在现实中有那些数据是高维的。第 阅读全文

摘要：Kernel典型相关分析（一）KCCA 同样，我们可以引入Kernel函数，通过非线性的坐标变换达到之前CCA所寻求的目标。首先，假设映射$\Phi_X: x\rightarrow \Phi_X(x), \Phi_Y: y\rightarrow \Phi_Y(y)$，记$\mathbf{\Phi_X}=(\Phi_X(x_1),\Phi_X(x_2),\cdots,\Phi_X(x_p))^\prime, \mathbf{\Phi_Y}=(\Phi_Y(y_1),\Phi_Y(y_2),\cdots,\Phi_Y(y_q))^\prime$。我们要寻找典型变量$u,v$使相关系数最大，其中$u 阅读全文

摘要：昨天在微博上看到王道论坛说晚上有机试练习赛（http://ac.jobdu.com/contest.php?cid=1053），想来反正也没什么事，何不参加一下。于是晚上吃完饭回到实验室，等着七点开始做题。练习赛结束了，虽然自己全部AC，但感觉时间花的有点长，主要卡在第三道求公约数个数上。看来自己的数论真的弱爆了。现将自己对这四道解题的看法归纳一下，总的来说题目不算很难，前两道超级水，第三道考素数筛选以及因式分解，第四道动态规划。一、调整方阵对应题目1470：http://ac.jobdu.com/problem.php?pid=1470题目描述：输入一个N（N 2 3 int data[.. 阅读全文

摘要：典型相关分析（一）引入 典型相关分析（Canonical Correlation Analysis）是研究两组变量之间相关关系的一种多元统计方法。他能够揭示出两组变量之间的内在联系。 我们知道，在一元统计分析中，用相关系数来衡量两个随机变量的线性相关关系，用复相关系数研究一个随机变量与多个随机变量的线性相关关系。然而，这些方法均无法用于研究两组变量之间的相关关系，于是提出了CCA。其基本思想和主成分分析非常相似。首先，在每组变量中寻找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数；然后选取和已经挑选出的这对线性组合不相关的另一对线性组合，并使其相关系数最大，如此下去，直到两组变量的 阅读全文