摘要：
本文主要介绍概念与结论，证明的细节与技巧不是本文所关心的 有穷自动机(DFA) 例1. 这是一个有三个状态的有穷自动机M1(双圆圈代表接受状态)，当它接收到输入串，比如，1101，它会依次读入字符并按照转移函数改变状态，最终如果自动机处于接受状态，则输出为接受，否则输出拒绝。对于这个例子以及输入11 阅读全文
摘要：
Introduction 一个数集A中的一个元素a称为$(i,j)$元素，如果a即不在最大的i个元素中，也不在最小的j个元素中。Mediocre Player问题就是在输入数集中找到一个$(i,j)$元素。F.Yao给出了一个非常简单的方法，在A中任意选择出i+j+1个元素，然后在这些元素中应用一个 阅读全文
摘要：
Introduction 无论是中位数查找问题，k分位数查找问题，或是排序问题，它们都是偏序产生问题的特例。这里不在赘述偏序的定义，我们让$P=( 阅读全文
摘要：
整数规划问题往往难以求解，但在一类特殊的情形下，整数规划问题可以完全归结为线性规划问题，这就是当线性规划可行域的所有顶点都是整点的时候，此时线性松弛的解就是整数规划的解。而全单模矩阵给出了关于此条件的判定方法。 定义 设矩阵A是$m n$整数矩阵，若A的任意子方阵的行列式等于0,1, 1,则称A为全 阅读全文
摘要：
拉格朗日反演 拉格朗日反演用于从隐式生成函数中提取系数 拉格朗日反演定理 如果生成函数$A(z)$满足函数方程$z=f(A(z))$,其中$f(z)$满足$f(0)=0$,且$f’(0) \neq 0$，则$$a_n = "z^n]A(z) = \frac{1}{n}[u^{n 1}" })^n$$ 阅读全文
摘要：
最小二乘方 在最小二乘方问题中，目标函数有如下的形式$$f(x)=\frac{1}{2} \sum_{j=1}^{m}r^2_j(x)$$针对这种特殊的形式，可以采取专门的方法来加速优化。计算其梯度以及Hessian得到$$\nabla f(x) = \sum_{j=1}^m r_j(x)\nabl 阅读全文
摘要：
拟牛顿法 牛顿法具有不错的收敛性，但是每一次迭代需要计算此处的Hessian，这个计算代价是十分昂贵的，拟牛顿法就是用估计替代Hessian矩阵，使计算量大量减少。 DFP 假设现在已经来到了迭代点$x_{k+1}$,这个点建立一个二次模型$$m_{k+1}(p) = f_{k+1} + \nabl 阅读全文
摘要：
线搜索方法 线搜索方法的基本过程都是在每一次迭代中先计算出一个优化方向$p_k$,再在这个方向上对目标函数做一维优化，即选取合适的$\alpha_k$,使$x_{k+1}=x_k+\alpha p_k$达到优化目的。一般来说，选取$p_k= B_k^{ 1}\nabla f_k$，其中$B_k$是一 阅读全文
摘要：
计算导数 计算导数的方法有：符号导数，有限差分，自动微分等。本文只介绍有限差分和自动微分 有限差分 有限差分就是用有限步长下函数变化率来近似代替导数。 one side difference $$\frac{\partial f}{\partial x_i}(x) \approx \frac{f(x 阅读全文
摘要：
共轭梯度方法 线性共轭梯度方法 线性共轭梯度方法可以用来解线性方程$$Ax=b$$其中A是正定的对称阵。这个问题等价于求解$$\Phi(x)=\frac{1}{2} x^TAx b^Tx$$的无约束优化问题。向量$\{p_0,p_1,\cdots,p_i\}$称作关于正定矩阵A相互共轭，当$$p_i 阅读全文