计算复杂性（第一章）

前言：学习笔记对应的书籍为 Sanjeev Arora and Boaz Barak 的 Computational Complexity: A Modern
Approach，可以在这里下载电子书的 pdf 文件。也可以加我的 qq 2589436581 讨论书籍和笔记的内容。

第一章 计算模型

1.1 一些约定

设 \(f\) 是从 01 字符串到 01 输出的函数，称其为 01 函数。这个函数可以用一个集合 \(L(f)=\{x:f(x)=1\}\) 来描述，并把这个集合叫做语言或者决策问题（decision problems）。

记号：\(\langle x,y\rangle\) 表示一个二元组。

举个例子：对于无向图的最大独立集问题，它对应的语言就是 \(\text{INDSET}=\{\langle G=(V,E),k\rangle: \exists S \subset V\ \text{s.t.} |S|\geq k \ \text{and} \ \forall x,y\in S (x,y)\notin E\}\)。

记号：\(\llcorner \cdot \lrcorner\) 表示 \(\cdot\) 的二进制表示。

对于一个算法，一般用 \(T(n)\) 表示再输入长度为 \(n\) 的前提下，算法运行完毕所需要的最大基本操作次数。

复杂度记号：\(f=O(g)\) 表示 \(f\) 不超过 \(g\) 的阶，\(f=\Omega(g)\) 反之，\(f=\Theta(g)\) 表示 \(f\) 与 \(g\) 同阶，\(f=o(g)\) 表示 \(f\) 的阶低于 \(g\)，\(f=w(g)\) 反之。

1.2 对计算和效率建立模型

先来一个不太严谨的说法：对于一个 \(f\) 的算法就是一系列规则。每条规则必须是固定的，但是对规则的使用次数没有限制。每条规则涉及以下一种或多种基本操作：

1. 从输入（input）读一个 bit。

2. 从写字板（scratch pad）或者一个工作空间（working space）读一个 bit。

3. 根据读入的结果，在写字板上写一个 bit。

4. 根据读入的结果，或是停止并输出答案 0/1，或是选择下一条需要使用的规则并继续。

注意：任何给定的字符集都可以和固定长度的 0/1 字符串构造双射，所以上文中的一个 bit 也可以是某个给定的字符集中的一个字符。

1.2.1 图灵机（Turing Machine，简称 TM）

\(k-\)纸带图灵机是上文不严谨的说法的一个具体实现。它有一个字符集 \(\Gamma\)。纸带全部都是单向的（这里没搞懂单向的意义，也可能是我理解错了，原文 A tape is an infinite one-directional line of
cells...），有无穷个单元，每个单元可以存放一个 \(\Gamma\) 中的字符。每个纸带还有一个带头，可以每次对单元写入或读入一个字符，也可以左右移动。

第一个纸带是输入纸带，不允许写入字符。其他 \(k-1\) 个纸带叫做工作纸带，可读可写。最后一个纸带还是输出纸带，输出最终答案。

图灵机有一个有限的状态集合 \(Q\)，以及一个可以用于存放一个状态的寄存器（register），表示当前所处状态。当前状态决定了下一步要进行的操作，操作分为以下几种：

1. 读入 \(k\) 个带头下面的字符。

2. 对于可写的 \(k-1\) 个纸带，同时在每个带头下面写入新的字符（如果你想保持不变的话，就写入与之前相同的字符）。

3. 改变寄存器里的状态。

4. 将每个带头向左或向右移动或者不动。

图灵机的严格定义：

一个 TM 可以用三元组 \(\langle \Gamma, Q, \delta\rangle\) 描述。

\(\Gamma\) 是一个字符集。一般假设其中至少有一个表示空的字符 \(\square\)，和一个表示开始的字符 \(\triangle\) 和数字 \(0,1\)。

\(Q\) 是一个状态集。一般假设其中至少包括一个 \(q_{start}\) 和一个 \(q_{halt}\)。

\(\delta\) 是一个函数，描述 \(Q\times \Gamma^k \to Q\times \Gamma^{k-1}\times \{L,S,R\}^k\) 的映射。这个链接 里说一般的图灵机是不允许 \(S\)（stay）的，只有 \(\{L,R\}\)，只有一些变体允许 \(S\)。这本书之前说必须左移或右移，这里又写了 \(S\)，只能说作者太不仔细了，当然这并不影响图灵机的本质。

TM 的初始配置（configuration）是这样的：所有带头在最左端，每个纸带最左端是 \(\triangle\)，读入纸带的后面是输入内容，再后面为空；其他纸带的后面为空。初始状态在 \(q_{start}\)。当状态到达 \(q_{halt}\) 时即停机。在复杂性理论中，我们只关心对于所有输入都在有限步内停机的算法。

接下来我们正式地定义算法的运行时间。如果对于任意输入 \(x\)，一个 \(f\) 的算法 \(M\) 能在 \(T(|x|)\) 步以内停机并正确输出 \(f(x)\)，则称 \(M\) 能以 \(T-\) 时间计算 \(f\)。

时间可构函数：对于 \(T:\mathbb{N}\to \mathbb{N}\)，若 \(T(n)\geq n\)，且存在图灵机 \(M\) 能以 \(T-\) 时间计算 \(x\to \llcorner T(|x|)\lrcorner\) 的函数，则称 \(T(n)\) 是时间可构的。

白话理解是：如果计算出 \(T(n)\) 的复杂度都不止 \(O(T(n))\)，那么这个复杂度就没有意义了。

1.2.2 图灵机定义的鲁棒性

注意到关于图灵机的许多定义是非常随意的。对工作纸带的数量 \(k\) 没有特别规定；对字符集 \(\Gamma\) 的大小没有规定，只要求必须含有 \(\{\square,\triangle,0,1\}\)，对纸带是否是双向无限长的都没有限制。这是因为可以证明能在 \(k-\) 纸带图灵机上以 \(T(n)\) 运行的算法一定可以以不超过 \(CkT^2(n)\) 的操作次数在 \(1-\) 纸带图灵机上运行；双向无限长的纸带上的 \(T(n)\) 可以转化为在单向无限长的纸带上的 \(T^2(n)\)，\(|\Gamma|\) 大小的字符集上的 \(T(n)\) 可以转化为 \(\{\square,\triangle,0,1\}\) 上的 \(C|\Gamma|T(n)\) 等等。这些证明都不难，所以就略去了。

Rmk. 纸带头的移动方式只和读入的长度有关，而与读入的内容无关的图灵机叫做健忘的图灵机（oblivious TM）。事实上，所有图灵机都可以被健忘的图灵机模拟。

1.2.3 图灵机的强大表达能力

图灵机可以模拟任意一个编程语言的任意一个程序；同时，大多数编程语言也可以模拟一台图灵机。

1.3 图灵机的字符串表示和通用图灵机

因为图灵机的字符集和状态集都是有限的，并且可以用转移函数来完整地描述这个图灵机，所以一定可以用一个 0/1 字符串来表示图灵机。同时，一个图灵机也可以被无限个 0/1 字符串表示（在末尾添加任意个无用的 1 即可，类似于程序的注释）。

下文中用 \(\llcorner M \lrcorner\) 表示图灵机 \(M\) 的字符串表示，\(M_\alpha\) 表示 \(\alpha\) 这个字符串所代表的图灵机。

1.3.1 通用图灵机

通用图灵机 \(N\) 可以以任意一个图灵机 \(M\) 作为输入来模拟这个图灵机。严谨来说，

Thm.（高效通用图灵机）存在图灵机 \(N\)，对于任意 \(x,\alpha\in\{0,1\}^{*}\)，有 \(N(x,\alpha)=M_{\alpha}(x)\)。或者说，如果 \(M_{\alpha}\) 对于一个 \(x\) 能在 \(T\) 步内停机，那么 \(N\) 将在至多 \(CT\log T\) 步内停机，其中 \(C\) 是一个只和 \(M_{\alpha}\) 的各个参数相关的常数。

这个证明是比较 trivial 的。不妨设 \(M_{\alpha}\) 只有一个工作纸带，那么只需要令 \(N\) 有一个功能和 \(M_{\alpha}\) 完全相同的工作纸带，以及一个写有所有转移函数的信息的工作纸带和一个表示 \(M_{\alpha}\) 当前所处的状态就可以了。

Rmk.（没看懂）考虑给 \(N\) 额外加入一个输入 \(t\)，并让 \(N\) 维护一个计数器，当且仅当 \(M_{\alpha}\) 在 \(t\) 步内停机时输出 \(M_{\alpha}(x)\)，否则输出一个表示失败的符号。然后上面的证明可以小改一下给出具有同样复杂度的通用图灵机。（原文 It is sometimes useful to consider a variant of the universal TM \(U\) that gets a number \(t\) as an
extra input (in addition to \(x\) and \(\alpha\)), and outputs \(M_{\alpha}(x)\) if and only if \(M_{\alpha}\) halts on \(x\) within \(t\)
steps (otherwise outputting some special failure symbol). By adding a counter to \(U\), the proof of
Theorem 1.13 can be easily modified to give such a universal TM with the same efficiency.）

1.4 不可计算的函数

Thm. 存在函数 \(UC:\{0,1\}^{*}\to \{0,1\}\) 不可被任何 TM 计算，即任何 TM 都无法对任意合法输入都在有限步内停机并得出正确结果。

Proof. 令 \(UC(\alpha)\) 表示以 \(M_{\alpha}(\alpha)\) 是否会在有限步内停机并输出 \(1\)，如果是，则 \(UC(\alpha)=0\)，否则 \(UC(\alpha)=1\)。假设有一个图灵机 \(N\) 可以计算这个函数 \(UC\)，注意到 \(\exists \beta:N=M_{\beta}\)，然而根据定义 \(N(\beta)=UC(\beta)\neq M_{\beta}(\beta)\) ，产生了矛盾，所以这个 \(UC\) 是一个确实存在但不可能被计算出来的函数。

Rmk 1. 这个证明方法叫做“对角线法”（diagnoalization）

Rmk 2. 这里逻辑是没有问题的，我最初的理解不够深刻。当我们确定图灵机的编码规则之后，生成了一系列图灵机 \(M_{\alpha},\alpha\in\{0,1\}^*\)，自然 \(UC\) 函数的所有点值都已经确定了。这些图灵机都有某种计算功能，我们称图灵机 \(M\) 能计算 \(f\) 当且仅当 \(\forall \alpha\in\{0,1\}^*:f(\alpha)=M(\alpha)\)，这个证明是在说：不存在能在所有输入上都和 \(UC\) 相等的图灵机。

当然这个函数太奇怪了，我们应该也不会想要去计算它。所以接下来我们将看到另一个有实际意义的不可计算函数：停机函数 \(\text{H}\)，它实际上是前面的 \(UC\) 函数的一个更一般化的函数。

1.4.1 停机问题

停机问题以 \(\alpha,x\) 两个参数作为输入，输出 \(M_{\alpha}(x)\) 是否会在有限步内结束，分别用 1/0 表示，下文不再重述。

Thm. \(\text{H}\) 不可被任何 \(TM\) 计算。

Proof. 假设存在图灵机 \(M\) 可以计算 \(\text{H}\)，记其为 \(M_{\text{H}}\)。那么对于之前提到的 \(UC\) 函数，我们可以如此构造一个可以计算 \(UC\) 函数的图灵机 \(N\)：对于一个输入 \(\alpha\)，如果 \(M_{H}(\alpha,\alpha)=0\)，那么输出 \(0\)，否则运行通用图灵机 \(K\)，计算 \(M_{\alpha}(\alpha)\)，输出 \(1-M_{\alpha}(\alpha)\)。这与之前得到的“\(UC\) 函数不可被计算”的结论矛盾。

Rmk. 这个证明方法叫“规约”（reduction），意思是如果一个能解决问题 \(A\) 的方法能被简单改造后解决问题 \(B\)，那么问题 \(A\) 至少是不弱于问题 \(B\) 的。

1.5 确定性时间和 \(\text{P}\) 类问题

使用某个给定资源可以计算的函数构成的集合叫做一个复杂度类。

Def.（DTIME 类）设 \(T:\mathbb{N}\to \mathbb{N}\) 是一个函数。可以用 \(c\times T(n)\) 的时间计算的 01 函数（\(c\) 是一个大于 \(0\) 的常数）构成的集合记作 \(\text{DTIME}(T(n))\)。

Def.（\(\text{P}\) 类）\(\text{P}=\displaystyle\bigcup_{c\geq 1}\text{DTIME}(n^c)\)

关于 \(\text{P}\) 类问题的定义有一些经典的质疑：

1. 要求最坏复杂度不超过多项式级别是否过于严苛？此外，有时求出近似解的复杂度会远远低于求出精确解的高复杂度，此时能否对 \(\text{P}\) 给出另外一种合理的定义？

2. 在不同计算模型上的 \(\text{P}\) 类问题集合是否相同？

Hypothesis.（Church-Turing 命题）所有物理上可以实现的计算模型都可以用图灵机来模拟。

Hypothesis.（加强版 Church-Turing 命题）所有物理上可以实现的计算模型都可以用图灵机来模拟，并且其每一步操作都可以转化为图灵机上的关于 \(n\) 的多项式步操作。

如果这个命题成立的话，所有计算模型上的 \(\text{P}\) 类问题集合全部相同。

但是：

（1）精度问题。图灵机涉及的东西都是离散的，而现实世界是连续的，所以图灵机真的什么都能模拟吗？

（2）随机数能否加快图灵机的速度？

（3）量子计算。现在确切地存在一些问题是量子计算意义下的 \(\text{P}\) 但不是图灵机意义下的 \(\text{P}\)，但是量子计算机到底能不能在物理上造出来并不清楚。

（4）其他算法 \(\dots\)

3. 有些计算问题并不能简单转化为判定问题（或者可能代价过高）。

章节总结：我们学了什么？

1. 计算模型很多，我们用图灵机作为代表，因为我们假定所有计算模型的能力是等价的；

2. 图灵机可以用 0/1 字符串表示，所以存在一个可以模拟任意图灵机的通用图灵机；

3. 存在一些不可能被图灵机计算出来的函数，如 \(\text{H}\) 函数；

4. 我们认为 \(\text{P}\) 类问题是可以高效解决的，因为图灵机的各类参数，如纸带数量，字符集大小等等不会改变 \(\text{P}\) 所包含的问题，所以这些参数都是无所谓的，我们证明一些命题的时候一般选取最符合我们要求的参数。

习题：

Exercise 8.

Question：证明 oblivious TM 的可行性，oblivious TM 的纸带头的位置只和输入的长度和经过的步数相关。具体来说，证明任意一个能在任意一个图灵机上以 \(T(n)\) 运行的算法必然能在 oblivious TM 上以 \(CT^2(n)\) 运行。

Answer：这个看起来挺怪的，其实不难。不妨假设工作纸带只有 \(1\) 条，并且是单向的，设原来的图灵机是 \(M\)，新造的 oblivious TM 是 \(M'\)，我们考虑在状态里额外维护一个 \(t\)，表示当前状态下，如果是在 \(M\) 中，下一个要读取的位置在哪里。在 \(M\) 中的每次移动一格纸带头的操作，在 \(M'\) 中都改成扫描纸带向右 \(T(n)\) 格的所有格子，通过 \(t\) 来判断哪一位的信息是真正要读取进来的。因为原本的复杂度是 \(T(n)\)，所以新的复杂度不超过 \(CT^2(n)\)。

Exercise 9.

Question：证明 Exercise 8 的加强版：把 \(CT^2(n)\) 改进到 \(CT(n)\log(n)\)。

书中给出了一个建造复杂度不超过 \(O(T(n)\log T(n))\) 的通用图灵机的方法：

先假设原来的图灵机 \(M\) 只有 \(1\) 条纸带（否则可以通过扩充字符集来代替多条纸带），然后我们建造的通用图灵机 \(N\) 也只有 \(1\) 条纸带，字符集中有一个特殊符号 \(t\) 表示空白。这条纸带不妨设它是双向的，在正半轴上维护若干区间 \(R_i=[2^i,2^{i+1}-1]\)，在负半轴上 \(L_i=[-2^{i+1}+{1},-2^i]\)，和一个原点 \(0\)。这里 \(i\) 不超过 \(\log T+O(1)\)。我们还是把原来纸带上要写的东西按顺序写在这些区间里，只是未必连着写：时刻保证 \(0\) 这个位置有我们正在读入的字符，其他每个区间要么全满，要么全空白，要么恰好一半是有意义的字符，一半是空白。并且，\(L_i,R_i\) 这两个区间的字符加起来正好是 \(2^i\) 个有意义的字符。初始状态下可以使所有区间都半满，多出来的用任意非空白的字符填上就行。

如此一来我们要进行纸带头向右移动 \(1\) 个单位的操作的时候，本质上就是让纸带上的有效字符都向左移动 \(1\) 个单位。现在跑得慢的原因是原本纸带头的移动一次的时候，现在都要把所有字符移动一位，复杂度直接乘上 \(T(n)\)。可以这样做：先找到最小的 \(i\) 满足 \(R_i\) 不是全空。然后将 \(R_i\) 最靠左的 \(1\) 个字符移动到 \(0\)，接下来靠左的 \(2^{i-1}-1(i\geq 1)\) 个字符放到 \(R_0,R_1,\cdots R_{i-1}\) 里面使得每个半满。把 \(L_i\)（如果非空的话）的 \(2^{i-1}\) 个有意义字符都移到最靠左的 \([-2^{i+1}+1,-2^i-2^{i-1}]\)，再把 \(0,L_0,L_1,\cdots L_{i-1}\)（这些之前全满）里的靠左的 \(2^{i-1}\) 个字符左移到 \(L_i\) 中靠右的部分 \([-2^i-2^{i-1}+1,-2^i]\)，最后把 \(0,L_0,L_1,\cdots L_{i-1}\) 中剩余的字符往 \(L_0,L_1,\cdots L_{i-1}\) 按照原来的顺序各填一半就可以了。注意我们的操作维持了我们需要维护的性质。并且，搞完一次 \(R_i\) 后，虽然我们大概用了 \(2^i\) 步操作，但是此时 \(L_i,L_{i-1}\cdots L_0,R_0,R_1,\cdots R_{i}\) 都已经是半满状态了，再想要操作到 \(R_i\)，至少要再经过大约 \(2^i\) 步才可以。也就是说总共的步数大概是 \(O(\displaystyle\sum_{i=0}^{\log T}2^i\times \frac{T}{2^i}=T\log T)\)。

但是书里给的这个方法细节上有问题：\(L_0,R_0\) 长度都是 \(1\)，没法拿出一半。这个细节需要修正，也肯定可以修正，但是真的太烦了，我觉得只要知道核心思路是倍增就好了。这种图灵机的证明细节和实现细节都是重量级，真要写个 C++ 程序模拟这种转化 + 抽象了很多次的通用图灵机能把这世界上最能写的代码手整自闭。所以啊，图灵机这东西还是停留在理论上就够了，用已经封装好的现代计算机写高级语言它不香吗？？？

不过其实还没结束呢。这我们只是造出了一个 \(T\log T\) 的通用图灵机，怎么转化成一个能执行某个算法的 oblivious TM 呢？

破防了，大家看看这个 lecture notes 吧，反正我摆烂了

Exercise 15.

设 partial function \(f\) 是定义在 \(\{0,1\}^*\) 的一个子集 \(S\) 上的值域为 \(\{0,1\}^*\) 的函数，称图灵机 \(M\) 能计算 \(f\)，当且仅当 \(f(x)\) 有定义时 \(f(x)=M(x)\)，\(f(x)\) 无定义时 \(M(x)\) 永不停机对所有 \(x\in\{0,1\}^*\) 成立。定义 \(S\) 是一些这样的 \(f\) 构成的集合，定义 \(f_S(\alpha)=1\) 当且仅当 \(M_{\alpha}\) 能计算 \(S\) 中的某一个函数，否则 \(f_S(\alpha)=0\)。

Thm.（Rice's Theorem）当 \(S\) 不平凡，即 \(S\) 不为空集或全集时，\(f_S\) 不可计算。

Question：

（1）用 Rice's Theorem 证明停机函数 \(\text{H}\) 不可计算。

如果 \(\text{H}\) 可以计算，那么对于给定的一个 \(S\) 中的每个元素（函数）\(g\)（注意到 \(S\) 是可数集），设计这样一个图灵机 \(N_g\)：给定一个输入 \(\alpha\)，依次跑遍所有 \(\{0,1\}^*\) 中的字符串 \(t\)，比较 \(M_{\alpha}(t)\) 是否和 \(g(t)\) 相符。即，如果 \(g(t)\) 没有定义，用停机函数 \(\text{H}\) 计算 \(M_{\alpha}(t)\) 是否会停机；如果 \(g(t)\) 有定义，先检查 \(M_{\alpha}(t)\) 是否会停机，如果不会停机的话，再计算 \(M(t)\)。中间任何一步如果发现 \(M_{\alpha}(t)\) 的行为与 \(g(t)\) 不相符，立刻停机。这一过程保证了如果 \(M_{\alpha}(t)\) 和 \(g(t)\) 永远相符，则 \(N_g\) 在输入 \(\alpha\) 上不会停机；否则一定停机。再基于此设计一个图灵机 \(K\)，\(K\) 得到一个输入 \(\alpha\)，依次跑遍所有 \(S\) 中的元素 \(g\)，用停机函数 \(\text{H}\) 计算 \(N_g(\alpha)\) 是否会停机。如果在某个 \(N_g\) 上不停机，则停机并输出 \(1\)。根据定义这个 \(K\) 可以计算 \(f_S\)，与 Rice's Theorem 产生矛盾，故 \(\text{H}\) 不可计算。

（2）证明 Rice's Theorem。

反证法。假设 Rices's Theorem 是错误的，即存在一族函数 \(S\)，满足 \(f_S\) 可以被计算。不妨设 \(S\) 中不存在 \(\emptyset\) 函数，\(\emptyset\) 函数的定义域是空集。若不然，可以将 \(S\) 变成 \(S\) 对全体函数的补集，在这两个集合上做判定显然是等价的。并且因为 \(S\) 非空非满，所以还存在一个函数 \(f\notin S\)。接下来我们这样构造一个计算 \(\text{H}\) 函数的图灵机 \(K\)：输入参数 \(\alpha,x\)，再构造一个图灵机 \(N\)，\(N\) 输入一个参数 \(y\)，执行的操作是先模拟一遍 \(M_{\alpha}(x)\)，再根据 \(f(y)\) 是否存在选择输出 \(f(y)\) 或死循环。\(K\) 执行的操作是求出 \(f_S(N)\)。由于 \(M_{\alpha}(x)\) 是一个确定的图灵机 + 输入，我们来考虑 \(N\) 的实际功能只可能有两种：要么 \(M_{\alpha}(x)\) 停机，那么 \(N\) 能计算 \(f\)，此时 \(f_S(N)=0\)；要么 \(M_{\alpha}(x)\) 不停机，那么 \(N\) 就是一个对任何输入都不停机的图灵机，能计算 \(\emptyset\)，此时 \(f_S(N)=1\)。所以根据 \(f_{S}(N)\) 我们能够判定 \(M_{\alpha}(x)\) 是否会停机，这与之前得出的停机函数不可计算的结论产生了矛盾，假设不成立。