Lecture 1 Time Complexity

§1–2：讲义 PDF p1–33（页脚 1–32）；教材 §1.1–1.5（书 p5–20，PDF p18–33） §3：讲义 PDF p34–48（页脚 33–47）；教材 §1.5 末（s-m-n、递归定理，书 p19–20）、§1.6（书 p21–24，PDF p32–37） §4–5：讲义 PDF p49–67（页脚 48–66）；教材 §1.7–1.8（书 p24–28，PDF p37–41） §6–7：讲义 PDF p68–82（页脚 67–81）；教材 §1.12–1.13（书 p37–41，PDF p50–54）

计算复杂性理论按”解决问题需要多少资源”给问题分类。本讲只看一种资源：时间。要谈时间，得先回答三个前置问题：用什么机器算？一步是什么？时间怎么和输入大小挂钩？回答完这些，才能定义复杂性类，并比较”多给一些时间，能不能多解决一些问题”。

本讲的整体逻辑如下：

部分	要回答的问题	核心结论
1. Turing Machine	用什么模型、怎么计步？	多带图灵机；时间 = 步数，按输入长度 $n$ 计
2. Universal TM	一台机器能否执行任意程序？代价多大？	通用机只慢 $O(\log T)$ 倍；由此得到对角线方法
3. Speedup Theorem	每个问题都有”最快算法”吗？	否。因此只能给算法定复杂度，复杂性类要允许常数倍
4. Time Complexity Class	怎样定义与模型无关的类？	$\mathbf{P}$、$\mathbf{EXP}$
5. Verification Problem	能”猜”会怎样？	非确定图灵机，$\mathbf{NP}$、$\mathbf{NEXP}$
6. Time Hierarchy	时间多了，能解的问题一定变多吗？	对可构造的时间函数：是（用对角线证明）
7. Gap Theorem	若时间函数不可构造呢？	可能出现”多给指数倍时间也没用”的空隙

第 2 部分的通用图灵机是贯穿全讲的工具：时间谱系定理中的 $\log$ 因子就来自它的模拟开销，对角线方法也依赖它。

1. Turing Machine

要比较”快”与”慢”，先要精确规定”一步”是什么。图灵机把人用纸笔计算的过程抽象出来：有限的规则表（控制器）、无限的草稿纸（带子）、一次只看一个格子（读写头）。它足够简单，便于严格分析；后面也会看到，换成其他合理模型，结论只差多项式倍。

1.1 k-带图灵机

一台 $k$-带图灵机有 $k$ 条带子，每条带子分成无穷多格，格子地址为 $0,1,2,\dots$，每格放一个符号，每条带有一个读写头：

• 第 1 条是输入带，只读，存放输入；
• 其余 $k-1$ 条是工作带，可读可写，用作草稿；最后一条（第 $k$ 条）兼作输出带。

定义： $k$-带图灵机

一台 $k$-带图灵机是三元组 $M=(\Gamma ,Q,\delta )$：

1. $\Gamma$：有限符号集（字母表），至少含 $0,1,\square ,▹$。$\square$ 是空白符号，表示”这里没有有用信息”；$▹$ 是左端标记，固定放在每条带的第 $0$ 格。
2. $Q$：有限状态集，含起始状态 $q_{\mathrm{start}}$ 和停机状态 $q_{\mathrm{halt}}$。
3. $\delta$：迁移函数（transition function） $\delta :Q\times {\Gamma }^k⟶Q\times {\Gamma }^{k-1}\times \{\mathrm{L},\mathrm{S},\mathrm{R}{\}}^k.$ 输入为当前状态和 $k$ 个读写头读到的符号；输出为新状态、写到 $k-1$ 条工作带上的符号，以及 $k$ 个读写头的动作（左移 $\mathrm{L}$、不动 $\mathrm{S}$、右移 $\mathrm{R}$）。

读 $k$ 个符号、只写 $k-1$ 个，是因为输入带只读。一条指令

$$(q,a_1,\dots ,a_k)\to (q^{\prime },a_2^{\prime },\dots ,a_k^{\prime },A_1,\dots ,A_k)$$

的含义是：当机器处于状态 $q$、各读写头下的符号为 $a_1,\dots ,a_k$ 时，把工作带上的 $a_2,\dots ,a_k$ 改写为 $a_2^{\prime },\dots ,a_k^{\prime }$，各读写头按 $A_i$ 移动，进入状态 $q^{\prime }$。执行一条指令就是一步计算。指令只有有限条，机器的全部”智慧”都在这张有限的表里；带子提供的是无限的存储。

运行前带子要初始化：每条带第 $0$ 格放 $▹$（机器不改写它，也不在别处写它）；工作带全为 $\square$；输入带除输入串外全为 $\square$。计算从 $q_{\mathrm{start}}$ 开始，进入 $q_{\mathrm{halt}}$ 后不再变化。

1.2 格局与计算

状态只记录”程序执行到哪一行”，不足以描述机器此刻的全部情况：同一状态下，带上内容和读写头位置可以完全不同。要能”暂停后原样继续”，需要记下所有会影响后续计算的信息，这就是格局。

定义：格局（configuration）

运行中的图灵机 $M$ 在某时刻的格局由三部分组成：

• 当前状态 $q$；
• 各工作带上的内容（非 $\square$ 部分）；
• $k$ 个读写头的位置。

初始格局唯一：状态为 $q_{\mathrm{start}}$，工作带为空，读写头都在第 $0$ 格。状态为 $q_{\mathrm{halt}}$ 的格局称为终止格局。

输入带的内容固定不变，所以不必写进格局。确定型机器在每个格局下只有一条指令可用，所以一步计算是格局之间的一次迁移 ${\sigma }_t\to {\sigma }_{t+1}$，而 $M$ 在输入 $x$ 上的计算是一串格局

$${\sigma }_0\to {\sigma }_1\to \cdots \to {\sigma }_t\to \cdots$$

用 $M(x)$ 表示”输入带预置 $x$ 后运行 $M$“。若计算终止，记 $M(x)\downarrow$，终止前走过的步数就是计算时间；若永不终止，记 $M(x)\uparrow$。

格局是之后反复使用的对象：空间复杂性中的”格局图”、Cook-Levin 定理中”把计算写成公式”，都是把一串格局整体拿来分析。

1.3 问题、判定问题与语言

有了机器，还要说清它在”解决什么”。任何有限对象（图、整数、公式、程序）都能编码成 0-1 串，所以问题可以统一看成串到串的函数。$\{0,1{\}}^{\ast }$ 表示全体有限 0-1 串。

定义：问题、判定问题、语言

• 问题：函数 $f:\{0,1{\}}^{\ast }\to \{0,1{\}}^{\ast }$。记 $M(x)=y$ 表示 $M(x)\downarrow$ 且停机时输出带上是 $y$。若对所有 $x$ 有 $M(x)=f(x)$，称 $M$ 计算（解决）$f$。
• 判定问题：值域为 $\{0,1\}$ 的问题 $d:\{0,1{\}}^{\ast }\to \{0,1\}$，即只回答”是/否”。$M$ 计算 $d$ 时称 $M$ 判定 $d$。
• 语言：子集 $L\subseteq \{0,1{\}}^{\ast }$。其特征函数为 $L(x)=\{\begin{array}{ll}1,& x\in L,\\ 0,& x\notin L.\end{array}$ 若 $M$ 判定 $L(x)$，称 $M$ 接受 $L$，$L$ 是可判定的。
• 补问题：$\overline{A}=\{0,1{\}}^{\ast }\setminus A$。

判定问题与语言是同一件事的两种说法：语言就是全体”是”实例组成的集合。以后常把二者混用，例如"$\mathrm{SAT}$"既指”判断公式是否可满足”这个问题，也指全体可满足公式的集合。复杂性理论主要研究判定问题，因为它们形式最简单，而难度通常和对应的计算问题相当。

例：判定回文的双带图灵机

回文是正读反读相同的串，如 $0110$。双带图灵机分三个阶段： 上图为输入 $0101111010$ 在比较阶段（状态 $q_t$）的某一时刻：工作带末尾的 $0$ 已比较完并擦去。

1. 复制：两个读写头同步右移，把输入逐位抄到工作带；
2. 回位：输入带读写头退回最左端，工作带读写头停在最右端；
3. 比较：两个读写头相向移动，逐位比较。全部相同就输出 $1$，否则输出 $0$。

每个阶段 $O(n)$ 步，共 $O(n)$ 步。若只允许一条读写带，读写头就要在串的两端来回奔波，需要 $\Theta (n^2)$ 步。可见”线性时间能做什么”依赖于模型，这是 §1.6 要讨论的问题。

练习：设计图灵机计算下列函数（数用二进制表示，非整数结果向上取整）

1. $s(x)=x+1$（据此可实现计数器）。
2. $u(x)=1^x$，即 $x$ 个 $1$（常在输入后附上 $1^x$，用来限制机器最多运行 $x$ 步）。
3. $e(x)=2^x$。
4. $l(x)=\log x$。

答案要点

1. 从最低位起，把末尾连续的 $1$ 改成 $0$，再把遇到的第一个 $0$ 改成 $1$。单次最坏 $O(|x|)$ 步；但从 $0$ 开始连加 $n$ 次，第 $i$ 位只翻转约 $n/2^i$ 次，总共不超过 $2n$ 次翻转，所以是线性时间（摊还分析）。
2. 把 $x$ 当倒计数器，每减一就写一个 $1$。共写 $x$ 个 $1$，用时 $O(x)$，相对输入长度 $|x|\approx \log x$ 是指数级，但输出本身就这么长，无法更快。
3. 输出 $1$ 后跟 $x$ 个 $0$，即串 $10^x$。
4. 设 $|x|=m$，则 $2^{m-1}\le x<2^m$。若 $x$ 恰为 $2^{m-1}$（形如 $10\cdots 0$），则 $\lceil \log x\rceil =m-1$，否则为 $m$。所以只需数出输入长度并检查是否形如 $10\cdots 0$。

最后一个基本事实：串到串的函数有不可数多个，图灵机却只有可数多个（§2.1 会给每台机器一个有限编码），所以绝大多数函数不可计算。§2.6 会给出具体的不可计算函数。

1.4 时间函数

衡量快慢时，要把步数表示成输入长度的函数，而不是输入数值的函数。

定义：时间函数

时间函数是 $T:\mathbb{N}\to \mathbb{N}$，自变量为输入长度 $n=|x|$。若 $M$ 计算 $f$，且对每个输入 $x$，$M(x)$ 至多走 $T(|x|)$ 步就停机，称 $M$ 在 $T(n)$ 时间内计算 $f$。

$|x|$ 是串的长度，不是数值。例如 $2^{1024}-1$ 的二进制是 $1024$ 个 $1$，数值是天文数字，长度却只有 $1024$。所以输入整数 $N$ 时，”$O(N)$ 步”的算法相对长度 $n\approx \log N$ 是指数时间。练习中的 $u(x)=1^x$ 就是这种情况。

通常约定 $T(n)\ge n$：机器至少要把输入读一遍。

1.5 时间可构造函数与时钟

很多构造需要机器”自觉”地在预算 $T(n)$ 步内停下，例如时间谱系定理中，一台机器要模拟别的机器恰好 $T(n)$ 步然后收手。这要求 $T(n)$ 本身能被高效算出来。否则机器连自己的预算是多少都算不出来，第 7 部分的间隙定理会展示这类怪异的时间函数。可构造性就是用来排除它们的。

定义：时间可构造函数

设 $T:\mathbb{N}\to \mathbb{N}$，$T(n)\ge n$。

1. 若存在图灵机在 $O(T(n))$ 时间内计算 $1^n\mapsto └T(n)┘$，称 $T$ 时间可构造（time constructible）。这里 $└m┘$ 表示 $m$ 的二进制表示。
2. 若存在图灵机在输入 $1^n$ 上恰好运行 $T(n)$ 步后停机，称 $T$ 完全时间可构造（fully time constructible）。

输入写成 $1^n$（$n$ 个 $1$），是因为只关心长度，不关心内容。定义 1 说”算出预算不超支”，定义 2 说”能精确地数出 $T(n)$ 步”。两者不等价，但大多数场合都可用。常用函数 $n^c(\log n{)}^d$、$2^{n^c}$、$2^{(\log n{)}^c}$、$n!$（$c\ge 1,d\ge 0$）都是完全时间可构造的；本课程只关心可构造的时间函数。

可构造性的直接用途是给机器装时钟。设 $M=(Q_0,{\Gamma }_0,{\to }_0)$ 是 $k_0$-带机器，运行时间可能很不规则；$T=(Q_1,{\Gamma }_1,{\to }_1)$ 是 $k_1$-带机器，在 $T(n)$ 步内停机。把两者并联成一台 $(k_0+k_1)$-带机器：

• 状态 $Q=Q_0\times Q_1$，且只要任一分量是停机状态，整体就停机：$(q,q_{\mathrm{halt}}^1)=(q_{\mathrm{halt}}^0,q)=q_{\mathrm{halt}}$；
• 符号 $\Gamma ={\Gamma }_0\times {\Gamma }_1$；
• 迁移 $\to ={\to }_0\times {\to }_1$，即两台机器同步各走一步。

复制输入后，两台机器并行运行，谁先停整体就停，所以运行时间是二者的较小者。$T$ 起到闹钟的作用，强迫 $M$ 在 $T(n)$ 步内结束。这称为把 $T$ 硬连接（hard-wire）到 $M$。以后说”让 $M$ 运行 $T(n)$ 步”，指的就是这种做法，前提是 $T$ 可构造。

1.6 模型无关性与健忘图灵机

回文的例子说明，带数不同，“线性时间”能做的事就不同。若理论结论依赖于这类细节，就缺乏普遍意义。好在图灵机的各种变体（单带、多带、双向无限带、更大字母表……）之间都能以多项式开销互相模拟（§2.5 给出多带到双带、单带的模拟）。所以只要研究对象对多项式倍不敏感，例如”多项式时间可解”，结论就与模型无关。这是第 4 部分把 $\mathbf{P}$ 定义为 ${\bigcup }_c\mathbf{TIME}(n^c)$ 的原因。

还有一种变体在后面很有用：

定义：健忘图灵机（oblivious TM）

若图灵机在第 $i$ 步时各读写头的位置只依赖于输入长度 $|x|$ 和 $i$，与输入内容无关，称其为健忘的。

直观上，健忘机器的读写头按一张固定的时刻表移动，只有写下的内容随输入变化。时刻表事先已知，计算的”连线方式”就固定了。Cook-Levin 定理把计算翻译成公式、电路复杂性把计算翻译成电路时，都会用到这一点。任何机器都能改造成健忘的，代价只是多一个 $\log$ 因子（§2.5）。

1.7 Church-Turing 论题

为什么相信图灵机刻画了”计算”？证据有两类：一是从未找到直觉上可计算、但图灵机不可计算的例子；二是 λ-演算、递归函数、寄存器机等独立提出的模型，能计算的函数都恰好与图灵机相同。

Church-Turing 论题

任何物理上可实现的计算设备都能被图灵机模拟。

它不是数学定理，因为”直觉上可计算""物理可实现”不是形式概念；它更像一条关于自然的定律（Law of Nature），而不是人推导出来的结论。实际使用时，它允许我们用伪代码描述算法，而不必写出图灵机的指令表：只要过程直觉上可以机械执行，就默认存在实现它的图灵机。第 4 部分会把它加强为”多项式开销下的模拟”，即强 Church-Turing 论题。

2. Universal Turing Machine

到目前为止，每台图灵机都是专用的，一台机器只解一个问题。现实中的计算机却是通用的：同一台硬件读入不同程序，就做不同的事。对应的理论问题有两个：能否造一台图灵机，读入”另一台图灵机的描述”和输入，模拟它的运行？模拟要慢多少？

答案”能，而且只慢 $\log$ 倍”有两重意义：它在理论上对应现代计算机”程序即数据”的思想；它也是本课程大多数否定性结论（不可判定性、时间谱系、Ladner 定理……）的技术基础，因为对角线方法要求一台机器能运行并”反驳”其他所有机器。

2.1 把图灵机编码成串

要让机器读入另一台机器，先要把机器写成 0-1 串。图灵机是有限对象：有限个状态、有限个符号、有限条指令。给状态和符号编号后，一条指令如 $(p,a,b,c)\to (q,d,e,\mathrm{R},\mathrm{S},\mathrm{L})$ 可写成

$$001†1010†1100†0000††011†1111†0000†01†00†10,$$

整张指令表写成 $‡\_‡\_\cdots \_‡$（每个 $\_$ 是一条指令），再按 $0\mapsto 01,1\mapsto 10,†\mapsto 00,‡\mapsto 11$ 转成二进制。

记 $└M┘$ 为 $M$ 的二进制编码，$M_{\alpha }$ 为编码为 $\alpha$ 的机器。编码系统再做两条约定：

1. 每个串都是某台机器的编码。 不合语法的串一律视为某台固定的平凡机器。这样”把任意串 $\alpha$ 当成程序 $M_{\alpha }$ 来运行”总是有意义的，对角线构造不必额外处理”不是程序”的情况。
2. 每台机器有无穷多个编码。 例如 $\sigma$ 是 $M$ 的编码，则 $0^i\sigma 0^j$ 也是（或添加无用的冗余状态和指令）。这一点在时间谱系定理中至关重要：那里需要找到某台机器的一个足够长的编码，使”渐近成立”的不等式在这个编码的长度上已经成立。

2.2 有效枚举

固定一个从 $\{0,1{\}}^{\ast }$ 到 $\mathbb{N}$ 的可计算双射，就把所有图灵机排成一列：

定义：有效枚举与下标

$M_0,M_1,M_2,\dots ,M_i,\dots$ 称 $i$ 为 $M_i$ 的下标（index，或哥德尔编码）。$M_i$ 计算的函数记为 ${\varphi }_i$： ${\varphi }_i(x)=\{\begin{array}{ll}y,& M_i(x)=y,\\ \uparrow ,& M_i(x)\uparrow .\end{array}$

${\varphi }_i$ 一般是偏函数，即在某些输入上没有定义（机器不停机）。由于每台机器有无穷多个编码，每个可计算函数在 ${\varphi }_0,{\varphi }_1,\dots$ 中出现无穷多次。“所有算法排成一列”是对角线方法的出发点。

2.3 通用图灵机与模拟效率

定理（枚举定理）

存在通用图灵机 $U$，对任意 $\alpha ,x\in \{0,1{\}}^{\ast }$， $U(\alpha ,x)\simeq M_{\alpha }(x).$ 其中 $\simeq$ 表示：一边有定义当且仅当另一边有定义，有定义时两边相等。

用程序语言类比：图灵机是程序，通用图灵机就是这门语言的解释器。复杂性理论还要求解释器足够快：

定理（Hennie-Stearns, 1966）

存在通用图灵机 $U$ 和多项式 $c$：若 $M_{\alpha }(x)$ 在 $T(|x|)$ 步内停机，则 $U(\alpha ,x)$ 在 $c(|\alpha |)\cdot T(|x|)\log T(|x|)$ 步内停机。

系数 $c(|\alpha |)$ 只依赖于被模拟的程序（状态数、符号数、带数都不超过 $|\alpha |$），与输入 $x$ 无关。对固定的 $\alpha$ 它是常数，所以模拟的代价本质上只是多一个 $\log T$ 因子。1965 年 Hartmanis 与 Stearns 最早给出的模拟需要 $O(T^2)$ 时间；他们的这篇论文创造了”计算复杂性”一词，二人因此获 1993 年图灵奖。

2.4 Hennie-Stearns 构造

目标与困难。 $U$ 的带数固定，被模拟的 $M_{\alpha }$ 却可以有任意多条（$k$ 条）工作带。$U$ 只能把 $k$ 条带挤在少数几条带上，于是有两个问题：

1. 怎么放下 $k$ 条带？ 把 $U$ 的主工作带分成 $k$ 层（track），每层存 $M_{\alpha }$ 的一条带。每格存一个 $k$ 元组，用 $U$ 自己的符号编码。另用一条草稿带记录当前状态、辅助搬运数据。
2. 怎么模拟 $k$ 个读写头各自移动？ $U$ 的主带只有一个读写头。办法是让读写头不动、让带子动：把 $k$ 层在第 $0$ 格对齐，第 $0$ 格永远放着每条虚拟带”读写头下的那个符号”。某条虚拟带的读写头右移，就把那一层整体左移一格。

第 2 点的朴素做法是整层平移，每步代价 $O(T)$，总时间 $O(T^2)$。Hennie-Stearns 的改进是在每层中预留空位，让大多数平移只在局部完成。

数据结构。 用特殊符号 $\times$ 表示”空位”（缓冲格，不是被模拟带上的内容），把主带以第 $0$ 格为中心分区：

$$\cdots \mid L_{\log T}\mid \cdots \mid L_1\mid L_0\mid 0\mid R_0\mid R_1\mid \cdots \mid R_{\log T}\mid \cdots$$

其中 $R_i,L_i$ 各有 $2^{i+1}$ 格，区间越往外越长，按 2 倍增长。

上图三层分别存着 “first work tape”、“second work tape”、“third work tape”。每一层按从左到右的顺序跳过 $\times$ 读出来，就是那条虚拟带的内容；第 $0$ 格是各读写头当前所指的符号。上下两图是第一层读写头右移一格前后的样子，第二、三层不变。下面先给出约束，再解释这次移动是怎样完成的。

定义：分区不变式

对每一层和每个 $i$，区间 $L_i$（或 $R_i$）在这一层上只能是：满（不含 $\times$）、半满（恰好一半是 $\times$）或空（全是 $\times$）。并且左右互补：

• $L_i$ 满 $⟺$ $R_i$ 空；
• $L_i$ 半满 $⟺$ $R_i$ 半满；
• $L_i$ 空 $⟺$ $R_i$ 满。

第 $0$ 格永远放非 $\times$ 的符号。

互补条件保证每一对 $L_i,R_i$ 在这一层上合计恰好存了 $2^{i+1}$ 个真符号，缓冲在两侧分布均匀，不会出现一侧挤满、另一侧全空而被迫大搬家的情况。

一次平移（某层读写头右移，即该层左移一格）：

1. 从 $R_0$ 向右找该层第一个非空区间 $R_i$。
2. 从 $R_i$ 取出最左的 $2^i$ 个真符号，依次填入第 $0$ 格和 $R_0,\dots ,R_{i-1}$，使它们都变成半满。容量核对：$1+(1+2+\cdots +2^{i-1})=2^i$。
3. 左侧：$R_0,\dots ,R_{i-1}$ 原来都是空的，由不变式 $L_0,\dots ,L_{i-1}$ 原来都是满的。把 $L_{i-1}$ 的全部内容并入 $L_i$，$L_{i-2}$ 并入 $L_{i-1}$……原第 $0$ 格的符号并入 $L_0$。于是 $L_0,\dots ,L_{i-1}$ 都变成半满，$L_i$ 恰好多了 $2^i$ 个符号，与 $R_i$ 少掉的 $2^i$ 个互补，不变式保持。

借助草稿带”边抄边搬”，这次平移只涉及 $L_i,\dots ,R_i$ 共 $O(2^i)$ 格，耗时 $O(2^i)$。

回到上图第一层：移动前中心是 k，$L_0$=o r、$L_1$=r s t w 都满，$R_0$、$R_1$ 都空，第一个非空区间是 $R_2$（半满，存着 t a p e），所以 $i=2$。右侧：t a p e 依次填入中心（t）、$R_0$（a）、$R_1$（p e）。左侧：$L_1$ 的 r s t w 并入 $L_2$，$L_0$ 的 o r 并入 $L_1$，旧中心 k 进入 $L_0$。移动后，第一层的 $L_0,L_1,R_0,R_1$ 都是半满，$R_2$ 变空、$L_2$ 变满，读出顺序 …first wor k t ape… 不变，只是读写头从 k 移到了 t。

例：单层上的两次平移（展示步骤 1–3）

只看一层，取区间 $L_1(4)\mid L_0(2)\mid 0\mid R_0(2)\mid R_1(4)$。虚拟带内容为 $abcdefg$，读写头在 $d$ 上：

时刻	$L_1$	$L_0$	0	$R_0$	$R_1$	读出
初始	× × a b	× c	d	e ×	f g × ×	abcdefg
右移一次（$i=0$）	× × a b	c d	e	× ×	f g × ×	abcdefg
再右移（$i=1$）	a b c d	× e	f	g ×	× × × ×	abcdefg

• 第一次：$R_0$ 非空，$i=0$，只需把 $e$ 移到中心、$d$ 移进 $L_0$。代价很小，但 $L_0$ 满、$R_0$ 空，下次就得动用更外层。
• 第二次：$R_0$ 已空，找到 $R_1$（$i=1$）。取出 $f,g$ 填中心和 $R_0$；$L_0$ 的 $c,d$ 整体并入 $L_1$，原中心 $e$ 进 $L_0$。此后 $L_0,R_0$ 又都半满，接下来至少一步内不必再动 $L_1,R_1$。

每次动用第 $i$ 层后，内层全部恢复半满，“缓冲”被重新补满，所以越外层的大搬家越少发生。

代价分析。 一次涉及第 $i$ 级区间的平移之后，$L_0,\dots ,L_{i-1}$ 与 $R_0,\dots ,R_{i-1}$ 都是半满，它们合计还能吸收约 $2^i$ 次同方向的移动。所以同一层上，相邻两次第 $i$ 级平移之间至少隔 $2^{i-1}$ 步，$T$ 步内第 $i$ 级平移至多 $T/2^{i-1}$ 次。由于读写头至多走 $T$ 格，只需用到 $i\le \log T$。

证明（时间界）

每步模拟先读出第 $0$ 格的 $k$ 元组，查 $M_{\alpha }$ 的指令表，写回，再对各层做平移。查表与编码开销是 $|\alpha |$ 的多项式。平移的总代价为

$$\sum _{\text{层}}\sum _{i=1}^{\log T}\underset{\text{次数}}{\underbrace{\frac{T}{2^{i-1}}}}\cdot \underset{\text{每次代价}}{\underbrace{O(2^i)}}=k\cdot \sum _{i=1}^{\log T}O(T)=O(kT\log T).$$

由于 $k\le |\alpha |$，总时间为 $c(|\alpha |)T\log T$。$\square$

证明思路（通俗版）

• 要证什么：一台带数固定的 $U$，能以 $T\log T$ 的代价模拟带数任意的机器。
• 难点：$k$ 条带只能叠在一条带上，而一条带只有一个读写头。于是让读写头固定、让带子滑动；但带子整体滑动一次要 $O(T)$ 步。
• 核心想法：像在书架上留空位。书架上处处留一点空隙，插入一本书只需挪动附近几本，偶尔空隙用光才大挪一次。这里的空隙按 $1,2,4,8,\dots$ 的规模分级布置：小搬家很便宜、经常发生；大搬家很贵（$2^i$），但每次大搬家都会把内层空隙重新补满，所以要再过 $2^i$ 步左右才会再发生。
• 为什么是 $\log T$：每一级的总花费都是”次数 $T/2^i$ × 单价 $2^i$ $=T$“，一共 $\log T$ 级，加起来 $T\log T$。这与二进制计数器”第 $i$ 位每 $2^i$ 次才翻一次”的摊还分析是同一个道理。

2.5 两个推论：健忘模拟与少带模拟

上面的 $U$ 何时进行大搬家依赖于读写头怎么动，因此依赖于输入。若把搬家改成按固定日程进行，就得到健忘机器。

推论（健忘化）

设 $T$ 时间可构造，$L$ 能被某图灵机在 $O(T(n))$ 时间内判定，则存在健忘图灵机在 $O(T(n)\log T(n))$ 时间内判定 $L$。

证明

修改 $U$：

1. 先把 $L_{\log T},\dots ,R_{\log T}$ 全部置为半满（各区间的边界用 $\times$ 和 $\square$ 标好，输入与 $\times$ 交错抄入）。这一步需要事先算出 $T(n)\log T(n)$，用到可构造性。
2. 维护一个模拟步数计数器。每模拟一步就加一；若第 $i$ 位刚从 $0$ 变成 $1$，就按固定方式来回扫描 $L_i,\dots ,R_i$ 常数遍，把内层重新整理为半满。

何时整理、扫哪些区间只取决于步数，与输入内容无关，所以读写头轨迹只依赖 $n$ 与步数。第 $i$ 级整理每 $2^i$ 步一次、每次 $O(2^i)$，总代价仍为 $O(T\log T)$。$\square$

推论（Hennie-Stearns, 1966）

若 $f$ 能被某 $k$-读写带图灵机在 $T(n)$ 时间内计算，则 $f$ 能被双读写带图灵机在 $O(T(n)\log T(n))$ 时间内计算，也能被单读写带图灵机在 $O(T(n{)}^2)$ 时间内计算。

双带对应主带加草稿带。只有一条读写带时，没有草稿带协助搬运，每次平移代价变大，总时间为 $O(T^2)$。两种代价都是多项式，这正是 §1.6 所说”模型变体只差多项式倍”的一个具体实例。

2.6 对角线方法：不可判定性

有了通用机，一台机器就能运行任何别的机器，包括”把某台机器的编码喂给它自己”。对角线方法利用这一点：构造一台机器，让它在每台机器的”自身编码”这个输入上，与那台机器的输出唱反调，于是它不可能等于任何一台机器。

把所有运行结果排成一张无限表：第 $\alpha$ 行是机器 $M_{\alpha }$，第 $x$ 列是输入 $x$，表项为 $M_{\alpha }(x)$。对角线上是 $M_0(0),M_1(1),M_{01}(01),\dots$。取对角线并逐项取反，得到的这一行与表中每一行都至少在对角线位置上不同。

定义：对角函数 $\mathrm{UC}$

$$\mathrm{UC}(\alpha )=\{\begin{array}{ll}0,& M_{\alpha }(\alpha )=1,\\ 1,& \text{否则（包括 }{M}_{\alpha }(\alpha )\uparrow \text{）}.\end{array}$$

等价地，把 $M_{\alpha }(\alpha )$ 换成 $U(\alpha ,\alpha )$。

定理

$\mathrm{UC}$ 不能被任何图灵机计算。

证明

设某台机器 $W$ 计算 $\mathrm{UC}$。把 $W$ 自己的编码 $└W┘$ 作为输入：由定义，$W(└W┘)=\mathrm{UC}(└W┘)=0$ 当且仅当 $W(└W┘)=1$，矛盾。$\square$

$\mathrm{UC}$ 是一个处处有定义的全函数，难点在”否则”那一支：要输出 $1$，必须确认 $M_{\alpha }(\alpha )$ 不会输出 $1$，包括它永远不停的情况，而模拟时永远无法确定”它再走几步会不会停”。这自然引向停机问题。

定义：停机问题

$\mathrm{HALT}(\alpha ,x)=\{\begin{array}{ll}1,& M_{\alpha }(x)\downarrow ,\\ 0,& M_{\alpha }(x)\uparrow .\end{array}$

定理

$\mathrm{HALT}$ 不能被任何图灵机计算。

证明

设机器 $M_H$ 计算 $\mathrm{HALT}$，构造

$$M_U(\alpha )=\{\begin{array}{ll}0,& M_H(\alpha ,\alpha )=1\text{ 且 }{M}_{\alpha }(\alpha )=1,\\ 1,& \text{否则}.\end{array}$$

先问 $M_H$；只有确认 $M_{\alpha }(\alpha )$ 会停机时，才用通用机把它跑完，所以 $M_U$ 总会停机，并且计算的正是 $\mathrm{UC}$，与上一定理矛盾。$\square$

这个证明的方法叫归约：假设 $\mathrm{HALT}$ 可解，把它当子程序来解已知不可解的 $\mathrm{UC}$，从而推出矛盾。方向要分清：要证明”新问题 $B$ 难”，应当把已知难的问题 $A$ 归约到 $B$（“若 $B$ 可解，则 $A$ 可解”），而不是反过来。之后的 NP-完全性证明也都是这种模式。

Remark：对角线方法的一般模式

递归论与复杂性理论中几乎所有否定性结论都由对角线方法得到。一般模式是：构造一台机器 $D$，让它（借助通用机）模拟机器列表中的机器，并在某些输入上故意与它们的输出相反，从而保证 $D$ 不同于列表中的每一台；同时控制 $D$ 自身使用的资源，再由此推出矛盾或分离结果。本讲的时间谱系定理正是”只模拟 $g(n)$ 步再取反”的资源受限版本，通用机的 $\log$ 开销也因此出现在定理条件中。

3. Speedup Theorem

有了”时间 = 步数”，似乎可以这样定义问题的难度：一个问题的时间复杂度 = 解它的最快算法的运行时间。这要求每个问题都有一个最快的算法。本部分说明这个想法行不通，而且失败得很彻底：

• Blum 加速定理：存在一个（人为构造的）可计算函数，它的任何算法都能被另一个算法大幅加速，比如快到指数倍，并且可以无限加速下去，根本没有最快的算法。
• 线性加速定理：对每个问题，任何算法都能快任意常数倍。

两者合起来决定了第 4 部分的做法：不给问题定一个精确的时间，而是问”它有没有一个运行时间不超过 $cT(n)$ 的算法”。

3.1 Blum 复杂性度量

Blum 的结论不依赖于”时间”的具体定义。他先抽象出一个”资源度量”至少应满足什么条件，再对所有满足条件的度量统一证明。

定义：Blum 复杂性度量

设 ${\varphi }_0,{\varphi }_1,\dots$ 是 §2.2 的可计算函数枚举。一族函数 $\{({\varphi }_i,{\Phi }_i){\}}_{i\in \mathbb{N}}$ 称为 Blum 复杂性度量，如果：

1. ${\Phi }_i(x)$ 有定义 $⟺$ ${\varphi }_i(x)$ 有定义；
2. 对任意 $i,x,n$，"${\Phi }_i(x)\le n$"是可判定的。

${\Phi }_i(x)$ 理解为程序 $i$ 在输入 $x$ 上消耗的资源量。

两条公理的含义：(1) 程序停机当且仅当资源消耗有限；(2) 给定预算 $n$，总能判断”程序是否在预算内完成”，哪怕程序本身不停机。时间显然满足：

定义：Blum 时间函数

${\mathrm{time}}_i(x)=\mu t.(M_i(x)\text{ 在 }t\text{ 步内终止}),$ 其中 $\mu t.P(t)$ 表示使 $P(t)$ 成立的最小 $t$（不存在则无定义）。$\{({\varphi }_i,{\mathrm{time}}_i)\}$ 是 Blum 复杂性度量。

第 2 条成立，是因为判断 ${\mathrm{time}}_i(x)\le n$ 只需用通用机把 $M_i(x)$ 模拟 $n$ 步。

本部分沿用递归论的习惯，把输入 $x$ 看作自然数（串与自然数一一对应），并且逐个输入比较步数，而不是像 §1.4 那样按输入长度取最坏情况。

3.2 主引理：几乎处处的加速

先引入一个用语：一个关于 $x$ 的性质几乎处处（almost everywhere，a.e.）成立，指它只在有限个 $x$ 上不成立。只在有限个输入上出错的算法很容易修补（查表），所以”几乎处处”是讨论加速时合适的标准。

主引理

设 $r$ 是可计算全函数。存在可计算全函数 $f$，使得对任一计算 $f$ 的图灵机 $M_i$，都能有效地构造出图灵机 $M_j$，满足：

1. ${\varphi }_j$ 是全函数，且 ${\varphi }_j(x)=f(x)$ a.e.；
2. $r({\mathrm{time}}_j(x))<{\mathrm{time}}_i(x)$ a.e.

逐句解读：

• 对任意加速比 $r$，比如 $r(z)=2^z$；
• 存在一个问题 $f$；
• 对解 $f$ 的任何算法 $M_i$；
• 能构造出算法 $M_j$，它几乎处处解 $f$，而且快到连 $r({\mathrm{time}}_j(x))$ 都比 ${\mathrm{time}}_i(x)$ 小。取 $r(z)=2^z$ 时，就是 ${\mathrm{time}}_j(x)<\log {\mathrm{time}}_i(x)$，指数级的加速。

3.3 主引理的证明

预备工具：s-m-n 定理与递归定理。 证明中要定义一族程序，而这族程序的定义要引用它们自己的编号。下面两个递归论定理保证这种”自我引用”是合法的。记 ${\varphi }_e^{(m)}$ 为第 $e$ 个 $m$ 元可计算函数。

定理（s-m-n 定理）

设 $m,n\ge 1$。存在单射原始递归函数 $s_n^m$，使得对所有 $e$ 和 $\tilde{x}=x_1,\dots ,x_m$，$\tilde{y}=y_1,\dots ,y_n$，有 ${\varphi }_e^{(m+n)}(\tilde{x},\tilde{y})\simeq {\varphi }_{s_n^m(e,\tilde{x})}^{(n)}(\tilde{y}).$

直观：把多元程序 $e$ 的前几个参数”焊死”成常数，就得到一个新程序；新程序的编码可以从 $e$ 和这些常数算出来。证明就是写出新程序”先把 $\tilde{x}$ 写到带上，再用通用机运行 $e$“，然后算出它的编码。这相当于函数式编程里的柯里化（currying）。本节用的是 $m=n=1$ 的情形：存在 $s(e,u)$ 使

$${\varphi }_{s(e,u)}(x)\simeq {\varphi }_e^{(2)}(u,x).\text{\hspace{1em}(1)}$$

定理（Kleene 递归定理）

设 $f$ 是可计算全函数。存在 $n$ 使 ${\varphi }_{f(n)}\simeq {\varphi }_n$。

直观：任何”程序变换”$f$ 都有一个”不动点”程序，变换前后行为相同。它的一个推论正是这里要用的：

推论（用自身编号定义程序）

设 $g(e,u,x)$ 是可计算函数。存在 $e$，使 \phi^{(2)}_e(u,x)\simeq g(e,u,x).\tag{2}

也就是说，在描述程序 $e$ 时，可以把 $e$ 自己的编号当作已知参数来用，就像程序能读到自己的源代码。由 s-m-n 定理，存在可计算全函数 $s^{\prime }$ 使 ${\varphi }_{s^{\prime }(z)}^{(2)}(u,x)\simeq g(z,u,x)$；再对 $s^{\prime }$ 用递归定理取不动点 $e$，即得 ${\varphi }_e^{(2)}\simeq {\varphi }_{s^{\prime }(e)}^{(2)}\simeq g(e,\cdot ,\cdot )$。

构造的整体思路。 由 (1)(2)，一个编号 $e$ 确定一族单参数程序

$$P_u:=M_{s(e,u)},P_u(x)\simeq g(e,u,x),u=0,1,2,\dots$$

目标函数取 $f:=P_0$。程序 $P_u$ 的行为是：对编号 $<u$ 的机器视而不见，只对编号 $\ge u$ 的机器做对角线。机器 $i$ 的”加速版”将是 $P_{i+1}$，即 $j=s(e,i+1)$。

对角线的规则是”太快就注销”：在输入 $x$ 上，若机器 $i$ 比 $P_{i+1}$ 快得不够多，即

$${\mathrm{time}}_i(x)\le r({\mathrm{time}}_{P_{i+1}}(x)),$$

就注销（cancel）$i$，并让 $P_u(x)$ 的输出与 ${\varphi }_i(x)$ 不同。于是：凡是真正计算 $f$ 的机器 $i$ 都不会被注销，因而必然满足 $r({\mathrm{time}}_{P_{i+1}}(x))<{\mathrm{time}}_i(x)$。加速比不需要事后分析，而是被注销规则直接”强制”出来的。

形式定义。 对固定的 $e,u$，按 $x=0,1,2,\dots$ 依次定义注销集 $C_{e,u,x}$。假设 $C_{e,u,y}$（$y<x$）都已定义，且对所有 $i\in \{u,\dots ,x-1\}$，${\mathrm{time}}_{s(e,i+1)}(x)$ 都有定义，令

$$C_{e,u,x}=\left\{i\right|u\le i\le x-1,{\mathrm{time}}_i(x)\le r({\mathrm{time}}_{s(e,i+1)}(x))\}\setminus \bigcup _{y<x}{C}_{e,u,y};$$

否则 $C_{e,u,x}$ 无定义。再令

$$g(e,u,x)\simeq \{\begin{array}{ll}1+\max \{{\varphi }_i(x)\mid i\in C_{e,u,x}\},& C_{e,u,x}\text{ 有定义},\\ \uparrow ,& \text{否则}.\end{array}$$

（约定 $\max \varnothing =0$。）

几点说明：

• 第 $x$ 阶段只考虑编号 $<x$ 的机器，所以每阶段只需检查有限台机器；机器 $i$ 从阶段 $i+1$ 起才”入场”。
• 减去 ${\bigcup }_{y<x}{C}_{e,u,y}$，使每台机器至多被注销一次。注销一次就足以保证它不等于 $f$。
• 判断 ${\mathrm{time}}_i(x)\le r(\cdots )$ 只需把 $M_i(x)$ 运行有限步（Blum 公理 2），因此即使 $M_i(x)$ 不停机，$C_{e,u,x}$ 也可计算；而对 $i\in C_{e,u,x}$，${\varphi }_i(x)$ 一定有定义，$1+\max$ 能算出来。
• 输出 $1+\max$ 比所有被注销机器的输出都大，因此与每一台都不同，这就是对角线取反。

再由 (2) 取定 $e$，使 $g(e,u,x)$ 恰好就是 $P_u(x)$。下面验证三条性质。

证明（三条性质）

(i) 每个 $P_u$ 都是全函数。 对 $x$ 归纳，设所有 $g(e,u,y)$（$y<x$）都有定义。固定 $x$，对 $u$ 从大到小归纳：

• 若 $u\ge x$，则 $C_{e,u,x}=\varnothing$，$g(e,u,x)=1$。
• 若 $u<x$，且 $g(e,x,x),\dots ,g(e,u+1,x)$ 已有定义，由 (1)(2)，$P_x(x),\dots ,P_{u+1}(x)$ 都停机，于是 ${\mathrm{time}}_{s(e,i+1)}(x)$ 对 $i=u,\dots ,x-1$ 都有定义，$C_{e,u,x}$ 有定义，$g(e,u,x)$ 有定义。

(ii) 每个 $P_u$ 与 $P_0$ 几乎处处相同。 机器 $i$ 是否在阶段 $x$ 被注销，只取决于 ${\mathrm{time}}_i(x)$、${\mathrm{time}}_{s(e,i+1)}(x)$ 以及 $i$ 此前是否被注销，与其他机器无关。所以对 $i\ge u$，它在”$u$ 系列”与”$0$ 系列”里于同一阶段被注销，从而 $C_{e,0,x}=C_{e,u,x}\cup \{i<u\mid i\text{ 在阶段 }x\text{ 被注销}\}.$ 编号 $<u$ 的机器只有 $u$ 台，各至多注销一次。设 $v$ 是它们最后一次被注销的阶段，则当 $x>v$ 时 $C_{e,0,x}=C_{e,u,x}$，从而 $P_0(x)=P_u(x)$。

(iii) 加速。 设 ${\varphi }_i=f=P_0$。若 ${\mathrm{time}}_i(x)\le r({\mathrm{time}}_{s(e,i+1)}(x))$ 对某个 $x>i$ 成立，则 $i$ 会在第一个这样的阶段（于”$0$ 系列”中）被注销，使 ${\varphi }_i(x)\ne g(e,0,x)=f(x)$，矛盾。所以对所有 $x>i$， $r({\mathrm{time}}_{s(e,i+1)}(x))<{\mathrm{time}}_i(x).$

取 $j=s(e,i+1)$：由 (i)(ii)，${\varphi }_j$ 是全函数且 a.e. 等于 $f$；由 (iii)，$r({\mathrm{time}}_j(x))<{\mathrm{time}}_i(x)$ a.e.。$j$ 由 $i$ 直接算出，构造是有效的。$\square$

证明思路（通俗版）

• 要造什么：一个函数 $f$，以及每个 $f$ 的程序 $i$ 的一个”快 $r$ 倍”的替身。
• 替身从哪来：一次性造出一整族程序 $P_0,P_1,P_2,\dots$，$f=P_0$，程序 $i$ 的替身就是 $P_{i+1}$。$P_u$ 与 $P_0$ 规则相同，只是”不管前 $u$ 台机器”。前 $u$ 台机器总共只影响有限个输入，所以 $P_u$ 与 $f$ 只差有限处。
• 为什么替身一定更快：规则规定，谁比自己的替身快得不够多（${\mathrm{time}}_i\le r({\mathrm{time}}_{P_{i+1}})$），就在那个输入上故意给出与它不同的答案。所以正确计算 $f$ 的程序都”不敢”太快，它们一定比替身慢 $r$ 倍以上。
• 为什么需要递归定理：$P_u$ 判断是否注销机器 $i$ 时，要知道替身 $P_{i+1}$ 跑多少步，也就要运行这族程序里的另一个成员。程序的定义引用了自己所在家族的编号 $e$，递归定理保证这样的 $e$ 存在。
• 为什么不会无穷递归：$P_u(x)$ 只调用 $P_{u+1}(x),\dots ,P_x(x)$，编号越来越大，而 $P_x(x)$ 不用管任何机器，直接输出 $1$。所以从 $P_x(x)$ 往回算，每一级都能算完，这就是 (i) 中”从大到小归纳”。

3.4 Blum 加速定理

主引理的替身只是几乎处处正确。修补有限个输入，就能得到真正计算 $f$ 的程序，代价是加速的构造不再是有效的。

定理（Blum 加速定理，1967）

设 $r$ 是可计算全函数。存在可计算全函数 $f$，使得对任一计算 $f$ 的图灵机 $M_i$，存在计算 $f$ 的图灵机 $M_j$，满足 $r({\mathrm{time}}_j(x))<{\mathrm{time}}_i(x)$ a.e.

证明

不妨设 $r$ 单调递增。把主引理中注销条件改为 ${\mathrm{time}}_i(x)\le r({\mathrm{time}}_{s(e,i+1)}(x)+x)$，同样的论证给出 $M_k$：${\varphi }_k$ 全，${\varphi }_k(x)=f(x)$ a.e.，且 $r({\mathrm{time}}_k(x)+x)<{\mathrm{time}}_i(x)$ a.e.。

设 ${\varphi }_k(x)=f(x)$ 对所有 $x\ge N$ 成立。给 $M_k$ 加一段”查表”：输入 $x<N$ 时直接输出 $f(x)$，否则照常运行 $M_k$。记新机器为 $M_j$，它处处计算 $f$。查表的额外开销主要是比较 $x$ 与 $N$，不超过 $x$ 步，所以对足够大的 $x$，${\mathrm{time}}_j(x)\le {\mathrm{time}}_k(x)+x$，从而 $r({\mathrm{time}}_j(x))\le r({\mathrm{time}}_k(x)+x)<{\mathrm{time}}_i(x)\text{a.e.}\square$

注销条件里多出的 "$+x$" 是预先留出的余量，专门用来抵消查表的开销。$N$ 取决于 $f$ 与 ${\varphi }_k$ 在哪些输入上不同，无法从 $i$ 算出，所以这里只能说”存在”$M_j$。

它说明了什么。 对这个 $f$，任取一个算法 $M_{i_0}$，就有更快的 $M_{i_1}$，又有更快的 $M_{i_2}$……

$${\mathrm{time}}_{i_0}(x)>r({\mathrm{time}}_{i_1}(x)),{\mathrm{time}}_{i_1}(x)>r({\mathrm{time}}_{i_2}(x)),\dots$$

这条链永远走不到头，所以 $f$ 没有”最快算法”，“问题的时间复杂度 = 最快算法的时间”这个定义对它没有意义。这个 $f$ 是对角线构造出来的人造函数，但它足以说明：一般地，我们只能谈论解（算法）的复杂度，再通过”问题有什么样的解”来给问题分类。

3.5 线性加速定理

Blum 定理的反例是人造的。另一个更早、更温和的结论对所有问题都成立：常数倍的加速总是做得到。

定理（线性加速定理，Hartmanis-Stearns 1965）

若 $L$ 能在 $T(n)$ 时间内判定，则对任意 $ϵ>0$，$L$ 能在 $ϵT(n)+n+2$ 时间内判定。

想法：换更大的字母表，一步干 $m$ 步的活。 设 $M=(Q,\Gamma ,\delta )$ 在 $T(n)$ 步内判定 $L$。构造 $\tilde{M}$，它的一个符号代表 $M$ 的 $m$ 个连续格子（字母表含 ${\Gamma }^m$）。

证明

$\tilde{M}$ 按如下方式运行：

1. 用 $n+2$ 步把输入每 $m$ 个符号压成一个，抄到工作带上；
2. 用 $n/m$ 步把读写头移回开头；
3. 每轮用 5 步模拟 $M$ 的 $m$ 步：$M$ 在 $m$ 步内读写头最多移动 $m$ 格，只会碰到当前块和左右相邻两块。$\tilde{M}$ 把这三块都看一遍、记进状态（状态集足够大，可以记下这些内容），就能算出 $m$ 步后三块的新内容和读写头的新位置，再写回去。

总时间不超过 $n+2+\frac{n}{m}+\frac{5}{m}T(n)\le n+2+\frac{6}{m}T(n)(\text{因为 }n\le T(n)).$ 取 $m=6/ϵ$ 即得。$\square$

推论

若 $T(n)=\omega (n)$（增长严格快于线性），且 $L$ 能在 $T(n)$ 时间内判定，则对任意 $ϵ>0$，$L$ 能在 $ϵT(n)$ 时间内判定。

此时 $n+2$ 被 $ϵT(n)$ 吸收。留下的 $n+2$ 是读一遍输入并压缩所需的时间，无论怎么加速都省不掉。

两个加速定理带来的结论。 常数因子没有意义：$T(n)$ 与 $\frac{1}{100}T(n)$ 时间能解的问题一样多，只是机器的字母表和状态集更大。所以下一部分定义 $\mathbf{TIME}(T(n))$ 时，规定”存在常数 $c$ 使运行时间 $\le cT(n)$“，这正是大 $O$ 记号的来历。再结合 Blum 定理，复杂性类刻画的是”问题有什么样的解”，而不是”问题的最优解有多快”。

4. Time Complexity Class

第 3 部分说明，问题没有”最快算法”可言，常数倍也总能省掉。所以给问题分类时，只能问”它有没有一个足够快的算法”，并且忽略常数因子。本部分据此定义时间类，再从中挑出与模型无关的那些，得到真正的复杂性类 $\mathbf{P}$ 和 $\mathbf{EXP}$。

4.1 TIME(T(n))

定义： $\mathbf{TIME}(T(n))$

设 $T:\mathbb{N}\to \mathbb{N}$ 是时间函数。判定问题 $L\subseteq \{0,1{\}}^{\ast }$ 属于 $\mathbf{TIME}(T(n))$，当且仅当存在常数 $c>0$ 和接受 $L$ 的图灵机 $M$，使 $M$ 在每个长度为 $n$ 的输入上至多运行 $cT(n)$ 步。

$\mathbf{TIME}(T(n))$ 是一个问题的集合。定义中的”存在算法”回应了 Blum 定理：刻画的是问题有什么样的解；“存在常数 $c$“回应了线性加速定理：常数倍本来就能省掉。

4.2 复杂性类：要求与模型无关

$\mathbf{TIME}(T(n))$ 依赖于所用的机器模型。双带图灵机能在线性时间判定回文，单带图灵机却需要平方时间，所以”回文 $\in \mathbf{TIME}(n)$“是否成立取决于允许几条带。这样的类反映的是模型细节，而不是问题本身的性质。

定义：复杂性类（complexity class）

直观上，复杂性类是一类问题，它们都具有某种与模型无关的性质的解。

按这个要求，$\mathbf{TIME}(n)$ 不是复杂性类。要得到与模型无关的类，就要把”差一个多项式倍”的时间界合并在一起，因为各种合理模型之间正好能以多项式开销互相模拟（§1.6、§2.5）。

4.3 P 与强 Church-Turing 论题

定义：多项式时间类

$\mathbf{P}={\bigcup }_{c\ge 1}\mathbf{TIME}(n^c).$

把所有多项式合并后，换模型只会让多项式的次数改变，问题仍留在 $\mathbf{P}$ 中。这一点依赖于下面的信念：

强 Church-Turing 论题（Strong Church-Turing Thesis）

任何物理上可实现的计算设备都能被图灵机模拟，且模拟时间不超过被模拟设备运行时间的某个多项式。

§1.7 的论题只说”能算什么”，强论题进一步说”算得多快也只差多项式倍”。在它之下，$\mathbf{P}$ 与模型无关。量子计算是对它的潜在挑战：目前既不能确定量子计算机是否物理可实现，也没有被证明的例子表明某个问题量子多项式时间可解而图灵机不可。

计算机科学通常把 $\mathbf{P}$ 等同于”有高效（可行）算法的问题”，这称为 Cobham-Edmonds 论题。选多项式的另一个好处是封闭性：多项式时间算法的复合、以及调用多项式次多项式时间子程序，结果仍是多项式时间的。所以 $\mathbf{P}$ 作为”高效”的定义，在组合算法时不会失效。

把 $\mathbf{P}$ 当作”可行”仍有争议，常见的质疑有两个：

1. $\mathbf{P}$ 真的刻画了可行问题吗？ $n^{1024}$ 是多项式，却远不可行；$2^n/n^2$ 是指数，但在中等规模下也许仍可处理。
2. $\mathbf{P}$ 中的问题都能被证明属于 $\mathbf{P}$ 吗？ 可能存在多项式时间算法，我们却无法证明它的运行时间是多项式。

教材对此的态度是：怀疑 $\mathbf{P}$ 与相信强 Church-Turing 论题是不一致的。

4.4 EXP 与补类

用同样的方式定义指数时间类：

定义：指数时间类

$\mathbf{EXP}={\bigcup }_{c\ge 1}\mathbf{TIME}\left(2^{n^c}\right).$

指数上必须是 $n^c$，不能只取 $2^{cn}$。原因仍是封闭性：先用多项式时间算法把输入变形，再在结果上运行指数算法，得到的算法应当仍算”指数时间”。

例：为什么不能用 $2^{cn}$

设算法 $B$ 在 $\Theta (n^3)$ 时间内把长度 $n$ 的输入变成长度 $n^3$ 的串，算法 $A$ 在长度 $m$ 的输入上用 $\Theta (2^{cm})$ 时间。复合算法 $A\circ B$ 的时间是 $2^{c{n}^3}$，无论 $c$ 多大都不在 $\mathbf{TIME}(2^{cn})$ 中，却在 $\mathbf{TIME}(2^{n^3})\subseteq \mathbf{EXP}$ 中。所以 ${\bigcup }_c\mathbf{TIME}(2^{cn})$ 对”先做多项式预处理”不封闭，而 $\mathbf{EXP}$ 封闭。

后面经常要谈”一类问题的补”，例如 $\mathbf{NP}$ 与 $\mathbf{coNP}$。

定义：补类

设 $\mathbf{T}$ 是复杂性类，其补类为 $\mathbf{coT}=\{\overline{A}\mid A\in \mathbf{T}\}$。

引理

$\mathbf{coT}\subseteq \mathbf{T}⟺\mathbf{T}\subseteq \mathbf{coT}⟺\mathbf{coT}=\mathbf{T}$。

（若 $\mathbf{coT}\subseteq \mathbf{T}$，则对 $A\in \mathbf{T}$ 有 $\overline{A}\in \mathbf{coT}\subseteq \mathbf{T}$，于是 $A=\overline{\overline{A}}\in \mathbf{coT}$。）确定型类都满足 $\mathbf{coT}=\mathbf{T}$：把机器的输出 $0,1$ 对调，就判定了补语言，时间不变，所以 $\mathbf{coP}=\mathbf{P}$，$\mathbf{coEXP}=\mathbf{EXP}$。下一部分的非确定型类就没有这么简单了。

5. Verification Problem

把"$x\in L$"看成一个命题，判定 $x\in L$ 就是在找它的证明。$\mathbf{P}$ 是”能在多项式时间内找到证明”的问题。还有很多问题，证明很短、检查起来很快，但没人知道怎么快速找到证明。

例如顶点覆盖：给定图 $G=(V,E)$ 和整数 $N$，问是否存在至多 $N$ 个顶点，使每条边至少有一个端点被选中。若有人递来一个顶点集合，检查它是否满足要求只要多项式时间；可是自己去找，看起来只能在 $2^{|V|}$ 个子集里搜索。

穷举所有可能的短证明再逐个检查，说明这类问题都在 $\mathbf{EXP}$ 中，但这个刻画太粗，抹掉了”可以快速检查”这个特征。为了专门刻画可高效验证的问题，引入一个理论模型：非确定图灵机。

5.1 非确定图灵机

定义：非确定图灵机（NDTM）

非确定图灵机 $N$ 与图灵机的区别只在于它有两个迁移函数 ${\delta }_0,{\delta }_1$。每一步，$N$ 可以任意选用其中一个。若对每个输入 $x$ 和每一种选择序列，$N$ 都在 $T(|x|)$ 步内进入 $q_{\mathrm{halt}}$，称 $N$ 在 $T(n)$ 时间内运行。

“非确定”指没有规定使用 ${\delta }_0$ 还是 ${\delta }_1$ 的策略。把所有可能的选择画出来，$N$ 在输入 $x$ 上的计算是一棵二叉树：根是初始格局，每个格局有两个后继（分别用 ${\delta }_0,{\delta }_1$），每一条从根出发的路径是一种可能的计算。“在 $T(n)$ 时间内运行”就是这棵树的深度不超过 $T(n)$。

非确定图灵机不是（人们相信不是）物理可实现的，引入它纯粹出于理论需要：它让”存在一个短证明”这件事有了机器的说法。

5.2 接受：存在一条成功路径

定义：NDTM 接受的语言

若计算树中存在一条路径停机并输出 $1$，称 $N$ 接受 $x$，记 $N(x)=1$；否则（所有路径都输出 $0$ 或不停机）称 $N$ 拒绝 $x$，记 $N(x)=0$。若 $x\in L⟺N(x)=1$，称 $N$ 接受 $L$。

接受与拒绝是不对称的：接受只需一条成功路径，拒绝却要求所有路径都失败。这与”存在性命题”的结构一致：要说明存在顶点覆盖，举出一个就够了；要说明不存在，必须排除所有候选。这种不对称是”$\mathbf{NP}$ 是否等于 $\mathbf{coNP}$“这一问题的根源，非确定型类不能像 §4.4 那样对调输出来求补。

5.3 猜测与验证

非确定性提供的能力是猜测。以顶点覆盖 $(G,N)$ 为例，一台 NDTM 可以这样工作：

1. 猜测：用 $|V|$ 步，每步非确定地写下一位 $0$ 或 $1$，得到一个 $|V|$ 位的串，它代表 $V$ 的一个子集 $S$。
2. 验证：确定地检查 $|S|\le N$，并检查每条边都至少有一个端点在 $S$ 中；通过就输出 $1$，否则输出 $0$。

所有子集都会在某条路径上被猜到。若存在大小不超过 $N$ 的覆盖，就有一条路径恰好猜中它并接受；若不存在，每条路径的验证都失败。整台机器运行多项式时间。

一般地，NDTM 的计算可以看作”先猜一个证据，再确定地验证”。成功路径上做出的非确定选择本身就是证据：它说明 $x\in L$，而且检查它很快。第 3 讲会把这个看法写成 $\mathbf{NP}$ 的等价定义：$x\in L$ 当且仅当存在多项式长的证书 $u$，使多项式时间验证器 $M(x,u)=1$。

5.4 NTIME、NP 与 NEXP

定义：非确定时间类

$L\in \mathbf{NTIME}(T(n))$，当且仅当存在常数 $c>0$ 和在 $cT(n)$ 时间内运行、接受 $L$ 的 NDTM。 $\mathbf{NP}={\bigcup }_{c\ge 1}\mathbf{NTIME}(n^c),\mathbf{NEXP}={\bigcup }_{c\ge 1}\mathbf{NTIME}\left(2^{n^c}\right).$

$\mathbf{NP}$ 就是非确定多项式时间类，即可在多项式时间内验证的问题。"$\mathbf{P}\stackrel{?}{=}\mathbf{NP}$"问的是：能快速验证的问题，是否都能快速求解？

命题

$\mathbf{P}\subseteq \mathbf{NP}\subseteq \mathbf{EXP}\subseteq \mathbf{NEXP}.$

证明

第一、三个包含：确定型图灵机是不用第二个迁移函数（${\delta }_0={\delta }_1$）的 NDTM。 第二个包含：设 NDTM $N$ 在 $n^c$ 时间内运行，其计算树深度至多 $n^c$，至多 $2^{n^c}$ 条路径。确定型机器逐条枚举选择序列、用通用机模拟每一条，任一条接受就接受，总时间 $2^{O(n^c)}$。$\square$

四个包含中哪些是严格的，目前只知道一部分：第 6 部分的时间谱系定理会给出 $\mathbf{P}⊊\mathbf{EXP}$ 与 $\mathbf{NP}⊊\mathbf{NEXP}$，所以 $\mathbf{P}\subseteq \mathbf{NP}\subseteq \mathbf{EXP}$ 中至少有一个包含是严格的，但不知道是哪一个。

5.5 “通用”非确定图灵机

NDTM 也是有限对象，可以照搬 §2.1–2.2 编码并有效枚举：

$$N_0,N_1,\dots ,N_i,\dots$$

每台 NDTM 出现无穷多次。下一个自然的问题是：有没有通用的 NDTM？

照搬 Hennie-Stearns 的构造即可：每模拟一步前，非确定地选用被模拟机器的 ${\delta }_0$ 或 ${\delta }_1$，开销仍是 $O(T\log T)$。但非确定性允许一种几乎没有开销的模拟。关键是不去维护整条带，而只记录读写头”看到”的东西：

定义：快照（snapshot）

$k$-带机器 $N$ 在输入 $x$ 上第 $t$ 步的快照是 $⟨q,a_1,\dots ,a_k⟩\in Q\times \underset{k}{\underbrace{\Gamma \times \cdots \times \Gamma }},$ 其中 $q$ 是第 $t$ 步的状态，$a_1,\dots ,a_k$ 是第 $t$ 步各读写头所指格中的符号。

与格局不同，快照的大小只依赖于机器 $N$，与输入长度无关；一条计算路径对应一串快照。“通用”NDTM $V$ 的工作方式如下：

1. 猜测：输入 $(\alpha ,x)$。$V$ 只在输入带上真实地运行 $N_{\alpha }$，同时非确定地猜出每一步的选择（${\delta }_0$ 或 ${\delta }_1$），以及每一步各工作带读写头下的符号，即猜出一串快照，最后一个快照是接受状态。
2. 验证：对每一条工作带分别检查。$V$ 用一条额外的带，按照快照序列和迁移函数规定的写入与移动，把这条工作带的实际变化过程重放一遍，核对每一步”读写头下的符号”是否与所猜的一致。
3. 所有检查都通过就接受，否则拒绝。

若所有检查都通过，所猜的快照序列就确实是 $N_{\alpha }(x)$ 的一条接受路径；反过来，任何一条接受路径都会在某个分支上被猜中。每条带的重放是线性时间，所以模拟一条长度为 $T$ 的接受路径只需 $O(T)$ 时间（常数依赖于 $\alpha$）。

思路：为什么能省掉 $\log T$

确定型通用机慢，是因为它必须真实地维护 $k$ 条带，读写头的移动导致大量数据搬运。非确定机可以”先猜后验”：先大胆猜出每一步读写头下的符号，算出整条计算路径，再逐条带回头检查猜得对不对。检查一条带时只需跟踪这一条带的变化，用一条额外的带顺序重放即可，没有搬运开销。

$V$ 的缺陷是不一定停机：猜测阶段没有任何东西阻止它一直猜下去。实际使用时，被模拟的总是时间函数可构造的 NDTM，可以给 $V$ 装上时钟（§1.5），超时即拒绝。第 6 部分的非确定时间谱系定理就要用到这种廉价模拟。

5.6 TIME 与 NTIME

确定型与非确定型时间类之间，几乎没有已证明的非平凡关系。下面是一个罕见的例子。

定理（Paul-Pippenger-Szemerédi-Trotter, 1983）

$\mathbf{TIME}(n)⊊\mathbf{NTIME}(n).$

• 它没有回答 $\mathbf{P}$ 与 $\mathbf{NP}$ 的关系：$\mathbf{TIME}(n)$ 与 $\mathbf{NTIME}(n)$ 都依赖模型，按 §4.2 都不是复杂性类，这个分离无法推广到多项式时间。
• 它是一个非相对化的结果：第 3 讲会说明，大多数基于模拟与对角线的证明都”相对化”，因而无法解决 $\mathbf{P}\stackrel{?}{=}\mathbf{NP}$；这个定理的证明不属于此类。
• 证明的灵感来自 Hopcroft-Paul-Valiant 的结果 $\mathbf{TIME}(S(n))\subseteq \mathbf{SPACE}(S(n)/\log S(n))$（第 2 讲）。

6. Time Hierarchy Theorem

$f\le g$ 显然推出 $\mathbf{TIME}(f(n))\subseteq \mathbf{TIME}(g(n))$。真正的问题是：时间多给一些，能解的问题是否严格变多？若答案是否定的，复杂性类的整个层级就可能塌成一团。时间谱系定理给出肯定的回答，工具是 §2.6 的对角线方法加上”只模拟有限步”的时间限制。证明需要的两样东西前面都已备好：通用机的模拟开销（§2.4，带来 $\log$ 因子），以及给机器装时钟（§1.5，要求时间函数可构造）。

6.1 确定时间谱系定理

定理（时间谱系定理，Hartmanis-Stearns 1965）

若 $f,g$ 时间可构造，且 $f(n)\log f(n)=o(g(n))$，则 $\mathbf{TIME}(f(n))⊊\mathbf{TIME}(g(n)).$

$o(\cdot )$ 表示严格低阶：$f(n)\log f(n)=o(g(n))$ 即 $f(n)\log f(n)/g(n)\to 0$。

证明目标：造一个语言 $L$，它能在 $g(n)$ 时间内判定，但不能在 $f(n)$ 时间内判定。做法是让判定 $L$ 的机器 $D$ 在每台机器 $M_x$ 的”自身编码”上与它唱反调，而且只花 $g(n)$ 步。

证明

定义机器 $D$：

输入 $x$，用通用机 $U$ 模拟 $M_x(x)$ 至多 $g(|x|)$ 步（把 $g$-时钟硬连接到 $z\mapsto U(z,z)$ 上）。若模拟在 $g(|x|)$ 步内完成，输出 $\overline{M_x(x)}$（$\bar{0}=1,\bar{1}=0$）；否则输出 $0$。

设 $L$ 为 $D$ 判定的语言。因为 $g$ 可构造、时钟保证 $D$ 在 $O(g(n))$ 步内停机，$L\in \mathbf{TIME}(g(n))$。

假设 $L\in \mathbf{TIME}(f(n))$，由某台机器 $M$ 在 $cf(n)$ 时间内判定。由 Hennie-Stearns 定理，$U$ 模拟 $M$ 在长度 $n$ 的输入上至多需要 $Cf(n)\log f(n)$ 步，常数 $C$ 只依赖于 $M$ 本身。因为 $f\log f=o(g)$，存在 $n_0$ 使 $n\ge n_0$ 时 $Cf(n)\log f(n)<g(n)$。$M$ 有无穷多个编码（§2.1），取其中一个长度 $\ge n_0$ 的编码 $z$，即 $M_z=M$。于是 $D$ 在输入 $z$ 上能完成模拟：

1. $D(z)=M_z(z)$，因为二者判定同一个语言 $L$；
2. $D(z)=\overline{M_z(z)}$，因为 $D$ 完成模拟后把结果取反。

矛盾。所以 $L\notin \mathbf{TIME}(f(n))$。$\square$

两个前提各有用处：

• $\log f$ 因子来自通用机的模拟开销。$D$ 要在 $g(n)$ 步内模拟完一台 $f(n)$ 时间的机器，而模拟本身要 $f\log f$ 步，所以需要 $g$ 比 $f\log f$ 大。
• **“每台机器有无穷多个编码”**让我们能挑一个足够长的 $z$，使”渐近成立”的不等式 $Cf\log f<g$ 在 $|z|$ 处已经成立。

6.2 指数谱系

谱系定理的直接推论是 $\mathbf{P}⊊\mathbf{EXP}$：

$$\mathbf{P}\subseteq \mathbf{TIME}(2^n)⊊\mathbf{TIME}(2^{2n})\subseteq \mathbf{EXP},$$

中间一步成立是因为 $2^n\cdot n=o(2^{2n})$。同理可以一层层往上：

定义：指数谱系

$$\mathbf{EXP}=\bigcup _{c\ge 1}\mathbf{TIME}\left(2^{n^c}\right),2EXP=\bigcup _{c\ge 1}\mathbf{TIME}\left(2^{2^{n^c}}\right),3EXP=\bigcup _{c\ge 1}\mathbf{TIME}\left(2^{2^{2^{n^c}}}\right),\dots$$

$\mathbf{ELEMENTARY}=\mathbf{EXP}\cup 2EXP\cup 3EXP\cup \cdots$

由谱系定理，$\mathbf{EXP}⊊2EXP⊊3EXP⊊\cdots$。$\mathbf{ELEMENTARY}$ 中的问题能在高度为常数的指数塔 $2^{2^{{\cdots }^{2^{n^c}}}}$ 时间内解决；高度随 $n$ 增长的塔函数比所有这些都快。有些验证问题（例如某些程序验证问题）的复杂度甚至远超塔函数。

6.3 非确定时间谱系定理

非确定型也有谱系定理，但 §6.1 的证明不能照搬。问题出在”取反”：$D$ 要输出 $\overline{N(x)}$，就得确认 $N$ 的所有路径都拒绝（§5.2 的不对称）。非确定机器做不到这一点；确定型地枚举所有路径又要指数时间，远超 $g(n)$。

定理（非确定时间谱系定理，Seiferas-Fischer-Meyer 1978；Žák 1983 简化证明）

若 $f,g$ 时间可构造，且 $f(n+1)=o(g(n))$，则 $\mathbf{NTIME}(f(n))⊊\mathbf{NTIME}(g(n)).$

历史上，Cook（1973）先证明了 $1\le r(n)<r^{\prime }(n)$ 时 $\mathbf{NTIME}(n^r)⊊\mathbf{NTIME}(n^{r^{\prime }})$。这里没有 $\log$ 因子，因为 §5.5 的”通用”NDTM 只有常数倍开销；取而代之的是奇怪的 $f(n+1)$，下面会看到它的来源。

核心想法：懒惰对角线（lazy diagonalization）。既然取反很贵，就只在极少数输入上取反，并且只在取反负担得起时才做：

• 只考虑一元输入 $1^n$。把输入长度切成很长的区间 $(h_{i-1},h_i]$，第 $i$ 个区间专门对付第 $i-1$ 台机器 $L_{i-1}$。
• 区间内部（不取反，只”错位抄写”）：对 $h_{i-1}<n<h_i$，令 $Z(1^n)=L_{i-1}(1^{n+1})$。这只需非确定地模拟，无需取反，用 §5.5 的 $V$ 在线性时间内完成。
• 区间右端点（取反一次）：令 $Z(1^{h_i})=\overline{L_{i-1}(1^{h_{i-1}+1})}$。这里要取反的输入 $1^{h_{i-1}+1}$ 比当前输入短得多（区间极长），所以可以用确定型暴力法枚举所有路径算出结果，时间仍不超过 $h_i$。

若 $L_{i-1}$ 与 $Z$ 接受同一语言，错位抄写会把 $L_{i-1}$ 在左端点 $1^{h_{i-1}+1}$ 上的答案一路传到右端点 $1^{h_i}$，而右端点又规定了相反的答案，于是矛盾。

输入	$1^{h_{i-1}+1}$	$1^{h_{i-1}+2}$	$\cdots$	$1^{h_i-1}$	$1^{h_i}$
$Z$ 的定义	$L_{i-1}(1^{h_{i-1}+2})$	$L_{i-1}(1^{h_{i-1}+3})$	$\cdots$	$L_{i-1}(1^{h_i})$	$\overline{L_{i-1}(1^{h_{i-1}+1})}$

机器 $Z$ 的定义。 设 $L_1,L_2,\dots$ 是所有 NDTM 与 $2f(n)$-时钟硬连接后的有效枚举，所以每个 $L_i$ 都在 $2f(n)$ 时间内运行。

构造：Žák 的机器 $Z$

1. 输入带读写头与第一条工作带读写头同步向右全速扫描。若输入长度为 $1$ 或含 $0$，拒绝。第一条工作带上在第 $1$ 格写 $1$，此后大多写 $0$，偶尔写 $1$；写 $1$ 的位置依次记为 $h_0,h_1,h_2,\dots$，由第 2 步决定。
2. 扫描的同时，$Z$ 在第二条工作带上依次枚举 $L_1,L_2,\dots$。枚举出 $L_i$ 后，$Z$ 用暴力法计算 $L_{i-1}(1^{h_{i-1}+1})$；算完时，把结果记在第二条工作带上，并在第一条工作带读写头此刻所在的格子写 $1$，这个位置就是 $h_i$。
3. 输入为 $1^n$（$n>1$）时，扫描完输入后：
   • (a) 若 $n=h_i$，接受当且仅当 $L_{i-1}(1^{h_{i-1}+1})=0$；
   • (b) 若 $h_{i-1}<n<h_i$，用 $V$ 非确定地模拟 $L_{i-1}(1^{n+1})$ 至多 $g(n)$ 步。

$h_i$ 的取法保证了暴力计算”刚好赶上”：$h_i$ 就是扫描头在暴力计算结束时走到的位置，所以暴力计算的时间不超过 $h_i$。输入长度恰为 $h_i$ 时，答案在扫描结束时已经备好。

构造细节：第 2 步如何在线性时间内完成

枚举出 $L_i$ 后，$Z$ 暂停两条扫描头，做三件事：

• 利用第一条工作带上的标记，在第三条工作带上造出 $1^{h_{i-1}+1}$（只需在上次造好的 $1^{h_{i-2}+1}$ 后补 $h_{i-1}-h_{i-2}$ 个 $1$）；
• 把 $L_{i-1}$ 的编码从第二条工作带复制到第三条工作带；
• 把读写头移回暂停前的位置，恢复扫描，同时在第三条工作带上暴力计算 $L_{i-1}(1^{h_{i-1}+1})$。

每次暂停只往回看常数次，累计开销与扫描长度成线性。所以第 1、2 步总共 $O(n)$；第 3(a) 步只需读出已备好的结果；第 3(b) 步由 $V$ 完成，$O(g(n))$。

证明

$L(Z)\in \mathbf{NTIME}(g(n))$：由上，$Z$ 的总时间为 $O(n)+O(g(n))$。

$L(Z)\notin \mathbf{NTIME}(f(n))$：假设某 NDTM 在 $O(f(n))$ 时间内接受 $L(Z)$。由线性加速，可设其时间为 $2f(n)$，所以它出现在枚举 $L_1,L_2,\dots$ 中，而且出现无穷多次。取足够大的 $i$，使 $L_i$ 接受 $L(Z)$，且对所有 $n>h_i$，$V$ 模拟 $L_i(1^{n+1})$ 所需的 $O(f(n+1))$ 步不超过 $g(n)$（由 $f(n+1)=o(g(n))$）。于是

$$\begin{array}{rlrl}{L}_i(1^{h_i+1})& =Z(1^{h_i+1})& & \text{同一语言}\\ & =L_i(1^{h_i+2})& & \text{第 3(b) 步，模拟能完成}\\ & =Z(1^{h_i+2})& & \text{同一语言}\\ & ⋮& & \\ & =L_i(1^{h_{i+1}})& & \text{第 3(b) 步}\\ & =Z(1^{h_{i+1}})& & \text{同一语言}\\ & \ne L_i(1^{h_i+1})& & \text{第 3(a) 步取反}\end{array}$$

矛盾。$\square$

条件 $f(n+1)=o(g(n))$ 的来源：在长度 $n$ 的输入上，$Z$ 模拟的是 $L_{i-1}$ 在长度 $n+1$ 的输入上的计算，需要约 $f(n+1)$ 步，必须塞进 $g(n)$ 的预算。错位一格换来了”把答案沿区间传下去”，代价就是这个 $+1$。对 $f(n)=n^c$ 这样的多项式，$f(n+1)=O(f(n))$，条件就是通常的 $f=o(g)$。

7. Gap Theorem

由时间谱系定理，$\mathbf{TIME}(n^c)⊊\mathbf{TIME}(2^{n^c})$。自然会猜：对任意可计算全函数 $b$，是否都有

$$\mathbf{TIME}(b(n))⊊\mathbf{TIME}\left(2^{b(n)}\right)?$$

间隙定理说：不一定。若对时间函数不加限制，可以找到 $b$，使得多给指数倍的时间也解决不了任何新问题。这正是 §1.5 引入可构造性的原因。

7.1 间隙定理

定理（间隙定理，Trakhtenbrot 1964；Borodin 1972）

设 $r$ 是可计算全函数，$r(x)\ge x$。存在可计算全函数 $b$，使 $\mathbf{TIME}(b(n))=\mathbf{TIME}(r(b(n))).$

取 $r(x)=2^x$，就得到 $\mathbf{TIME}(b(n))=\mathbf{TIME}(2^{b(n)})$：在 $b(n)$ 与 $2^{b(n)}$ 之间是一段”空白地带”。

思路：找一段没有机器在其中停机的时间区间。 对每个输入长度 $i$，只关心前 $i+1$ 台机器 $M_0,\dots ,M_i$ 在长度为 $i$ 的输入上的运行时间。这些运行时间只有有限个。只要找到一个 $k$，使区间 $(k,r(k)]$ 内没有任何一个运行时间落入，就令 $b(i)=k$。这样，任何在 $r(b(n))$ 步内停机的机器，其实在 $b(n)$ 步内就已停机。

证明

构造互不相交的区间：$k_0=0$，$k_{j+1}=r(k_j)+1$，得到区间 $[k_0,r(k_0)],[k_1,r(k_1)],\dots$。

记 $P(i,k)$ 为性质：

对任意 $j\le i$ 和任意长度为 $i$ 的输入 $z$，要么 $M_j(z)$ 在 $k$ 步内停机，要么 $M_j(z)$ 在 $r(k)$ 步内不停机。

$P(i,k)$ 可判定：把这有限多个计算各运行 $r(k)$ 步即可。设 $M_0,\dots ,M_i$ 在长度 $i$ 的输入上共有 $n_i$ 个”（机器，输入）“组合，它们的停机时间至多 $n_i$ 个。每个停机时间至多落在一个区间里，所以在 $n_i+1$ 个区间 $[k_0,r(k_0)],\dots ,[k_{n_i},r(k_{n_i})]$ 中至少有一个不含任何停机时间（鸽巢原理）。于是存在最小的 $j\le n_i$ 使 $P(i,k_j)$ 成立，令 $b(i)=k_j$。$b$ 可计算，且对所有 $i$，$P(i,b(i))$ 成立。

设 $L$ 由某台 $M_g$ 在 $r(b(n))$ 步内判定。对 $|x|\ge g$，$M_g$ 属于 $M_0,\dots ,M_{|x|}$，由 $P(|x|,b(|x|))$：$M_g(x)$ 要么在 $b(|x|)$ 步内停机，要么 $r(b(|x|))$ 步内不停机。后者与假设矛盾，所以 $M_g(x)$ 在 $b(|x|)$ 步内停机。长度 $<g$ 的有限个输入用查表处理。因此 $L\in \mathbf{TIME}(b(n))$。$\square$

（$\mathbf{TIME}(r(b(n)))$ 还允许常数倍 $cr(b(n))$。处理常数是技术细节，可以在构造 $b$ 时把 $r$ 适当加大来吸收，这里从略。）

证明思路（通俗版）

• 想要什么：一个预算 $b(n)$，使得把预算放大到 $r(b(n))$ 也没用。
• 为什么可能：机器的运行时间只有有限个值，就像数轴上有限个点。把数轴切成一段段越来越长的区间 $[k,r(k)]$，有限个点不可能占满无穷多段，必有一段是空的。
• 怎么用：在长度 $i$ 上，把 $b(i)$ 定在一段空区间的左端。任何在 $r(b(i))$ 步内停机的机器，停机时间不会落在空区间里，所以必然 $\le b(i)$。
• 为什么只看前 $i+1$ 台机器：要让每个长度都只检查有限个计算，$b(i)$ 才可计算。代价是每台机器只在长度足够大时才”被照顾到”，前面的有限个输入用查表补上。

7.2 与谱系定理的关系

间隙定理与时间谱系定理并不矛盾，它说明的是谱系定理里的可构造性条件不能去掉：

• 若 $b$ 是时间可构造的，且 $r$ 增长得比 $n\log n$ 快（例如 $r(x)=2^x$），则 $b(n)\log b(n)=o(r(b(n)))$，谱系定理给出 $\mathbf{TIME}(b(n))⊊\mathbf{TIME}(r(b(n)))$，与间隙定理矛盾。所以间隙定理造出的 $b$ 不是时间可构造的。
• 直观上，$b$ 是”刻意避开所有机器停机时间”挑出来的，算出 $b(n)$ 本身就要运行很多机器很多步，根本无法在 $O(b(n))$ 时间内完成，所以不能用它来给机器装时钟。

这就是本讲反复强调”只关心可构造的时间函数”的原因：对可构造函数，时间越多、能力越强（谱系定理）；去掉这个限制，时间与能力之间的关系可以变得很怪异（间隙定理）。