信息处理和热力学熵
该文章翻译自Information Processing and Thermodynamic Entropy (Stanford Encyclopedia of Philosophy)
引言
为了证明统计力学的一致性，信息处理的原理是必要的吗?单次计算操作的物理实现是否存在基本的热力学代价，或者纯粹是由于其本身的逻辑性?这两个问题恰恰是西拉德热机(麦克斯韦恶魔思想实验的变体)、兰道尔原理(被认为体现了计算热力学的基本原理)以及大量其他的与两者相关的文献的讨论核心。接下来本文将尝试来回答这些问题。
1. Maxwell，Szilard 和 Landauer
1.1 麦克斯韦恶魔
1.2 希拉德热机
1.3 兰道尔原理
2. 统计力学和热二律
2.1 哪一种熵（Which Entropy?）
即使在表象热力学中，热力学熵的定义也很难被精确定义，但是可以通过很多途径来来逼近。传统方式是基于卡诺，开尔文和克劳修斯等人的工作给出表述，以下将讨论他们的工作。
一个封闭的热力学系统是一个和环境只进行功热交换的系统。对系统做功可以使得一个具有重力势的物体下降，被提取的功可以使得物体上升，这项工作可以通过操纵系统的外部可控参数(如调节含有气体的密封盒的体积)或通过其他手段(如在气体内驱动桨轮，搅拌气体)来完成。热通过与系统热接触的热浴进行交换，并且这些热浴可以有多个具有不同温度。一个闭合循环指的是，在一系列操作之后使得系统在结束与开始时为相同的热力学状态，但物体的重力势可能会发生改变，也可能与单个热浴交换热量。
根据经验观察，在任何封闭循环中，其唯一结果是向温度为$T_i$的热浴中产出热量$Q_i$，(需要做功$W=\sum_{i} Q_i$)，表示为克劳修斯不等式:
$\sum_{i} \frac{Q_i}{T_i}>=0$
克莱修斯对热力学第二定律的表述为：
不可能有这样一个循环过程，使得热量从低温物体传向高温物体而不引起其他变化。
开尔文对热力学第二定律的表述为：
不可能制成一种循环动作的热机，从单一热源取热，使之完全变为功而不引起其它变化。
开尔文和克劳修斯在卡诺的基础上，表示不等性对于所有的封闭循环都是成立的。温度是绝对温度，可以通过理想气体温度计测量。
现在我们假设存在这样一个过程，系统的状态由A变化为B，同时向温度为$T_i$的热池传递了$q_i$的热量；对于逆过程即从B变为A，向温度为$T_i$的热池传递的热量是$q_i'$，满足下列等式：
$\sum_{i}^{} \frac{q_i}{T_i} +\sum_{i}^{} \frac{q_i'}{T_i}=0$
由不等式可知，假设对于任意一个过程，系统从A转化为B，对温度为$T_i$的热池产生了$Q_i$的热量，则：
$\sum_{i}^{} \frac{Q_i}{T_i} +\sum_{i}^{} \frac{q_i'}{T_i}\ge0$
因此：
$\sum_{i}^{} \frac{Q_i}{T_i} \ge \sum_{i}^{} \frac{q_i}{T_i}$
其中$\sum_{i}^{} \frac{q_i}{T_i}$表示系统从A转化为B的所有可能的路径中最小产生的热量下限，克劳修斯的见解是，当系统在两种状态之间变化时，通过测量传递到热池的热量，可以用来定义热力学状态的函数，即热力学熵$SΘ$可以表示为：
$S \theta(A)-S \theta(B)=\sum_{i}^{} \frac{q_i}{T_i}$
由上面可知，对于任何过程，满足：
$\sum_{i}^{} \frac{Q_i}{T_i} \ge \sum_{i}^{} \frac{q_i}{T_i}$
因此对于任意过程满足：
$\sum_{i}^{} \frac{Q_i}{T_i} \ge S \theta(A)-S \theta(B)$
因此，从状态A到状态B的绝热过程(不产生任何热量)，只有可能熵增，即：$SΘ(A)≤SΘ(B)$
热力学熵的定义依赖于满足不等式取等号的循环过程（也就是可逆过程）。热力学状态之间存在这样的过程，可以确定这些状态之间的熵差，并扩展到所有状态，定义了一个全局唯一的热力学熵函数(直到重新缩放$S'=a^{-1}S+b$，其中a和b是常数，a是温度尺度上的乘法常数)。注意，如果存在非可逆过程的状态转换，仍然可以给出某种熵的定义，使得对于所有可能的路径满足：
$\sum_{i} \frac{Q_i}{T_i}>=S \theta(A)-S \theta(B)$
但是熵值不能被唯一确定，因为很多熵的表述形式都满足这些不等式。
对于一个循环过程，不等式相等的条件一般是准静态可逆过程。在这些过程中，系统的状态变量(如温度、体积和气体的压力)发生了无限小的变化，并且这种变化可以通过与热浴相等或相反的无限小的热交换向任何方向进行。这些热交换通常只有在系统与热浴处于热平衡时才可逆。
为了使状态变量的变化是无穷小的，状态空间必须是连续的。状态序列将由状态空间中的连续曲线表示。通过这些无穷小的变化连接A和B的曲线用积分代替了求和。$T_i$可以被系统的温度$T$取代，而热量$dQ$，现在是系统吸收的热量:
$S \theta(A)-S \theta(B)=\int_{A}^{B} \frac{dQ}{T} $
克劳修斯不等式确保了这个值对于从A到B的所有准静态可逆路径都是相同的。应该注意的是，准静态可逆路径是一种理想状态，只有在无限慢过程的极限下才能到达。
只有克劳修斯不等式成立的情况下，这个热力学熵才是热力学状态的一致定义的单值函数。然而，如果麦克斯韦恶魔存在，那么克劳修斯不等式似乎就不成立了。为了进一步研究，有必要考虑熵的统计力学一般化。
对于统计力学，我们需要考虑微观状态空间和状态在该空间中的动态演化。经典地说，这是一个相空间，有n个体系统有3N个位置自由度和3N个动量自由度。相空间中的一个点对应于所有N个物体的组合物理状态。动力学几乎总是被认为是哈密顿的。哈密顿流保留了测度dX3NdP3N。这个测度可以用来定义相空间$R$区域的体积$V_R$，即为：
$V_R=\int_{R}^{} dx^{3N}dp^{3N} $
一个非常重要的结论是刘维尔定理，它表明，当一组状态通过哈密顿演化时，该状态集所占据的相空间体积不会改变。
玻尔兹曼熵，$S_B=k\ln_{W} $，被广泛认为是统计力学中热力学熵最自然的类比。它表征了个体微观状态的属性。状态空间被划分为许多不同的区域，而$S_B$是根据微状态所归属的状态空间区域的体积$W$来定义的。给定区域内的所有微观状态都具有相同的玻尔兹曼熵。
有许多方法可以将状态空间划分为不同的区域。最常见的一组微观状态集合，它们符合诸如宏观上或观察上不可区分的标准，或者随着时间的推移，微观状态的演化是可访问的。对于这里考虑的系统，这些方法通常定义相同的区域。我们可以按照惯例将这些区域称为宏观状态，但在描述仅由单个分子组成的系统时，承认这个术语有点不合适。例如，在西拉德热机的例子中，当没有分割时，系统的宏观状态由盒子中分子所处的所有微观状态的集合组成。当分区插入盒子时，宏观状态是所有微观状态的集合，其中分子的位置与分子的实际位置在分区的同一侧。我们有时会提到宏观状态的玻尔兹曼熵:这只是宏观状态下微观状态的玻尔兹曼熵。
玻尔兹曼熵$S_B$并不能保证是非递减的。虽然根据对玻尔兹曼-H定理的可逆性和递归性的反对，已知$S_B$的降低是可能的。虽然单个微观状态可以从大容量宏观状态进化到小容量宏观状态，但刘维尔定理保证，在哈密顿进化下，只有一小部分微观状态可以从较大的宏观状态进化到较小的宏观状态。从玻尔兹曼熵的对数形式来看，按体积计算的比例为$p<=e^{ΔS_B/k}$ ($ΔS_B$表示两个宏观状态之间玻尔兹曼熵的减少量)。如果可以假设微观状态在宏观状态的给定子区域中的概率与子区域的相空间体积成正比，这就给出了爱因斯坦涨落公式。之所以广泛使用这一假设，是因为它是对统计力学基础更重要的挑战之一。
根据刘维尔定理，如果初始宏观状态中所有的微观状态(直到一组测度为零的状态)演化为相同的最终宏观状态，则最终宏观状态的玻尔兹曼熵不能小于初始宏观状态的玻尔兹曼熵。这是一个宏观确定的过程。宏观不确定过程是一个微观状态以相同的初始宏观状态开始，最终以不同的最终宏观状态结束的过程。Penrose(1970，第五、六章)详细分析了这类过程的玻尔兹曼熵的变化问题。在尝试证明概率与相空间体积成比例后，他认为即使玻尔兹曼熵的平均值对于宏观不确定过程也会减少。对于一个最初处于宏观状态，且玻尔兹曼熵为$S_B$的系统，有$p_i$的概率演化为玻尔兹曼熵为$S_{Bi}$的宏观系统，是可能出现$\sum{i}p_iS_{Bi}<S_B$的情况的，甚至对于任意的$i$满足$S_{Bi}<S_B$也是有可能的。然而，Penrose指出，这种减少受制于条件，即$\sum{i}p_i(S_{Bi}-kln_{p_i}) \ge S_B$，Pensose表示当离散宏观态满足某个概率分布$p_i$时，应该使用改进的熵表示形式$S_P=\sum{i}p_i(S_{Bi}-kln_{p_i})$。这样的统计学熵即使对于宏观不确定过程来说也是非减的。
统计力学的Gibbs方法是基于状态空间上的概率分布，$p(X_{3N}, P_{3N})$，而不是单个微观状态的性质。分布的吉布斯熵用$S_G =−k\intp(X_{3N}, P_{3N}) ln_{p(X_{3N}, P_{3N})} dX_{3N}dP_{3N}$来定义。如果状态空间被划分为若干个不同的宏观态$R_i，$，则第$i$个宏观态的吉布斯熵为:
$S_{Gi} =−k\int{R_i}p(X_{3N}, P_{3N}|i) ln_{p(X_{3N}, P_{3N}|i)} dX_{3N}dP_{3N}$
对于Szilard的热机和Landauer的原理，人们普遍认为，数值计算允许我们通过调整单个相加常数，是的对于所有宏观状态都有$S_{Bi} = S_{Gi} = S_{Gi}'$(这相当于说，对于每个熵的定义，宏观状态之间的熵差是相同的)。在宏观状态没有不确定性的情况下，也可以假定$S_B = S_P = S_G = S_G'$。这使得文献中出现了大量关于“熵”的讨论，却在其中不包含熵的具体说明。尽管这种做法可能导致混乱，但它避免了在不同熵一致的情况下不必要的繁琐语言。然而，当一个论证只对某个特定的熵有效时，或者当这些熵不一致时，应该清楚地说明涉及哪个熵。
2.2 哪一个热二律？
原子物理学给出了演化到更低热力学熵的状态的可能性。因此，对麦克斯韦恶魔的驱除，不能被认为是熵非减的声明，因为这是绝对可能的。Smoluchowski提出，并不是要彻底驱除麦克斯韦妖，而是认为麦克斯韦妖不可能违反修正后的第二定律。他提出了第二定律的修正公式，即恶魔无法可靠地连续地工作。这样的恶魔，虽然没有被驱除，但可以被认为是“被驯服了”。一个驯服的恶魔可以产生(在Earman和Norton(1998)的术语中)对第二定律的“直接”违反，但不是“修饰”违反，在这种情况下，直接违反被以一种可靠的、连续的方式产出功。
3. 需要信息处理的统计力学
3.1
3.2 没有恶魔的热机
3.3 记忆与擦除
兰道尔的工作间接地导致了对希拉德论点的批评，尽管兰道尔没有直接解决希拉德热机或麦克斯韦妖的问题。兰道尔相信逻辑上不可逆的操作是计算的必要部分，而这些过程会产生热量。尽管可以用逻辑可逆操作来模拟逻辑不可逆操作，但不能忽略的是存储额外的信息比特也会带来成本。为了避免储存并完成一个热力学循环，需要将这些额外比特位重置为0，同时伴随着一定的熵成本。
与此类似的推断是Penrose1970年发表的一个观点，他推断玻尔兹曼熵的平均值可能下降，但只在宏观不确定过程中下降。这种下降是有界的。也就是说，如果一个宏观不确定过程初始时处于玻尔兹曼熵为$S_0$的确定宏观态，以$p_i$的概率演变为玻尔兹曼熵为$S_i$的其他宏观态，则$S_0−⟨S_i⟩≤−k⟨ln_{p_i}⟩$。他进一步地推断出，如果一个系统初态的彼此不同的玻尔兹曼熵表示为$S_i$，对应的概率为$p_i$，终态不一定是确定性状态$S_f$，除非$S_f-<S_i> \le -kln_{p_i}$。否则，两个过程的连续将直接导致一个熵减的宏观确定性过程($S_f < S_0$)。
Penrose直接将该理论应用到了希拉德热机的难题上。隔板的插入对应于一个宏观不确定的过程。插入后，分子处于两种可能的宏观状态之一，在任何一种情况下，玻尔兹曼熵都减少了$kln_{2}$。然而，这种减少不能直接拿来提取$kTln_{2}$的热量，使分子再次处于占据整个盒子的宏观状态。如果存在着这么一个过程能够直接利用这部分减少，与先前的隔板插入的动作组合为一个确定性的玻尔兹曼熵减的宏观过程。Penrose已经从基本原理层面论证了宏观确定性过程不可能导致玻尔兹曼熵的减少。
然后他考虑加入一个恶魔，并将同样的观点应用到热机和恶魔的组合系统中。现在他得出结论，可以让分子处于占据整个盒子的宏观状态，但只能让恶魔不确定地处于若干宏观状态之一。恶魔宏观状态的概率分布的额外统计熵补偿了热浴中的熵减少。消除恶魔状态的统计分布只有在热浴中熵值增加的代价下才有可能。
3.4 算法复杂度
3.5 声 vs
3.6 恶魔的存在
4. 使用统计力学的信息处理
5. 量子力学的引入
