3.4 熵与信息量

在 3.3 节中，控制论运用转移概率矩阵与马尔可夫链刻画了离散系统在时间进程中的持续状态演化。转移矩阵详细给出了从每一个当前状态出发走向所有潜在后继状态的条件概率分支。然而，如果我们要对不同信源的随机波动程度、不同通信信道的传输效能进行全局定量的比较，就必须寻求一个能够将整个离散概率分布完整归结为单一数值的统计测度——这便是克劳德·香农（Claude E. Shannon）在 1948 年奠定的信息熵（Information Entropy）（Shannon, 1948）。

本节将循序渐进地解决三个根本问题：一个给定的概率分布究竟蕴含着多少平均不确定性？观测与测量行为如何在数学上改变这一不确定性？当不可避免的信道噪声介入时，接收端所获得的状态序列与发送端的原消息之间究竟还共享多少有效信息？

3.4.1 熵的引入：两条来路

考察一个包含 \(n\) 个互斥状态的离散系统。若从当前状态出发，系统以完全平等的概率 \(1/n\) 跃迁至所有可能状态，系统的不确定性显然达到最大值（此时每个状态毫无特权，观察者无法形成任何倾向性预期）；反之，若系统以概率 0.999 转移至某个固定状态，其未来行为几乎被完全确定，不确定性降至极低（Ashby, 1956, S.9/11）。为了对这种处于“完全确定”与“完全混沌”之间的非均匀概率分布进行严格的定量标定，香农提出了现代信息论的核心公式：

阿什比在《控制论导论》（Ashby, 1956, S.9/11）中给出了一个生动的交通灯抽样例证：设城市交叉口的交通信号灯包含四种显示——红、红黄、绿、黄，其周期点亮时长分别为 25 秒、5 秒、25 秒与 5 秒（总周期 60 秒）。若一名驾驶员在完全不规则的随机时刻驱车到达路口，其观测到四种相位的先验概率严格对应于时间占空比：约 0.4167、0.0833、0.4167 与 0.0833。代入式 (3.4-1) 计算： \[ H \approx -2(0.4167 \log_2 0.4167) - 2(0.0833 \log_2 0.0833) \approx 2(0.5262) + 2(0.2987) \approx 1.6498\text{ 比特} \] 该数值严格介于确定性单态（0 比特）与 4 状态完全均匀分布（\(\log_2 4 = 2.0\) 比特）之间，精确刻画了非均匀分布的中间不确定性程度。

公式 (3.4-1) 的数学形式具有极其坚实的理论支撑，可以沿着两条完全独立的学术脉络严格推导：

第一条路径：公理化自信息与平均不确定性。 设事件 \(x_i\) 发生的先验概率为 \(p_i\)。一个直观的公理要求是：极其罕见、概率极低的事件一旦发生，应当给观察者带来巨大的“信息震撼”或“意外程度”；而必然发生（概率为 1）的事件发生时，没有带来任何新信息。数学家将单个事件的自信息量（Self-Information）定义为： \[ I(x_i) = -\log_2 p_i = \log_2 \frac{1}{p_i} \] 若两个独立事件 \(A\) 与 \(B\) 同时发生，联合自信息满足可加性公理：\(I(A \cap B) = -\log_2(p_A p_B) = -\log_2 p_A - \log_2 p_B = I(A) + I(B)\)。对于整个概率系统，观察者在单次试验前所面临的先验平均不确定性，正是所有可能状态自信息量的统计数学期望： \[ \mathbb{E}[I(X)] = \sum_{i=1}^n p_i I(x_i) = -\sum_{i=1}^n p_i \log_2 p_i = H(X) \]

第二条路径：无失真信源编码的最优极限。 设信源持续输出离散符号，为了通过二进制数字信道进行传输，必须为每一个可能符号 \(x_i\) 分配一个唯一的二进制二进制码字（其码长为 \(l_i\)）。为了使接收端在收到连续的比特流时能够毫无歧义地瞬间切分出各个符号，码字集合必须构成前缀码（Prefix Code，即任何码字均不能是另一个不同码字的前缀）。前缀码的可构造性完全由克拉夫特不等式（Kraft Inequality）约束：\(\sum 2^{-l_i} \le 1\)。香农无失真信源编码定理（Shannon's Source Coding Theorem）从数学上严格证明了： \[ \bar{L} = \sum_{i=1}^n p_i l_i \;\ge\; H(X) \] 即任何合法的二进制前缀编码方案，其平均码长绝对不可能低于信源的香农熵 \(H(X)\)；并且，只要通过霍夫曼编码（Huffman Coding）或香农-范诺编码，即可构造出平均码长严格满足 \(H(X) \le \bar{L} < H(X) + 1\) 的无损压缩码。若对长为 \(n\) 的符号块进行联合分组编码，平均每个符号的极限码长将以代数精度趋近于 \(H(X)\)（Shannon, 1948）。

两条路径在公式 (3.4-1) 上实现了完美的历史性会合：在认识论上，熵是主体面临未决系统时所待消除的认知不确定性；在通信工程中，熵是信源为了完整传输状态所必须在物理信道中支付的最小平均比特成本。

3.4.2 熵的形态：均匀则大，尖锐则小

作为概率向量 \((p_1, \ldots, p_n)\) 的多维实值函数，香农熵展现出极其优美的凸几何与泛函形态。概括而言，其数学特征主要包含下列三项核心性质：

1. 极值性（均匀分布取最大熵）：对于包含固定 \(n\) 个状态的任意完备离散概率分布，熵函数恒服从上界不等式： \[ H(p_1, p_2, \ldots, p_n) \;\le\; \log_2 n \] 等号成立当且仅当所有可能状态的概率严格相等，即 \(p_1 = p_2 = \cdots = p_n = 1/n\)。这一极值正是 3.1 节在无约束条件下对多样性的原始定义。由此，阿什比的多样性概念在数学上严格构成了香农熵在等概条件下的退化特例（Ashby, 1956, S.9/12）。

2. 集中性（分布越尖锐，熵值越小）：当概率质量从均匀分布向某几个优势状态集中时，熵值单调下降。若概率完全坍缩压倒性地集中于单一确定状态（\(p_k = 1\)，对其余 \(i \neq k\)，\(p_i = 0\)），则熵严格达到最小值 \(H = 0\) 比特（确定系统毫无不确定性）。图 3.4-1 清晰对比了一个包含 6 个状态的系统在均匀分布（\(H = 2.585\) 比特）与显著偏斜分布（\(H = 1.526\) 比特）下的形态差异。

3. 独立可加性与次可加性：对于二维联合随机变量 \((X, Y)\)，其联合熵恒满足次可加性：\(H(X, Y) \le H(X) + H(Y)\)，等号成立当且仅当 \(X\) 与 \(Y\) 统计独立。这一性质直接推广了 3.1 节状态向量的多样性次可加性公式 (3.1-3)。

进一步地，对于 3.3 节建立的时间齐次、平稳马尔可夫链，系统在持续运行过程中的不确定性生成速率由熵率（Entropy Rate）刻画。在平稳状态下，信源每步所产生的新不确定性，在数学上严格等于在已知当前状态的条件下的单步条件熵：

其中 \(\pi_i\) 为系统处于平稳状态时的先验分布概率，而 \(H(X_{t+1} \mid X_t = i) = -\sum_j m_{ji} \log_2 m_{ji}\) 恰好对应于转移矩阵第 \(i\) 列的列条件熵（Ashby, 1956, S.9/12）。以 3.3 节的池塘昆虫系统为例，表 3.4-1 列出了各区域的列熵与平衡权重。

将各列条件熵按平稳概率加权求和，即可得出该昆虫系统在时间流逝中平均每步生成的多样性速率：

3.4.3 信息量：自信息与平均熵差

在经典控制论与早期通信理论文献中，关于“信息量”（Quantity of Information）的定义曾一度存在着符号约定与测度维度的混淆。阿什比在 1956 年专门对此作了正本清源的梳理（Ashby, 1956, S.9/14）。为了彻底清除模糊性，现代控制理论必须在数学上严格区分三个不同层次的信息概念：

1. 单事件自信息量 \(I(x)\)：对于特定具体结果 \(x\)，\(I(x) = -\log_2 P(x)\)，其数值恒为非负，度量的是单个已知事实所承载的意外程度；
2. 单次观测后验熵变 \(\Delta H(y)\)：设系统状态为 \(X\)，观察者在获得了特定的观测测量值 \(Y = y\) 后，先验分布 \(P(X)\) 依据贝叶斯法则更新为后验条件分布 \(P(X \mid Y=y)\)。此时，该次具体观测所引起的熵变定义为： \[ \Delta H(y) = H(X) - H(X \mid Y = y) \] 必须极其郑重地强调：单次具体观测引起的熵变 \(\Delta H(y)\) 在数值上完全可以为负值！ 设想如下真实反例：某病患在初诊时，医生依据群体统计具有极高的把握认为其罹患普通流感，先验分布极度尖锐：\(P(\text{流感}) = 0.98\)，而另外两种罕见恶性疾病各占 \(0.01\)，初始先验熵仅为 \(H(X) \approx 0.16\) 比特。然而，随后的某项特异性血液化验却呈现出意外的阳性指标 \(Y = y^*\)，该结果断然排除了普通流感（使其后验概率归零），但由于该化验指标缺乏特异性，使得病患罹患另外两种恶性罕见病的概率完全均等（后验条件分布变为 \((0, 0.5, 0.5)\)）。此时，后验条件熵激增为 \(H(X \mid Y=y^*) = \log_2 2 = 1.0\) 比特。在这一次具体化验之后，医生的认知不确定性不仅没有减少，反而发生了剧烈的扩张： \[ \Delta H(y^*) = 0.16 - 1.0 = -0.84\text{ 比特} < 0 \] 这一严格的反例彻底粉碎了“任何单次消息都必然减少主观不确定性”的朴素教条。单次观测完全可能颠覆原有的伪确定性，将系统抛入更大的未决混沌之中；
3. 平均互信息量 \(I(X; Y)\)：若我们将观测可能出现的所有结果 \(Y\) 纳入全局统计平均，对所有后验熵变进行期望积分，便得出了现代通信理论中最核心的不变量——互信息（Mutual Information）：
   \[ I(X; Y) \;=\; \sum_y P(Y=y) \Delta H(y) \;=\; H(X) - H(X \mid Y) \]

   (3.4-3) 其中 \(H(X \mid Y) = \sum_y P(Y=y) H(X \mid Y=y)\) 为平均条件熵。由琴生不等式可严格证明：平均互信息量 \(I(X; Y) \ge 0\) 恒为非负，等号成立当且仅当 \(X\) 与 \(Y\) 完全统计独立。

由此可见：虽然单次特定观测可能使后验熵上升（\(\Delta H(y) < 0\)），但在统计平均意义上，引入相关的观测 \(Y\) 绝对不可能增加关于 \(X\) 的平均不确定性。这就是著名的“观测平均不增加熵”定理（\(H(X \mid Y) \le H(X)\)）。

在控制论历史文献中，诺伯特·维纳（Norbert Wiener）在《控制论》（Wiener, 1948）与《人有人的用处》（Wiener, 1950）中，习惯于将系统的不确定性测度取负号定义为 \(\sum p_i \ln p_i = -H\)，并在哲学上将其冠以负熵（Negative Entropy 或 Negentropy）的著名名称。图 3.4-3 展示了阿什比对香农熵与维纳负熵这两种符号读数的对称性对照（Ashby, 1956, S.9/14）。

3.4.4 疑义度：噪声在场时的信息量

在理想无干扰信道中，输入序列与输出序列一一映射，平均互信息达到最大值 \(I(X; Y) = H(X)\)。然而在真实的物理信道中，环境中不可控的宏观系统必然与信道发生不可消除的能量与热扰动耦合。在控制论中，这些与预定控制目标无关的扰动多样性统称为噪声（Noise）（Ashby, 1956, S.9/19）。

面对噪声污染，工程直觉常常试图用“错误符号所占的百分比”来衡量信道的质量。然而，阿什比深刻指出：符号误码率根本不能作为信息传输损失的完备测度（Ashby, 1956, S.9/21）。设想一条断裂的物理电报线：接收端完全与发送端物理脱耦，报务员只能靠在本地抛掷硬币胡乱记录 0 与 1。在统计平均上，该报务员记录的符号与发端依然会有约 50% 的吻合率（误码率为 50%）；然而任何具备科学常识的人都清楚，此时信道实际传输的有效信息量严格为零！这证明：判断信息传输的唯一科学判据，在于分析发送信号 \(X\) 与接收信号 \(Y\) 之间的统计相关结构。

为了定量计算在噪声存在时信道中究竟有多少信息被损毁、有多少信息成功抵达，香农提出了疑义度（Equivocation）测度（Shannon, 1948）。其形式化计算严格分为两步：

第一步，构建发端符号 \(X\) 与收端符号 \(Y\) 的二维联合概率矩阵 \(P(X=x_i, Y=y_j)\)，计算全系统的联合熵： \[ H(X, Y) = -\sum_{i} \sum_{j} P(x_i, y_j) \log_2 P(x_i, y_j) \] 第二步，对收端接收符号求边缘分布 \(P(Y=y_j) = \sum_i P(x_i, y_j)\)，计算接收端的边缘熵 \(H(Y)\)。
两者之差即被定义为信道的疑义度 \(E\)：

基于疑义度，信道实际有效传输的信息速率（即互信息）严格确定为：

考察图 3.4-4 所展现的三状态非对称信道模型。信源输入分布为 \((0.70, 0.20, 0.10)^\top\)（信源熵 \(H(X) \approx 1.1568\) 比特）。由于受到随机噪声扰动，信号在信道传输中有 30% 的概率发生随机重抽样，导致部分符号发生混叠。表 3.4-2 给出了完整的二维联合概率分布。

对表 3.4-2 进行精确数理测算： \[ H(X, Y) = -\sum_{i=1}^3 \sum_{j=1}^3 P(x_i, y_j) \log_2 P(x_i, y_j) \approx 2.0787\text{ 比特} \] 受端边缘熵为： \[ H(Y) = -0.59 \log_2 0.59 - 0.24 \log_2 0.24 - 0.17 \log_2 0.17 \approx 1.3778\text{ 比特} \] 由此求出系统的疑义度： \[ E = H(X \mid Y) = H(X, Y) - H(Y) \approx 2.0787 - 1.3778 = 0.7009\text{ 比特} \] 最终得出跨越该噪声信道实际传输的有效信息速率： \[ R = I(X; Y) = H(X) - E \approx 1.1568 - 0.7009 = 0.4559\text{ 比特/符号} \] 在发端所提供的 1.157 比特多样性中，超过 60% 的有效性被噪声疑义度所吞噬，接收端真正获取的互信息仅剩 0.456 比特。

由此，香农建立了信息论中最宏伟的里程碑——离散信道容量（Channel Capacity）与有噪声信道编码定理（Noisy-Channel Coding Theorem）（Shannon, 1948, §13–14）： \[ C \;=\; \max_{P(X)} I(X; Y) \] 信道容量定义为在信道物理转移概率给定的前提下，通过最优化发端输入符号分布 \(P(X)\) 所能榨取出的最大可能互信息速率。香农定理断言：只要实际传输速率严格低于信道容量（\(R < C\)），无论信道存在多么严重的连续随机噪声，在数学上必然存在某种充分长的分组编码方案，使得随着码长 \(n \to \infty\)，接收端的译码块错误概率可以被任意压低至逼近于零！阿什比高度评价了这一成就，并据此推论生物大脑皮层之所以配备极其丰富的神经纤维平行通道，其核心功能正是利用分布式大样本编码逼近神经信道的容量极限，从而在充满生化热噪声的湿性大脑组织中维持极其稳定精确的思维控制（Ashby, 1956, S.9/22）。

3.4.5 与热力学熵的亲缘与界限

当审视香农熵公式 (3.4-1) 时，任何物理学学者都会立刻联想到统计力学中著名的路德维希·玻尔兹曼（Ludwig Boltzmann）与约西亚·威拉德·吉布斯（J. Willard Gibbs）熵公式：

这一惊人的数学同构引发了二十世纪中叶系统哲学长达数十年关于“信息是否等同于物理负熵”的激烈论战。维纳在《人有人的用处》中热情地断言：“正如熵是物理系统无序度的测度一样，一组消息所携带的信息正是组织有序度的测度”（Wiener, 1950，第一章）；埃尔温·薛定谔在《生命是什么》中亦提出了生命有机体以“负熵为食”的著名警句（Schrödinger, 1944）。

然而，作为极其冷静严谨的理论控制论大师，阿什比坚决划清了两者的物理界限，并对学术界松散泛滥的口头比附提出了严肃的警告（Ashby, 1956, S.9/11, S.9/13）：

现代量子物理与计算理论的发展（特别是罗尔夫·兰道尔与查尔斯·贝内特的工作）在深刻的微观物理机制上重新统一了两者的深层关联——兰道尔极限（Landauer's Principle）确证：在环境温度为 \(T\) 的热库中，计算机物理擦除 1 比特信息（使状态集合的多样性发生单值汇流衰减），在热力学上必须向外界耗散至少不低于下限的物理热量（Landauer, 1961）： \[ \Delta Q \;\ge\; k_{\text{B}} T \ln 2 \] 这一发现最终从现代物理学角度为麦克斯韦妖（Maxwell's Demon）做出了判决：麦克斯韦妖之所以无法打破热力学第二定律，正是因为其记忆元件在记录分子速度信息并在随后的循环中擦除旧记忆时，必须向热库释放等量的物理熵。多样性、信息与物理世界在最严苛的能量守恒线上达成了终极统一。

在有噪声信道中，疑义度 \(E\) 精确量化了信息因受到随机物理扰动所蒙受的损失。然而，工程系统与生命有机体究竟如何构建冗余防御工事以彻底战胜噪声？从底层的比特差错纠正跃升至人类语言与意识的语义层混淆，信息论又将面临何种新的质变？这正是我们在 3.5 节所要攻克的最终课题。