第3章 · 3.2

3.2 多样性的传输

Transmission of Variety
本节系统考察可能性空间跨越物理子系统的流动与映射机制。首先将多样性概念与机器的耦合理论深度融合,严格界定消息与传输的本质;其次建立编码与解码的数学表述,证明单射变换(一一对应)是实现无损通信与确定性解码的充分必要条件;继而通过延迟元件与函数反查,形式化构造能够自动恢复原消息的逆变换器机器;随后严格导出多样性传输的基本定律——确定性无源系统绝不可能凭空创造多样性,封闭反馈回路亦无法诱发多样性的自发再生;最后建立离散信道容量的步率上限,解析以时间序列换取信道截面瓶颈的补偿机制,为后续分析随机信道奠定确定性动力学基准。

3.2.1 传输即耦合

在 3.1 节中,控制论确立了针对可能性集合的对数测度:集合中可分辨状态的数量称为多样性,而对可能状态空间的限制与缩减则定义为约束。然而,测度本身仅仅是分析的起点;控制论的核心使命在于刻画动力学过程:一组蕴含着不确定性的可能性集合,如何进入一台机器,经历物理形式的改写,进而传递至另一台机器中并驱动其行动。

阿什比在《控制论导论》(Ashby, 1956, S.8/1)中提出了这一核心课题:在输入端呈现的消息集合,与在输出端随之显现的响应集合——后者通常以某种经过编码(Coding)的形式出现——之间存在着何种严格的数理约束?其基本结论是:只要物理系统满足确定性机器的公理,多样性的传输过程便完全受制于清晰的变换几何学,可以进行无可辩驳的形式化推演。

多样性传输的物理载体,正是第二章(2.3 节)所建立的机器耦合(Coupling of Machines)。当两台机器通过输入-输出界面相互连接时,主导系统的状态输出直接施加于从属系统的参数输入之上,从而在每一步实时选定从属系统所要执行的状态转移变换。基于这一动力学基础,控制论对“消息”给出了完全剥离日常主观色彩的形式化定义:

定义

消息(message):凭借两个或多个系统之间的物理耦合,既作为前一级系统的输出状态,又同时充当后一级系统输入参数的时序状态序列(Ashby, 1956, S.8/5)。状态通常表示为离散符号或连续向量。在此定义中,消息附带的语义内容与主观意图被完全悬置,系统科学仅严格考察物理状态序列如何在动力学规律支配下跨界面演化。

由此必然推得一个极其深刻的认识论推论:在物理信道中所传输的实体,本质上只能是多样性。单个孤立的物理事件因其完全确定而谈不上任何传输:如果某一信道在所有时刻恒定处于唯一不变的状态,接收端无法在其上观测到任何区别,该信道所传输的多样性即严格为零。唯有当信源存在着多种潜在可能状态,且发送端与接收端能够建立起状态之间的差异对应时,真正的传输才在物理上发生。

案例分析

大风警报的多级物理变换链:考察气象台向公众发布大风预警的完整物理链条。该消息的起源,是气象学者大脑皮层神经元网络中具有特定电生理时空模式的脉冲活动;随后驱动手指骨骼肌收缩,在纸张上留下具有特定几何拓扑的墨迹;该墨迹经播音员视网膜上的光感受器光化学反应转化为视神经的动作电位序列,继而由中枢神经协调唇、齿、声带肌肉运动,在空气中激发出连续的声学压力波;声波推动受话器膜片振动,转化为时变电压信号;该电信号经高频电磁振荡调制后以无线电波形式向空间辐射;远端天线感应出微弱高频电流,经解调放大驱动扬声器纸盆,再次在听众室内激发出空气声波;声波引起鼓膜与听小骨机械振动,经耳蜗毛细胞换能为听神经上传的电化学冲动,最终在听者的听觉中枢重现该警报模式(Ashby, 1956, S.8/2)。

在这一短短的过程中,实体经历了不下十六次极其激烈的物理介质跃迁与能量形态转换。信号的物理外观已经发生了面目全非的改变(从细胞去极化到墨迹、从气压波到电磁场),然而,某种抽象的实体却在所有这些连续变换中被严格完整地保持了下来——被保持下来的正是可分辨状态的多样性及其映射关系。每经历一次物理介质的交接,系统便完成了一次物理编码的重构。

自然界与工程中编码形式的繁多与复杂往往令人望而生畏,但其数学本质却极其简明。若将一个单射编码作用于消息序列,随后对其编码结果再次施加第二个单射编码,如此反复叠加多次——尽管最终呈现的物理编码模式看似极度混乱纠缠,使得解码过程看似必须执行对应次数的反向操作;然而从近世代数角度考察,有限个单射变换的复合映射依然是唯一的单射变换,其总体效果在数学上完全等价于单独施行某一个确定的单射编码,只需一次求逆操作即可将原消息彻底复原(Ashby, 1956, S.8/3)。洗牌操作便展现了这一特性:将一副排序规则的扑克牌反复洗切多次,尽管表面上牌序已被充分打乱,但每次切牌都是牌序全排列集合上的一个双射置换,总体依然是群结构下的单个双射,系统内部所固有的多样性毫发无损。

3.2.2 编码即变换,解码即求逆

为了建立通用的编码数学理论,控制论从经典密码学与抽象代数中汲取方法,将“码”的概念从局部的字符映射彻底上升为全局集合上的变换(Ashby, 1956, S.8/4)。不论密码机制是单表置换、双字母对替代表、序列重排还是任意分组密码,其数学本质均表现为定义在整条消息集合 \(\mathcal{M}\) 上的算子变换:

\[ U\colon \mathcal{M} \to \mathcal{C}, \qquad M_i \mapsto C_i = U(M_i) \]

其中 \(M_i \in \mathcal{M}\) 为待传输的原消息,\(C_i \in \mathcal{C}\) 为其对应的编码形式。若密码体制依赖于密钥,则密钥的取值本质上构成了编码变换器的参数输入:密钥的不同取值直接选定了一个特定的映射变换 \(U_k\)。

在此形式化框架下,解码(Decoding)在数学上严格等价于求解逆变换:寻找一个逆映射 \(V\colon \mathcal{C} \to \mathcal{M}\),使得对任意编码形式 \(C_i\),恒有 \(V(C_i) = M_i\)。映射 \(V\) 称为 \(U\) 的逆变换,记作 \(U^{-1}\)。根据映射理论的基本定理:一个变换存在单值逆变换的充分必要条件是该变换为单射(一一映射)(Ashby, 1956, S.8/4)。其数理直觉极为清晰:若存在两个互不相同的原消息 \(M_i \neq M_j\) 经过变换 \(U\) 后映射为同一个编码状态 \(C_k\)(发生状态碰撞),接收端在收到 \(C_k\) 时便面临逻辑上的歧义,无法以单值确定性判定发端最初究竟发送了何种消息;反之,若 \(U\) 是单射,则每一个编码结果反向寻迹时均有且仅有一条唯一的源路径。

结合 3.1 节的多样性测度,该定理可严格表述为容量测度关系:

\[ |U(\mathcal{M})| \;\le\; |\mathcal{M}|, \qquad V\bigl(U(\mathcal{M})\bigr) \;\le\; V(\mathcal{M}) \]
(3.2-1) 其中 \(\mathcal{M}\) 为可能消息的先验集合,\(U(\mathcal{M})\) 为编码输出集合。等号成立当且仅当变换 \(U\) 在 \(\mathcal{M}\) 上是单射——等号即代表完全无损的无失真编码,严格不等号则标志着不可逆的信息损失。

当编码过程由具体的自动化机器实现时,该机器在控制论中被称为换能器(Transducer)——即带有输入参数的确定性状态机(Ashby, 1956, S.8/5;Shannon, 1948)。换能器的下一时刻状态 \(X_{t+1}\) 由其当前时刻状态 \(X_t\) 以及输入参数 \(P_t\) 共同唯一确定:\(X_{t+1} = f(X_t, P_t)\)。表 3.2-1 给出一台包含 4 个内部状态(\(A, B, C, D\))与 3 个输入参数(\(Q, R, S\))的经典离散换能器转移函数表。

输入参数 \(P\)当前状态 \(A\)当前状态 \(B\)当前状态 \(C\)当前状态 \(D\)
\(Q\)\(C\)\(C\)\(A\)\(B\)
\(R\)\(A\)\(C\)\(B\)\(B\)
\(S\)\(B\)\(D\)\(C\)\(D\)
表 3.2-1 离散换能器 \(M\) 的状态转移函数表(据 Ashby, 1956, S.8/5 规范化)。列表示当前内部状态,行表示当前输入参数,交叉项为下一时刻所转移达到的状态。

给定换能器的转移矩阵、预设的初始状态以及输入的参数符号序列,换能器的运行轨迹是完全确定且毫无歧义的。例如,若系统固定从初始状态 \(A\) 出发,输入序列为 \(R, Q, S\),其状态转移轨迹严格为:\(A \xrightarrow{R} A \xrightarrow{Q} C \xrightarrow{S} C\),输出的状态流即为编码结果。

习题 3.2-1

换能器编码对初始状态的敏感性分析:采用表 3.2-1 所定义的换能器转移函数。
(1)设系统从初始状态 \(C\) 出发,连续输入参数序列 \(S, S, Q, R\),逐步写出系统的内部状态转移轨迹及对应的输出序列(包含初态与各步状态);
(2)设系统从初始状态 \(D\) 出发,输入相同的参数序列 \(S, S, Q, R\),写出对应的状态转移轨迹与输出序列;
(3)对比(1)与(2)的结果,分析换能器的编码输出对系统初始状态的依赖性,并阐明若要将确定性换能器作为可靠编码器使用,通信双方必须达成何种先验协议?

参考解答

(1)从初始状态 \(C\) 出发: \[ C \xrightarrow{S} C \xrightarrow{S} C \xrightarrow{Q} A \xrightarrow{R} A \] 包含初态的完整状态轨迹为 \(C, C, C, A, A\);若仅记录转移输出,输出序列为 \(C, C, A, A\)。

(2)从初始状态 \(D\) 出发: \[ D \xrightarrow{S} D \xrightarrow{S} D \xrightarrow{Q} B \xrightarrow{R} C \] 包含初态的完整状态轨迹为 \(D, D, D, B, C\);输出序列为 \(D, D, B, C\)。

(3)结果对比与控制论涵义:面对完全相同的输入参数消息串 \(S, S, Q, R\),当换能器处于不同初始状态时,所生成的编码输出序列(\(C, C, A, A\) 与 \(D, D, B, C\))完全不同。这严格表明:带输入的换能器所执行的映射,并非仅仅依赖于输入序列本身,而是依赖于“初始状态-输入序列”的二元组。因此,若要将物理换能器作为标准编码器使用,必须将系统的一个标准初始基态(例如约定统一复位钉死在状态 \(A\))作为通信协议的不可分割部分,并确保接收端确切知悉该初态基准;否则全局编码映射 \(U\) 将退化为非良定映射,导致逆向解码完全不可能(Ashby, 1956, S.8/5)。

检验一台换能器是否构成合格的无损编码器,唯一客观的判定标准在于:其所生成的编码映射是否严格具备单值逆变换。阿什比对表 3.2-1 的换能器执行了详尽检验(Ashby, 1956, S.8/6)。设输入消息由 2 个参数符号组成,每个符号从 \(\{Q, R, S\}\) 中独立选取,可能的消息全集共包含 \(3^2 = 9\) 条;换能器约定统一从标准基态 \(A\) 出发。表 3.2-2 列出了全部 9 条消息经该换能器映射生成的两步输出状态。

输入消息序列 \(M\)逐步状态转移路径(固定从 \(A\) 出发)输出状态序列 \(C\)
\(QQ\)\(A \xrightarrow{Q} C \xrightarrow{Q} A\)\(CA\)
\(QR\)\(A \xrightarrow{Q} C \xrightarrow{R} B\)\(CB\)
\(QS\)\(A \xrightarrow{Q} C \xrightarrow{S} C\)\(CC\)
\(RQ\)\(A \xrightarrow{R} A \xrightarrow{Q} C\)\(AC\)
\(RR\)\(A \xrightarrow{R} A \xrightarrow{R} A\)\(AA\)
\(RS\)\(A \xrightarrow{R} A \xrightarrow{S} B\)\(AB\)
\(SQ\)\(A \xrightarrow{S} B \xrightarrow{Q} C\)\(BC\)
\(SR\)\(A \xrightarrow{S} B \xrightarrow{R} C\)\(BC\)
\(SS\)\(A \xrightarrow{S} B \xrightarrow{S} D\)\(BD\)
表 3.2-2 两符号消息集经表 3.2-1 换能器编码后的输出状态对照表(据 Ashby, 1956, S.8/6 测算)。9 条互异的输入消息在输出端仅生成 8 种可分辨编码形式,其中消息 \(SQ\) 与 \(SR\) 发生了完全的状态汇流。

表 3.2-2 暴露了一个致命的缺陷:在发端输入的 9 条互不相同的消息中,消息 \(SQ\) 与 \(SR\) 均在输出端产生了完全相同的状态序列 \(BC\)。因此,编码输出集的多样性从输入的 9 种不可逆地缩减至 8 种。对于接收端而言,当收到序列 \(BC\) 时,没有任何物理或逻辑手段能够确定发端当初究竟发出了 \(SQ\) 还是 \(SR\)。图 3.2-1 形象地展现了单射编码与多对一汇流编码的代数拓扑结构对比。

一一编码:拓扑可逆,多样性严格保持 M₁ M₂ M₃ M₄ C₁ C₂ C₃ C₄ 正向编码 U 逆向解码 U⁻¹ 多对一编码:状态汇流,逆向不可恢复 M₁ M₂ M₃ M₄ C₁ C₂ C₃ ? 收到 C₂ 时逻辑歧义:发端究竟是 M₂ 还是 M₃?
图 3.2-1 编码与解码的双向拓扑映射图。左侧:单射(一一)编码,正向与反向均构成确定性双射映射,状态多样性完全守恒;右侧:多对一汇流编码,\(M_2\) 与 \(M_3\) 共同映射至 \(C_2\),逆映射在此出现分支分叉,导致在原则上无法确定性解码。

必须将通信实践中“无法解码”的两种根源彻底厘清(Ashby, 1956, S.8/6):

  1. 物理配备与密钥缺失:系统所采用的单射变换在数学上完全具备单值逆变换,但接收者手头缺乏执行求逆操作的具体机具或参数设置(例如收报员截获了密码电报却缺失密码本,或手握刻有声纹音槽的留声机唱片却缺乏留声机拾音器)。此类困难属于工程配置问题;
  2. 变换本身的不可逆退化:编码函数本身存在多对一汇流,导致两条不同的原消息在物理信道中坍缩为完全相同的物理状态。此时,能够区分两者的解码算法在逻辑上与数学上根本不存在。

基于机器函数表的局部判据极其清晰:换能器函数表在任意给定当前状态列下,若所有不同输入参数所对应的下一状态互不相同,则该换能器构成了完美单步编码器。反之,若在某列状态 \(X_i\) 下,两个不同的输入参数 \(p \neq q\) 导向完全相同的下一状态 \(X_j\),则从该状态出发由 \(p\) 与 \(q\) 驱动时在第一步便发生汇流,系统必将出现不可逆的不可解码序列(Ashby, 1956, S.8/6)。表 3.2-1 的缺陷正是源于此:在状态 \(B\) 列下,参数 \(Q\) 与参数 \(R\) 均将系统引向状态 \(C\),两者的混淆直接酿成了序列 \(BC\) 的多对一危机。

习题 3.2-2

编码容量与状态空间完备性检验:
(1)某离散编码信道采用 3 个连续的英文字母作为码字(例如 JNB),字母表包含 26 个大写英文字母。计算所有潜在合法码字集合的基数与其以 2 为底的对数多样性(比特);若该码仅允许单次使用,信道最多能够无损传输多少条不同的独立消息?
(2)在一场包含 8 匹赛马的锦标赛中,电报需要同时准确通知客户究竟哪一匹马夺得第一名、哪一匹马夺得第二名(不允许并列)。计算所有可能比赛结果消息集合的基数与其对数多样性;
(3)现设计一种极简编码方案:将上述赛马冠亚军消息编码为单个英文字母,并通过排印该字母的“大写”或“小写”形式来承载。试通过比较多样性,严格论证该方案能否实现无损编码解码?并求出最小所需的编码符号种类数。

参考解答

(1)三位英文字母码字集合的可能组合数为: \[ |\mathcal{C}| = 26^3 = 17576 \] 其对数多样性为: \[ V(\mathcal{C}) = \log_2 17576 = 3 \log_2 26 \approx 3 \times 4.7004 = 14.1013\text{ 比特} \] 在无失真单射编码的前提下,每个码字至多代表一条独立消息,故至多能够无损传输 17576 条不同的独立消息。

(2)从 8 匹马中按次序选出第一名与第二名(不重复排列): \[ |\mathcal{M}| = P(8, 2) = 8 \times 7 = 56\text{ 种可能结果} \] 该消息集合的对数多样性为: \[ V(\mathcal{M}) = \log_2 56 = \log_2(8 \times 7) = 3 + \log_2 7 \approx 3 + 2.8074 = 5.8074\text{ 比特} \]

(3)编码完备性检验:该编码方案所提供的物理输出状态集合由单个字母(26 种)及其大小写两态(2 种)组成,其总容量为: \[ |\mathcal{C}'| = 26 \times 2 = 52\text{ 种可分辨编码状态} \] 其对数多样性为 \(V(\mathcal{C}') = \log_2 52 \approx 5.7004\text{ 比特}\)。
由于 \(|\mathcal{C}'| = 52 < 56 = |\mathcal{M}|\)(即 \(V(\mathcal{C}') < V(\mathcal{M})\)),根据鸽巢原理(Dirichlet Drawer Principle),任何从基数为 56 的集合映射至基数为 52 的集合的映射函数 \(U\colon \mathcal{M} \to \mathcal{C}'\),必然存在至少两对不同的赛马结果被映射至同一个大小写字母状态(至少有 4 条消息发生状态汇流碰撞)。
因此,该编码方案无法构成单射,不可避免地产生多样性损失,在原则上无法实现确定性无误解码。若要实现无损传输,编码符号集至少必须具备 \(|\mathcal{C}| \ge 56\) 种互不相同的物理状态。

3.2.3 逆变换器:把解码交给机器

在明晰了解码的数学本质之后,控制论必须迈出极具工程意义的关键一步:如何构造一台确定性物理机器,使得该机器以编码器的输出为输入,并能够自动将原消息作为自身的输出连续复原?(Ashby, 1956, S.8/7)。

构造逆变换器机器的根本逻辑在于:换能器的每一次状态转移 \(X_t \to X_{t+1}\),都完整地包含了驱动该次转移的参数 \(P_t\) 的确定性信息。知道转移发生前后的二元向量 \((X_t, X_{t+1})\),在数学上等价于确定了参数输入。然而,在工程装配上面临着一个物理困难:前一时刻的状态 \(X_t\) 与后一时刻的状态 \(X_{t+1}\) 在时序上并不在同一物理瞬间呈现。为了让解码机器能够同时对这两个状态进行逻辑反查,系统必须配备一个能够将前一步状态暂存一拍的记忆元件——单位延迟器(Delay Device)。

延迟器本身也是一台标准换能器:其内部状态空间为 \(\{a, b, c, d\}\),输入参数为编码器的状态 \(\{A, B, C, D\}\),其转移规则为“每个大写字母输入强制使系统在下一时刻转入对应的小写字母状态”。由此,若输入序列为 \(A, C, B\),延迟器的输出严格滞后一步重现为 \(a, c, b\)。将编码器、延迟器与逆变换器复合耦合,便构成了完整的自动化解密回路,如图 3.2-2 所示。

原始消息(参数流) 编码换能器 T 表 3.2-3 型换能器 编码形式(当前状态 c) 单位延迟器 保存上一步状态 d 实时当前状态 c 暂存前态 d 逆变换解码器 输入向量 (d, c),查表求逆 复原消息(固定滞后两步) 求逆机器仅要求动作的确定性与单射区别保持,与物理材质无关(S.8/7)
图 3.2-2 逆变换器的自动化装配拓扑图(据 Ashby, 1956, S.8/7 规范化)。编码器当前输出状态 \(c\) 与延迟器保存的上一拍状态 \(d\) 共同构成合成向量输入 \((d, c)\),逆变换器据此反查出驱动该转移的原参数符号,从而实现确定性原消息的自动化复原。

设编码器采用表 3.2-3 所规定的无损换能器。通过将编码器转移关系完全倒置反查,即可直接合成表 3.2-4 所示的逆变换器函数规定。

参数\(A\)\(B\)\(C\)\(D\)
\(Q\)\(D\)\(A\)\(D\)\(B\)
\(R\)\(B\)\(B\)\(B\)\(C\)
\(S\)\(A\)\(C\)\(A\)\(D\)
表 3.2-3 满足单步单射条件的编码器换能器表(据 Ashby, 1956, S.8/7)。在每一列下,不同的输入参数均导致互不相同的下一状态。
合成输入 \((d, c)\)\((a, A)\)\((a, B)\)\((a, C)\)\((a, D)\)\((b, A)\)\((b, B)\)\((b, C)\)……
逆变换器输出状态\(S\)\(R\)—(永不发生)\(Q\)\(Q\)\(R\)\(S\)……
表 3.2-4 逆变换器的函数转移规范(据 Ashby, 1956, S.8/7 节选)。输入为(延迟器状态 \(d\),编码器状态 \(c\)),查表直接输出原输入参数。

不仅针对离散转移表格,当变换以代数解析函数形式给出时,上述逆变换机器的合成完全遵循相同的代数结构。设编码器为一维离散映射:\(n' = n + a\),其中 \(a\) 为输入参数,\(n\) 为内部状态。将其就参数解出:\(a = n' - n\)。此时配备延迟器 \(p' = n\) 暂存前一步状态,则逆变换器机器的动态方程直接确定为 \(m' = n - p\)。表 3.2-5 展现了从 \(n=3, p=1\) 出发,该复合机器在输入序列 \(4, -2, -1, 0, 2, -1, -1, 3\) 驱动下的逐步数值演算,结果证明解码输出在滞后两步后完全精确重现原序列。

时钟步数 \(t\)12345678
输入消息序列 \(a\)4−2−102−1−13
编码器状态 \(n\)(初态 3)75446547
延迟器状态 \(p\)(初态 1)37544654
逆变换输出 \(m' = n - p\)4−2−102−1−13
表 3.2-5 解析函数型逆变换器的时序演算(据 Ashby, 1956, S.8/8 规范化)。状态逐位相减 \(n - p\) 精确复原了原输入参数流。
方法

换能器代数方程合成逆变换机器的通用步骤(Ashby, 1956, S.8/8):
(1)建立原编码换能器的差分方程 \(x' = f(x, u)\),就输入参数 \(u\) 解出显式反函数 \(u = g(x, x')\);
(2)引入辅助状态变量 \(p\) 表征延迟器动力学 \(p' = x\);
(3)将原变量代入,构造逆变换机器的动态规则 \(y = g(p, x)\)。整机通过双变量反馈回路即可实现确定性物理求逆。

这一构造给出了一个极其重要的理论结论:逆变换器的复杂度与原编码器完全等价。若编码器不丢失区别,其输出状态数与输入消息数同阶;逆变换器只需匹配同样数量的状态辨识能力即可。因此,无论编码过程将信号转化得多大多复杂,只要其映射满足单射条件,用相同规模与相近原理的物理元件制造的逆变换机器,便必定有能力将其完全解码(Ashby, 1956, S.8/9)。对于担忧神经中枢或生态网络错综复杂而不可解的观点,这一结论给出了定量的科学回答。

3.2.4 多样性只减不增

在阐明多样性传输的基本定理之前,必须彻底清除一个在自然语言中根深蒂固的概念误区:将多样性误解为某种可以被灌注、储存或包含于单个物理系统之中的实体流体。

阿什比以无可置疑的清晰性批驳了这一混淆:一个信封可以装下一封写有特定文字的信件,但信封绝不可能装下“多样性”——唯有一大组彼此不同的信封集合,才能体现出多样性(Ashby, 1956, S.8/10)。同理,在任意一个给定的物理时刻,单台孤立的变换器永远处于且仅处于一个确定的物理状态之中,因而谈不上“含有”任何多样性。多样性唯有在下列两种情况下存在:

  1. 大量结构相同或相关的物理机器(系综)在同一时刻分别处于互不相同的状态;
  2. 单台物理机器在相继的漫长时钟周期内,在不同的场合历经互不相同的状态。
警示

在控制论与信息论中,“多样性”与“信息”均严格蕴涵着对集合(Ensemble)的根本指涉,绝非指代单个孤立实体。凡将多样性视为单个物理机器内部所拥有的固有材质,都将陷入将统计测度实体化的伪科学泥潭(Ashby, 1956, S.8/10)。后文所有传输定理均严格建立在机器系综的分布运算之上。

现在考察一台绝对自主系统(即不受外界输入干扰的孤立确定性机器)\(T\) 驱动支配一台换能器 \(U\) 的过程:\(T\) 的状态作为参数输入决定了 \(U\) 所执行的内部变换。设在某一时刻,系综中包含若干台复制品机器,各台 \(T\) 共占据 \(n_t\) 个不同的状态,各台 \(U\) 共占据 \(n_u\) 个不同的状态。在下一步转移中,由于每台 \(T\) 的状态仅能为 \(U\) 指定一个确定的单值变换,每一台处于特定状态的 \(U\) 在 \(n_t\) 种可能变换作用下,最多能分散转移至 \(n_t\) 个不同后继状态;而初始状态不同的 \(U\) 共有 \(n_u\) 类,因此全系综在一步演化后,所能散布占据的总状态数绝对不可能超过乘积 \(n_t \times n_u\)(Ashby, 1956, S.8/11)。取以 2 为底的对数,即得出著名的形式化定律:

\[ V(u') \;\le\; V(u) + V(t) \]
(3.2-2) 其中 \(V\) 均为以比特为单位的对数多样性;\(V(t)\) 与 \(V(u)\) 分别为发端 \(T\) 与受端 \(U\) 在当前的对数多样性,\(V(u')\) 为受端 \(U\) 在经历一步耦合传输后所达到的新状态集合的对数多样性。

公式 (3.2-2) 被阿什比命名为多样性在系统间传输的基本定律(Fundamental Law of Variety Transmission):受控换能器在一步之内所能获取的多样性增量,绝对不可能超过主导系统当前所现存的多样性(Ashby, 1956, S.8/11)。

若继续考察后续时步,由于主导系统 \(T\) 本身是无输入的封闭单值系统,根据 3.1 节的多样性非增定理,其自身的多样性只能单调递减或进入周期闭环;一旦 \(U\) 将 \(T\) 中的可用状态区别吸收殆尽,受端的多样性增长将永久性终结。更进一步地,即使将 \(T\) 与 \(U\) 两台机器接成互为输入的双向闭环负反馈系统,反馈回路同样绝不可能凭空创造出新的多样性:若将系综按照两者的初始配对状态划分为互不相交的子集,在封闭复合系统内部,无多样性处绝对生长不出新的多样性。阿什比以此做出了斩钉截铁的结论:在确定性无源系统中,反馈绝不可能导致多样性的自发再生式增长(Ashby, 1956, S.8/16)。信息的终极源头,永远只能来自系统的外部边界——来自初始边界条件的多样性,或来自不可控外部环境的持续干扰。

习题 3.2-3

耦合动力学系统多样性传输上界核验:设两变量系统具有状态向量 \((t, u)\),其离散转移方程由下列单值变换规定: \[ t' = t^2, \qquad u' = u + t \] 此处变量 \(t\) 主导支配变量 \(u\)。现有 8 台完全同构的该机器复制品,其初始状态分别配置如下: \[ (0, 9), \; (2, 5), \; (0, 5), \; (1, 9), \; (1, 5), \; (2, 5), \; (0, 9), \; (1, 9) \] (1)计算初始状态集合中,子系统 \(t\) 与子系统 \(u\) 各自的可分辨状态数与对数多样性;
(2)依据动力学方程精确演算各台系统在一步转移后的新状态 \((t', u')\),并分别计算 \(t'\) 与 \(u'\) 的新多样性;
(3)根据公式 (3.2-2) 验证多样性传输基本定律是否严格成立,并阐明实际多样性为何未将理论上界完全占满?

参考解答

(1)初始状态统计: 8 台机器的 \(t\) 坐标分别为 \(0, 2, 0, 1, 1, 2, 0, 1\)。不同的可分辨状态为 \(\{0, 1, 2\}\),共计 \(n_t = 3\) 种,其对数多样性为 \(V(t) = \log_2 3 \approx 1.5850\text{ 比特}\);
8 台机器的 \(u\) 坐标分别为 \(9, 5, 5, 9, 5, 5, 9, 9\)。不同的可分辨状态为 \(\{5, 9\}\),共计 \(n_u = 2\) 种,其对数多样性为 \(V(u) = \log_2 2 = 1.0000\text{ 比特}\)。

(2)一步转移演算(代入 \(t' = t^2, u' = u + t\)):

  • 第 1 台 \((0, 9) \to (0^2, 9+0) = (0, 9)\)
  • 第 2 台 \((2, 5) \to (2^2, 5+2) = (4, 7)\)
  • 第 3 台 \((0, 5) \to (0^2, 5+0) = (0, 5)\)
  • 第 4 台 \((1, 9) \to (1^2, 9+1) = (1, 10)\)
  • 第 5 台 \((1, 5) \to (1^2, 5+1) = (1, 6)\)
  • 第 6 台 \((2, 5) \to (2^2, 5+2) = (4, 7)\)
  • 第 7 台 \((0, 9) \to (0^2, 9+0) = (0, 9)\)
  • 第 8 台 \((1, 9) \to (1^2, 9+1) = (1, 10)\)
一步后,\(t'\) 的取值集合为 \(\{0, 4, 1\}\),共 3 种,多样性为 \(V(t') = \log_2 3 \approx 1.5850\text{ 比特}\);
\(u'\) 的取值集合为 \(\{9, 7, 5, 10, 6\}\),共计 \(n_{u'} = 5\) 种,其对数多样性为 \(V(u') = \log_2 5 \approx 2.3219\text{ 比特}\)。

(3)定律核验与几何解释:依据多样性传输定律,理论允许的最大状态数为: \[ n_{u'} \le n_u \times n_t = 2 \times 3 = 6 \] 对数形式为: \[ V(u') \le V(u) + V(t) \approx 1.0000 + 1.5850 = 2.5850\text{ 比特} \] 实际观测结果为 \(n_{u'} = 5 \le 6\)(\(2.3219 \le 2.5850\) 比特),基本定律严格成立。
实际值(5种)之所以严格小于理论上界(6种),是因为在该初始配置中,配对关系存在约束:状态组合 \((t=2, u=9)\) 在初始系综中从未出现(即 \(t\) 与 \(u\) 并非完全独立);因此 \(u'\) 无法生成 \(9+2=11\) 这一潜在状态。这一演算确证了:公式 (3.2-2) 给出的仅仅是物理传输的严格几何上限,实际传输的多样性取决于两者的联合配对分布(Ashby, 1956, S.8/11–8/12)。

3.2.5 信道与容量

在宏观通信与控制系统中,发送端 \(Q\) 与接收端 \(S\) 往往无法直接实现全面的物理接触,两者必须通过一个处于中间位置的过渡换能器 \(R\) 相互耦合——形成 \(Q \to R \to S\) 的链式结构。在控制论中,这个中间换能器 \(R\) 被严格定义为信道(Channel)(Ashby, 1956, S.8/13)。所谓信道的“宽狭”,指的绝非其空间物理尺寸,而纯粹取决于其所能拥有的独立物理可分辨状态数 \(r = |S_R|\)。

设信道 \(R\) 仅具备 \(r\) 个内部状态,记其单步容量参数为 \(\rho = \log_2 r\)。若发端 \(Q\) 在初始时刻具有庞大的多样性 \(N\)(\(N \gg \rho\)),而信道 \(R\) 与接收端 \(S\) 初态均归零。根据多样性传输基本定律,在第一步转移中,信道 \(R\) 在任一瞬间最多只能向接收端展现出 \(r\) 个可分辨状态(即 \(\rho\) 比特);在第二步中,接收端 \(S\) 最多只能在第一步的基础上再累积接收 \(\rho\) 比特的新区别。这一基本约束导出了信道容量的动力学形式:

\[ V_{k+1} - V_k \;\le\; \log_2 r \]
(3.2-3) 其中 \(V_k\) 为接收端在第 \(k\) 步后所累积的多样性对数值,\(r\) 为信道状态数。此式确立了信道传输速率的刚性物理上限:一台状态数不超过 \(r\) 的离散变换器,其传输多样性的速率在每一步中绝不可能超过 \(\log_2 r\) 比特。

公式 (3.2-3) 在控制论体系中首次将香农的信道容量(Channel Capacity)概念翻译为机器状态动力学的精确语言(Shannon, 1948; Shannon & Weaver, 1949)。该定律对于任何物理实体普遍有效:不论充当信道的是只有通断两态的机械电键(\(r=2\),容量为 1 比特/步)、能够取 256 个量化电平的同轴电缆、包含数千条纤维的视神经管束,还是由文字版面构成的报纸,其多样性流动均无一例外地受制于该容量瓶颈。

然而,当发端多样性远大于信道截面容量时,系统如何实现无损传输?答案在于以时间序列展开换取空间截面容量。图 3.2-3 形象地展现了 8 状态信源在穿过 4 状态狭窄信道时的收缩与时序补偿机制。

发端信源 Q:8 个状态 log₂8 = 3.0 比特 单步直传:8 压缩至 4 必然发生两两汇流 狭窄信道 R r = 4 个可分辨状态 单步容量 ≤ log₂4 = 2 比特 收端 S:单步至多保留 4 个状态 ≤ 2 比特,单步必损失 ≥ 1 比特 第 1 步:0 比特 第 2 步:累积 ≤ 2 比特 第 3 步:完整达 3 比特 链式拓扑 Q → R → S:接收端多样性受单步信道截面与总步数双重制约 8 状态信源经 4 态信道传输:至少需使用 2 次信道(4² = 16 ≥ 8)
图 3.2-3 多样性穿过狭窄信道的几何收缩漏斗与时序阶梯示意图(据 Ashby, 1956, S.8/13–8/14 绘制)。8 状态信源(3 比特)若试图在单一步骤内强行穿过 4 状态信道(2 比特),必然至少发生两两合并,损失至少 1 比特多样性;若通过时序编码将其分解为 2 步连续传输,在信道无噪声且收端具有记忆的条件下,即可实现 3 比特多样性的完全无损恢复。

设信源具备 8 个待区分状态(多样性为 \(\log_2 8 = 3\) 比特),而连接的物理信道仅具备 4 个离散状态(容量为 \(\log_2 4 = 2\) 比特/步)。若采用单步硬传,4 个状态的物理载体最多只能分辨 4 种输出,8 个信源状态在映射时必然发生碰撞汇流,至少有 4 个状态被吞没,直接造成 \(3 - 2 = 1\) 比特的多样性永久损失。然而,若发端将状态信息编码为长为 2 的时序序列,利用两次连续的信道使用,2 步序列所构成的空间基数为 \(4^2 = 16\)(对数容量为 \(2 \times 2 = 4\) 比特)。由于 \(16 \ge 8\),只需将 8 个信源状态分别单射映射至 16 个可能序列中的 8 个特定字串,接收端通过暂存两拍的数据,便能够完全无损地将 3 比特多样性精确复原。所需的最少信道使用次数由下式给出:

\[ k_{\text{min}} = \left\lceil \frac{V(\text{信源})}{\log_2 r} \right\rceil = \left\lceil \frac{3}{2} \right\rceil = 2 \]

此外,链式级联结构必然引入传输延迟(Transmission Delay)。在 \(Q \to R \to S\) 结构中,发端 \(Q\) 的作用必须首先驱动 \(R\),由 \(R\) 的状态变化再驱动 \(S\),接收端获得多样性较直接耦合必然滞后一拍。在高度复杂的生物神经系统中(如视网膜信号经外侧膝状体再传递至初级视皮层),此类时滞不可消除。反过来,在黑箱辨识中,若检测到某系统的多样性输出相对输入表现出严格的整数拍延迟,即可断言该系统内部必然包含着串联级联的子系统界面(Ashby, 1956, S.8/15)。

习题 3.2-4

经典硬币称量难题的信道容量严格形式化解析:现有 27 枚在外观上完全相同的硬币,其中已知恰有 1 枚为假币,且已知该假币的物理质量严格轻于真币。实验室内仅配备一架无砝码的双盘物理天平。
(1)将天平视为从硬币状态空间向观察者传递多样性的测量信道,严格求出天平单次称量操作所能提供的最大对数信道容量(比特);
(2)从集合论角度求出在 27 枚硬币中精确定位假币所需消除的总多样性;
(3)基于信道容量基本定理,严格证明寻找假币所需的称量次数的理论下限;并设计具体的三等分称量算法,证明该理论下限在此问题中是严格可达的。

参考解答

(1)测量信道容量分析:双盘物理天平在执行一次称量操作后,其针盘指针的离散偏转状态仅有且仅有 3 种互斥的物理可能:左盘更重(\(L\))、右盘更重(\(R\))或两盘完全平衡(\(B\))。因此,该天平作为离散测量换能器,其输出状态集合基数为 \(r = 3\)。由公式 (3.2-3),该测量信道单次使用的对数容量上界为: \[ C_{\text{step}} = \log_2 3 \approx 1.5850\text{ 比特/次} \]

(2)待测信源先验多样性:已知假币仅有 1 枚且必然在 27 枚之中,候选可能状态集合的基数为 \(N = 27\)。要唯一指认假币,必须将该集合彻底压缩为基数为 1 的确定集合,所需消除的多样性全量为: \[ V_{\text{source}} = \log_2 27 = \log_2(3^3) = 3 \log_2 3 \approx 4.7549\text{ 比特} \]

(3)理论下限推证与算法可达性证明: 设总共执行了 \(k\) 次独立称量操作。根据信道累积容量定理,\(k\) 次称量所能获取的最大累积多样性上限为 \(k \log_2 3\) 比特。系统能够唯一确定假币的必要条件是累积容量不小于先验多样性: \[ k \log_2 3 \ge 3 \log_2 27 = 3 \log_2 3 \implies k \ge 3 \] 因此,称量次数在理论上不可能少于 3 次(2 次称量最多提供 \(\log_2 9 \approx 3.17\) 比特,无法覆盖 27 种可能性)。
最优三等分算法:

  • 第 1 步:将当前 27 枚硬币均匀分为 3 组(各 9 枚),将组 1 置于左盘、组 2 置于右盘,组 3 置于盘外。若天平左倾,假币必在右盘(组 2);若右倾,必在左盘(组 1);若平衡,必在盘外(组 3)。无论出现何种结果,候选假币集合均被严格压缩为 \(27 / 3 = 9\) 枚;
  • 第 2 步:将剩余的 9 枚候选假币再次三等分为 3 组(各 3 枚),重复上述称量。候选集合被严格压缩为 \(9 / 3 = 3\) 枚;
  • 第 3 步:将最后 3 枚候选硬币各取 1 枚置于两盘,1 枚留置盘外。一次称量即可唯一锁定假币。
三步称量严格完成了 \(27 \to 9 \to 3 \to 1\) 的空间折叠,每一步均将天平的 3 状态容量发挥至极限(无任何状态浪费),证明理论下限 \(k_{\text{min}} = 3\) 严格可达。

信道不仅能够串联,还可以实现正交共用(Channel Sharing)。多条独立消息沿着同一物理信道传输,并不一定会发生破坏性的信号干扰(Interference)。例如在报纸文字排版中,报务员在排印字符序列时,既可以利用英文字母的拼写选择承载公开的文本消息(26 种可能),同时又可以利用排印该字母时的“大写”与“小写”二元形态在幕后承载另一条并行的二进制秘密信息。只要合成的物理状态空间能够建立起原消息二元组的双射映射(例如 \(26 \times 2 = 52\) 种独立形态),两条消息便完全可以在同一介质中实现无损互不干扰的共存传输(Ashby, 1956, S.8/17)。

然而,本节所有的分析均立足于确定的时步与无噪声的理想信道。在真实的物理信道与生命系统中,传输是日夜不息的,且信道转移往往伴随着环境随机扰动。为了刻画时间进程中永不停息的符号流动与随机转移,控制论必须引入马尔可夫链与概率测度,这构成了下一节的核心主题。

关键术语

消息 (message)
跨越物理耦合界面、同时作为前级输出与后级输入的相继状态序列;控制论中完全依据动力学行为定义,悬置主观语义。
编码 (coding)
以整条消息集合为操作数域的算子变换;将源消息集合中的每一个元素映射为特定的物理码字形态。
解码 (decoding)
对编码变换施行逆映射操作,使接收到的编码状态重新复原为发端初始消息的动力学过程。
单射映射 (one-to-one injection)
不同操作数必定映射为不同像的代数变换;编码过程保证无损、确定性求逆解码的充分必要条件。
换能器 (transducer)
带输入的确定性状态转移机器;在当前状态与外部输入参数共同驱动下演化,构成自动化编码器的物理原型。
信道 (channel)
在发送端与接收端之间起到状态过渡耦合作用的中介换能器系统;其状态数量构成了多样性传输的物理瓶颈。
信道容量 (channel capacity)
变换器在单一步骤内所能可靠传输的最大多样性速率上限;数值等于信道状态数取以 2 为底的对数(\(\log_2 r\) 比特/步)。
单位延迟器 (delay device)
能够将前一拍的物理状态完整保持并推迟一拍输出的换能器元件;构造自动化求逆解码机器的必备时序部件。
多样性传输定律 (law of variety transmission)
受控系统在单步之内获取的多样性增量绝不可能超过主导系统现存的多样性(\(V(u') \le V(u) + V(t)\));确定性无源系统内部绝无法凭空产生多样性。

参考文献与延伸阅读

  1. Ashby WR. 1956. An Introduction to Cybernetics. Chapman & Hall / John Wiley & Sons.(特别参见第八章:Transmission of Variety)。
  2. Shannon CE. 1948. A mathematical theory of communication. Bell System Technical Journal 27:379–423, 623–656.
  3. Shannon CE, Weaver W. 1949. The Mathematical Theory of Communication. University of Illinois Press.
  4. Wiener N. 1948. Cybernetics, or Control and Communication in the Animal and the Machine. The Technology Press / John Wiley & Sons.
  5. Ashby WR. 1952. Design for a Brain: The Origin of Adaptive Behaviour. Chapman & Hall.