12.6.1 保持时间、跳链与生成矩阵
离散链每走一步便更新状态，连续时间马尔可夫链（continuous-time Markov chain, CTMC）还要说明每个状态停留多久。本节先在有限状态集上建立完整公式，再讨论可数状态时的非爆炸条件。先修内容是马尔可夫性与泊松过程。
设 \(Q=(q_{ij})\) 满足 \(q_{ij}\ge0\)（\(j\ne i\)）与 \(q_i:=\sum_{j\ne i}q_{ij}<\infty\)，并令 \(q_{ii}=-q_i\)。这样的矩阵称为保守生成矩阵（conservative generator matrix）；这里“保守”指各行和为零，尚未断言过程不会爆炸。\(q_{ij}\) 是从 \(i\) 跳到 \(j\) 的单位时间速率，并非一步概率。
进入状态 \(i\) 后，若 \(q_i>0\)，独立抽取保持时间 \(H\sim\operatorname{Exp}(q_i)\)，再以概率 \(J_{ij}=q_{ij}/q_i\) 选择下一个不同状态 \(j\)。每次使用新的随机数，保持时间与下一状态在给定当前状态后独立。若 \(q_i=0\)，则永久停留在 \(i\)。只记录实际跳变所得的离散链称为嵌入跳链（embedded jump chain），其转移矩阵为 \(J\)，非吸收行满足 \(J_{ii}=0\)。
把历次保持时间累加得到跳变时刻 \(T_n\)，在 \([T_n,T_{n+1})\) 上保持当前状态。指数分布的无记忆性说明：在尚未跳变时，剩余保持时间仍服从同一指数分布，下一跳的机制也不变。因此在爆炸之前，这个构造满足齐次马尔可夫性。相对于自然滤过 \(\mathcal F_s=\sigma(X_u:0\le u\le s)\)，非爆炸时有
第二式是连续时间的 Chapman–Kolmogorov 方程。若 \(T_n\uparrow\zeta<\infty\)，称在 \(\zeta\) 发生爆炸（explosion）：有限时间内出现无限次跳变。每个保持时间为正，并不能排除它们的和有限。
12.6.2 均匀化与 Kolmogorov 方程
若 \(\sup_iq_i\le\nu<\infty\)，取 \(\nu>0\)，则 \(R=I+Q/\nu\) 是转移矩阵。令 \(Y\) 为转移矩阵 \(R\) 的离散链，\(N_t\) 为独立的速率 \(\nu\) 泊松过程。过程 \(X_t=Y_{N_t}\) 非爆炸，其转移矩阵为
这称为均匀化（uniformization）。有限状态时，式 (12.6-2) 等于矩阵指数 \(e^{tQ}\)，并满足前向、后向方程
证明。\(R\) 的非对角元为 \(q_{ij}/\nu\)，对角元为 \(1-q_i/\nu\ge0\)，行和为一。按 \(N_t=k\) 分类即得式 (12.6-2)；各项非负且每个 \(R^k\) 行和为一，所以 \(P(t)\) 行和也为一。在任意有限时间段，泊松时钟只响有限次，实际跳变次数不超过响铃次数，故无爆炸。
在状态 \(i\) 时，每次响铃以概率 \(q_i/\nu\) 离开，其他响铃保持原状态。泊松稀疏化使真实离开时间服从 \(\operatorname{Exp}(q_i)\)；离开后到 \(j\) 的条件概率为 \((q_{ij}/\nu)/(q_i/\nu)=q_{ij}/q_i\)。因此它正是上一小节的保持时间构造。有限矩阵中幂级数在有界时间区间一致绝对收敛，故可逐项求导；又因 \(I\) 与 \(R\) 可交换，
由矩阵指数求导得到式 (12.6-3)，也得到 \(p_{ij}(h)=q_{ij}h+o(h)\)（\(i\ne j\)）和 \(p_{ii}(h)=1-q_ih+o(h)\)。可数状态且速率一致有界时，式 (12.6-2) 仍然成立；对无界生成矩阵则必须另行检查存在性、爆炸和微分方程的适用条件。
均匀化中的 \(R\) 允许自环，因而通常不是嵌入跳链 \(J\)。自环对应不改变状态的虚拟事件，它们有助于计算，却不应计入真实跳变次数。
12.6.3 平稳方程与两状态算例
有限状态下，概率行向量 \(\pi\) 平稳，即每个 \(t\ge0\) 都有 \(\pi P(t)=\pi\)，当且仅当 \(\pi Q=0\)。若由正速率边组成的图不可约，则平稳分布唯一，且从任意初始分布 \(\mu\) 出发都有 \(\mu P(t)\to\pi\)。
证明。对平稳等式在零点求导得到必要性；反之，\(\pi Q=0\) 使 \(\pi Q^k=0\) 对所有 \(k\ge1\) 成立，代入指数级数即得充分性。取 \(\nu>\max_iq_i\)，均匀化矩阵 \(R\) 不可约且每点有自环。其唯一平稳概率满足 \(\pi R=\pi\)，等价于 \(\pi Q=0\)。由有限离散链收敛定理，\(\mu R^k\to\pi\)。对任意 \(K\)，式 (12.6-2) 的总变差误差不超过 \(P(N_t<K)+\sup_{k\ge K}\|\mu R^k-\pi\|_{\rm TV}\)。先令 \(t\to\infty\)，再令 \(K\to\infty\)，得到结论。跳链即使有周期，也不妨碍这里的连续时间收敛。
两状态模型的速率为 \(q_{01}=\alpha>0\)、\(q_{10}=\beta>0\)。设从 \(0\) 出发，\(u(t)=p_{01}(t)\)。前向方程给出 \(u'=\alpha(1-u)-\beta u\)，初值为零，因此
交换两状态可得 \(p_{10}(t)=\beta(1-e^{-(\alpha+\beta)t})/(\alpha+\beta)\)，其余两个元素由行和一得到。取 \(\alpha=2,\beta=1\)，在状态 \(0,1\) 的平均保持时间分别为 \(1/2,1\)；\(\pi=(1/3,2/3)\)，\(p_{01}(1)\approx0.633475\)。跳链却是确定性交替，每两个真实跳变各访问两状态一次。按访问次数计的比例各为一半，按经过时间计的比例则为 \(1/3,2/3\)。一个完整往返周期的两段保持时间独立且均值有限，强大数定律给出后一比例。
12.6.4 生灭过程与排队模型
设顾客按速率 \(\lambda>0\) 的泊松过程到达，服务时间独立且为速率 \(\mu>0\) 的指数变量，并与到达独立。只有一位服务员；队列非空时连续工作。令 \(X_t\) 为系统内人数，则 \(q_{n,n+1}=\lambda\)（\(n\ge0\)）、\(q_{n,n-1}=\mu\)（\(n\ge1\)）。总速率不超过 \(\lambda+\mu\)，均匀化保证非爆炸。
平稳方程在零点给出 \(\pi_0\lambda=\pi_1\mu\)；对其余状态，概率流差 \(\pi_n\lambda-\pi_{n+1}\mu\) 恒定，因边界而为零。因此 \(\pi_n=\pi_0\rho^n\)，其中 \(\rho=\lambda/\mu\)。当 \(\rho<1\) 时归一化得到
在有界速率的可数链中，\(\pi Q=0\) 等价于 \(\pi R=\pi\)，逐项代入均匀化级数即可验证 \(\pi P(t)=\pi\)，所以这里的解确实平稳。取 \(\lambda=2,\mu=3\)，得 \(\pi_n=(1/3)(2/3)^n\)，系统为空的概率为 \(1/3\)，平均人数为 \(2\)。这是在平稳分布下的结论，空系统启动时的早期平均人数并不恒为 \(2\)。若 \(\lambda\ge\mu\)，形式权重不可求和；上述边界递推又涵盖所有平稳解，故不存在平稳概率分布。非爆炸与存在平稳分布是两个不同的问题。
12.6.5 可数状态中的爆炸反例
在 \(\{1,2,\ldots\}\) 上设纯生过程只从 \(n\) 跳到 \(n+1\)，速率为 \(n^2\)，从 \(1\) 出发。独立保持时间为 \(H_n\sim\operatorname{Exp}(n^2)\)，所以由 Tonelli 定理，
非负随机变量的期望有限必然使它几乎必然有限。因此这个过程几乎必然在有限时间完成无限次跳变，尽管每一行生成矩阵的元素有限且行和为零。爆炸后可将过程送入附加的吸收状态（常称墓地状态，用来表示过程已终止）；若只观察原状态空间，最小过程的转移概率之和可能小于一。对无界速率，不能仅凭 \(Q\) 的行和就把形式微分方程的解解释为保守概率过程。
统一速率上界是方便的非爆炸充分条件，并非必要条件。保持时间的期望和发散也不能单独推出随机和几乎必然无穷；下面的线性纯生例子会利用独立性及级数收敛判据完成论证。
12.6.6 习题与详解
习题 12.6-1 · 速率、概率与时间单位
在两状态模型中取 \(\alpha=3,\beta=2\)，速率单位为每小时。求从 \(0\) 出发半小时后处于 \(1\) 的概率、平稳分布，以及两状态的平均保持时间。
解答。\(Q=\bigl(\begin{smallmatrix}-3&3\\2&-2\end{smallmatrix}\bigr)\)，\(\pi=(2/5,3/5)\)。由式 (12.6-5)，\(p_{01}(1/2)=(3/5)(1-e^{-5/2})\approx0.550749\)。平均保持时间为 \(1/3\) 小时和 \(1/2\) 小时。速率 \(3\) 大于一完全允许；只有诸如 \(p_{01}(t)\) 的概率必须落在单位区间。
习题 12.6-2 · 一次响铃不一定是真实跳变
对例 1 取均匀化速率 \(\nu=3\)，求 \(R\)，并从式 (12.6-2) 的零次、一次事件项核对 \(p_{01}'(0)=2\)。能否改取 \(\nu=1\)？
解答。\(R=I+Q/3=\bigl(\begin{smallmatrix}1/3&2/3\\1/3&2/3\end{smallmatrix}\bigr)\)。零次事件不能把 \(0\) 变成 \(1\)，一次事件贡献 \(e^{-3h}(3h)(2/3)=2h+O(h^2)\)；两次以上事件的总概率为 \(O(h^2)\)，故导数为 \(2\)。若取 \(\nu=1\)，\(R_{00}=1-2=-1\)，不能成为转移概率。公共时钟速率必须至少为所有离开速率的上界。
习题 12.6-3 · 跳链的平稳分布如何换算
有限不可约 CTMC 有至少两个状态，设跳链 \(J\) 的平稳分布为 \(a\)。证明 CTMC 的平稳概率正比于 \(a_i/q_i\)，并用例 1 检查。
解答。不可约性使 \(q_i>0\)。令 \(c=(\sum_i a_i/q_i)^{-1}\)，\(\pi_i=ca_i/q_i\)。因 \(J_{ii}=0\)，有 \((\pi Q)_j=\sum_{i\ne j}(ca_i/q_i)q_iJ_{ij}-ca_j=c(aJ)_j-ca_j=0\)。有限链的平稳判据即给出结论。例 1 跳链交替，\(a=(1/2,1/2)\)；除以速率得到权重 \((1/4,1/2)\)，归一化为 \((1/3,2/3)\)。可数状态时还须验证权重可归一化及过程的保守性，不能直接省略这些条件。
习题 12.6-4 · 无界速率仍可能非爆炸
从 \(1\) 出发的纯生过程由 \(n\) 跳向 \(n+1\)，速率为 \(n\)。证明其非爆炸，并解释为什么仅写 \(E\zeta=\infty\) 不足以完成证明。
解答。可写 \(H_n=E_n/n\)，其中 \(E_n\) iid 且服从 \(\operatorname{Exp}(1)\)。中心化级数 \(\sum_n(E_n-1)/n\) 的各项独立、均值零，方差和为 \(\sum_n1/n^2<\infty\)。由独立级数的方差可和收敛判据，该级数几乎必然收敛。于是 \(\sum_{n=1}^NH_n=\sum_{n=1}^N1/n+\sum_{n=1}^N(E_n-1)/n\to\infty\) 几乎必然，即 \(\zeta=\infty\)。单独的无穷期望不足够：一个几乎必然有限但重尾的正随机变量也可能有无穷期望。这里是独立性与方差可和共同控制了随机偏差。
关键术语
- 生成矩阵：描述单位时间转移速率的矩阵，非对角元非负。
- 保持时间：进入一个状态后，到下一次真实跳变的等待时间。
- 嵌入跳链：只在真实跳变时记录的状态序列。
- 均匀化：用统一的泊松时钟和含自环的离散链表示连续时间链。
- 转移半群：满足 Chapman–Kolmogorov 方程的一族转移矩阵。
- 平稳方程：有限链中平稳概率满足的 \(\pi Q=0\)。
- 生灭过程：状态只向相邻整数跳变的连续时间链。
- 爆炸：有限时间内发生无限次真实跳变。
参考文献
- Polyanskiy, Y. (2018). MIT 6.436J / 15.085J, Lecture 24, Infinite Markov Chains; Continuous Time Markov Chains。MIT 官方讲义：连续时间链与生成矩阵的基本定义。
- Whitt, W. Continuous-Time Markov Chains。Columbia University 官方讲义：保持时间、均匀化构造、Kolmogorov 方程与平稳分布；本节先在有限或一致有界速率条件下证明这些关系。