本章导言
马尔可夫模型把当前状态作为预测未来所需的信息。本章从转移矩阵与路径概率出发，讨论状态之间的可达关系、返回行为、平稳分布以及长期平均。有限状态结论与可数状态结论分别表述。
首步分解将命中问题转成线性方程或更新方程。可逆性提供构造平稳分布的方法；耦合给出分布收敛的定量比较。平稳、可逆、常返和遍历并不是同义词，后续模拟算法必须逐一核查它们。
泊松过程把独立增量与指数等待联系起来。一般连续时间链进一步引入生成矩阵与指数保持时间，并带来爆炸问题。最后一节说明为什么一组看似合理的局部跳跃速率，仍需额外条件才能定义全时间范围内的保守过程。
先修知识与阅读方式
第6–7章的联合分布与条件期望；第10章的收敛；第11章的停时和鞅基础。
先按顺序读定义和证明，再独立完成练习。若直接从本章进入，可回到全书学习路线检查先修知识；遇到技术性证明思路，应结合节末文献补读对应论证。
本章各节
- 12.1 马尔可夫链与转移机制
Markov Chains and Transitions - 12.2 常返、平稳分布与长期行为
Recurrence and Stationarity - 12.3 首达、吸收与更新方程
Hitting Times and Renewal Equations - 12.4 可逆性、耦合与马尔可夫链遍历平均
Reversibility, Coupling, and Ergodic Averages - 12.5 泊松过程与到达时间
Poisson Processes - 12.6 连续时间马尔可夫链
Continuous-Time Markov Chains