第14章信息与随机模拟 · 概率论基础教程

本章导言

信息论用分布描述编码所需的平均长度，随机模拟则用可生成的分布近似难以直接计算的量。两者都依赖前面建立的期望、条件分布、独立性和极限定理。

本章先区分熵、相对熵与互信息，再研究如何由均匀随机数生成目标分布。逆变换和接受拒绝方法均给出正确性推导；蒙特卡洛计算则明确区分几乎必然收敛、渐近误差和有限样本保证。

马尔可夫链蒙特卡洛把独立样本改成相关样本。构造不变分布只是算法分析的一步，遍历性、混合速度和估计量方差仍需单独研究。数值示例以可手算的理论量为依据，诊断图和有效样本量均不被当作收敛证明。

先修知识与阅读方式

第8章的极限定理、第10章的收敛、第12章的马尔可夫链；条件分布与方差计算应熟练。

先按顺序读定义和证明，再独立完成练习。若直接从本章进入，可回到全书学习路线检查先修知识；遇到技术性证明思路，应结合节末文献补读对应论证。