概率论基础教程

Probability and Mathematical Statistics · Foundations and Graduate Core

全书23章140节,建立从本科概率到研究生概率论与数理统计的连续学习路径。前8章训练模型与计算,第9–15章研究测度积分、收敛、鞅和随机过程,第16–23章系统讨论统计模型、估计、检验、区间、回归、贝叶斯、非参数与统计决策。

各节列明假设、定义与结论,配有证明、算例、图示和带解答习题。中心极限定理支撑许多正则大样本方法;精确抽样分布、集中不等式、置换、非正则极限和鞅也提供各自的推断保证。技术长证明的展开程度以节内标注为准。

学习路线与知识结构

全书按主题编号,实际先修由具体论证确定。共同工具之后有多条并列路线:学习贝叶斯基础无需先完成回归,学习精确置换无需先完成经验过程,学习统计模型也无需先完成随机微分方程。微积分、实分析与线性代数作为相应部分的数学基础。

共同工具、主线与分支

共同概率工具第9章、10.1–10.6;11.1–11.2统计模型与数据结构:第16章确定目标、随机性、似然及抽样机制频率推断主线17.1–17.2 → 18.1–18.419.1–19.4建立渐近理论贝叶斯基础路线21.1 → 21.2 与 21.3汇合到21.4;决策先补17.1随机化与精确秩方法16.5 + 18.1 → 22.1再接22.2的符号与秩检验回归、经验过程、其他非参数方法与现代推断,按下表的具体工具进入
图0-1 · 共同工具之后分成不同统计路线。箭头表示推荐学习顺序;支线之间没有“先把另一条学完”的要求,各节的技术部分另列具体先修。
表0-1 · 统计主线与分支各自的逻辑任务
路线推荐次序建立什么怎样连接下一步
共同工具第9章、10.1–10.6、11.1–11.2测度与积分、收敛、LLN/CLT、条件期望与核统计模型和证明的共同语言;鞅及随机分析按分支补读。
模型入口16.1;16.2、16.3–16.4、16.5分支规定目标与抽样机制,研究精确分布及数据汇总先知道所估计对象和数据如何产生,才有后续风险、检验与后验。
估计主线17.1→17.2风险评价与估计构造17.3无偏最优、17.4信息界、17.5稳健性分别回应不同评价问题。
检验主线18.1→18.2→18.3;18.4与18.6分支控制错误、证明检验最优性与区间覆盖18.4调用精确枢轴;18.6处理检验族,不依赖先完成分类数据。
正则大样本19.1→19.2→19.3→19.4余项→估计方程→MLE/LAN→渐近检验完成后返回18.5.3–18.5.4的拟合分类模型;19.5与19.6–19.7是其他极限分支。
回归与多元20.1→20.2,然后按任务分支固定设计投影与精确高斯推断GLS、GLM、正则化、多元统计分别补自己的工具,不强制先完成经验过程。
贝叶斯21.1→21.2与21.3,两支接21.4;21.5分段后验更新、损失决策、层次不确定性计算补14.2–14.4,后验渐近补19.3;基础可与频率路线并行。
非参数22.1→22.2;22.3、22.4、22.5、22.6分别进入交换性、重抽样、局部平滑、投影或预测排名方法有不同概率依据,不能按章节相邻就当作逐级必修。
现代推断23.1→23.2 / 23.3;23.4、23.5分别进入风险最优性、复杂度、随时有效错误控制决策线接21.3;高维线接20.5和18.6;序贯线接11.3–11.5。

幂律与重尾专题路线

这个专题分别接入分布基础、概率极限和统计推断,统一用尾指数表示尾概率的幂次。先理解分布与矩,再研究尾部极限;拟合已知阈值的帕累托模型可在统计基础后直接进入,一般尾指数与极端分位数推断再补相应概率工具。

  1. 分布入口:5.8 幂律、帕累托与离散幂律,接连续分布、期望与变换;辨明尾概率指数、密度指数和截断。
  2. 概率理论:10.7 正则变化与重尾的矩条件 → 10.8 重尾和、稳定分布与极值极限,接测度积分、弱收敛与特征函数。和与最大值分别确定中心和尺度,临界阶单独检查。
  3. 统计推断:19.8 幂律模型的拟合、检验与比较 → 19.9 尾指数估计与阈值选择 → 19.10 阈值超越与极端分位数估计。19.8接模型、MLE与检验;19.9另用10.7的正则变化;19.10再用10.8的极值工具。数据选择阈值、远尾外推和有限样本精确结论分别注明条件。
  1. 先建立共同工具:本科概率第1–8章之后,学习第9章、10.1–10.6和11.1–11.2;由16.1进入统计模型。
  2. 再建立统计推断主线:第16章工具→17.1–17.2→18.1–18.4→19.1–19.4。17.3、17.4、17.5和18.6按各自工具补读;18.5中拟合参数的证明留到19.1并结合19.3之后返回。
  3. 按研究对象分支:20.1–20.2可在统计基础后提前读;21.1–21.4可与频率路线并行;22章按具体方法进入。19.6→19.7是一条函数型极限路线,19.7另补13.1–13.2。
  4. 概率过程按工具补读:11.3–11.5的鞅与停时服务23.5;12章马尔可夫链服务14.4与21.5的MCMC;13.1–13.2的布朗桥服务经验过程。随机分析、遍历与大偏差仍是概率核心专题,但不作为每个统计分支的统一门槛。
  5. 最后比较特定问题的方法:23.1–23.3沿风险与决策,23.4沿模型选择与统一界,23.5沿鞅与序贯控制。按需要进入其中一条,不把它们当作逐节难度等级。
阅读入口与证明范围

每个新增小节的“先修与阅读位置”列出直接工具,并说明技术段、并列专题与后续联系。“上一页/下一页”用于顺序浏览主题,不表示所有相邻小节存在严格先修关系。参数置信集、后验可信集与未来预测集各有自己的覆盖或损失目标。

本书覆盖概率论与数理统计的研究生核心,并介绍现代推断工具;一般半鞅、随机场、随机偏微分方程、时间序列、半参数效率与因果推断的完整专门理论仍需另行学习。各节明确区分完整证明、证明思路与引用定理。

本科概率基础

第1章 组合分析

Combinatorial Analysis · 6节

第2章 概率的公理

Axioms of Probability · 6节

第3章 条件概率与独立性

Conditional Probability and Independence · 5节

第4章 随机变量

Random Variables · 9节

第5章 连续型随机变量

Continuous Random Variables · 8节

第6章 联合分布的随机变量

Jointly Distributed Random Variables · 8节

第7章 期望的性质

Properties of Expectation · 8节

第8章 极限定理

Limit Theorems · 5节

测度、收敛与极限定理

第9章 概率空间与测度积分

Probability Spaces and Integration · 本章导言 · 6节

第10章 收敛、特征函数与极限定理

Convergence and Limit Theorems · 本章导言 · 8节

条件期望与鞅

第11章 条件期望与鞅

Conditional Expectation and Martingales · 本章导言 · 6节

马尔可夫过程

第12章 马尔可夫链与跳跃过程

Markov Chains and Jump Processes · 本章导言 · 6节

布朗运动与随机分析

第13章 布朗运动与随机分析基础

Brownian Motion and Stochastic Analysis · 本章导言 · 5节

信息与模拟

第14章 信息与随机模拟

Information and Simulation · 本章导言 · 4节

遍历与大偏差

第15章 遍历理论与大偏差

Ergodic Theory and Large Deviations · 本章导言 · 2节

统计模型、估计与检验

第16章 统计模型与样本结构

Statistical Models and Sampling · 本章导言 · 5节

第17章 点估计与最优性

Point Estimation and Optimality · 本章导言 · 5节

第18章 检验与区间估计

Testing and Confidence Sets · 本章导言 · 6节

统计渐近与经验过程

第19章 统计渐近理论与经验过程

Statistical Asymptotics and Empirical Processes · 本章导言 · 10节

回归与多元统计

第20章 回归与多元统计

Regression and Multivariate Statistics · 本章导言 · 6节

贝叶斯推断

第21章 贝叶斯推断

Bayesian Inference · 本章导言 · 5节

非参数与重抽样

第22章 非参数方法与重抽样

Nonparametric Methods and Resampling · 本章导言 · 6节

统计决策与现代推断

第23章 统计决策与现代推断基础

Decision Theory and Modern Inference · 本章导言 · 5节

编写依据与延伸阅读

本科结构参考Sheldon M. Ross《A First Course in Probability》第九版;概率与统计理论结合下列教材和大学课程组织,各节列出具体资料。正文、论证和算例按本教程的学习顺序重新编写。

  1. Rick Durrett, Probability: Theory and Examples, fifth edition, 2019
  2. MIT 18.655 Mathematical Statistics, 2019 course syllabus
  3. Will Fithian, Berkeley Stat 210A Theoretical Statistics, 2023 course and notes
  4. Sivaraman Balakrishnan, CMU 36-700 Probability and Mathematical Statistics I, course notes