随机过程入门：马尔可夫链、泊松过程与布朗运动
随机过程是什么
随时间演化的随机变量族
马尔可夫链
离散跳、无记忆转移
泊松过程
事件到达、指数间隔
布朗运动
连续乱走、处处不可导
AI 落点
RL / MCMC / Diffusion / SGD
【开场场景】股票每分钟涨一点或跌一点，路口的车每分钟来几辆，悬浮在水里的花粉粒被水分子撞得不停乱动——这三件事看起来毫无关系，却有一个共同结构：某个量随着时间，在随机地演化。买彩票每次中奖是独立事件（概率），但"股价明天的位置取决于今天"就不是独立事件了。怎么把这种"随时间随机变化"的过程写进公式？这一章给你三把最常用的钥匙：马尔可夫链（状态一格一格跳）、泊松过程（事件一个一个来）、布朗运动（位置连续地抖）。它们合起来，几乎覆盖了现代 AI 里所有"在不确定中做决策、做生成"的底层数学。
① 是什么：三类随时间随机演化的过程
啥三类过程，一张表
① 随机过程是什么：一族随机变量 $\{X_t\}_{t\in\mathcal{T}}$，$t$ 通常是时间。离散时间 + 离散状态 = 马尔可夫链；连续时间 + 计数事件 = 泊松过程；连续时间 + 连续状态 = 布朗运动。
② 马尔可夫链（Markov chain）：状态空间 $S=\{s_1,\dots,s_n\}$，转移概率 $P_{ij}=P(X_{t+1}=s_j\,|\,X_t=s_i)$。转移矩阵 $P$ 每行和为 1：$\sum_{j=1}^{n}P_{ij}=1$。$k$ 步转移是 $P^k$。
③ 平稳分布与细致平衡：若分布 $\pi$ 满足 $\pi P=\pi$，则它是不随时间变的"稳态"。更强且更常用的条件是细致平衡：$\pi_i P_{ij}=\pi_j P_{ji}$（对每对状态都成立，则自动推出 $\pi P=\pi$）。
④ 泊松过程（Poisson process）：强度 $\lambda>0$ 表示单位时间平均到达数。到达间隔 $T\sim\mathrm{Exp}(\lambda)$，密度为 $f_T(t)=\lambda e^{-\lambda t}\,(t\geq 0)$。到时刻 $t$ 的到达计数 $N(t)$ 服从泊松分布：$P(N(t)=k)=\frac{(\lambda t)^k e^{-\lambda t}}{k!}$（$k=0,1,2,\dots$）。
⑤ 布朗运动 / 维纳过程（Brownian / Wiener）：$W(0)=0$；具有独立增量；任意增量 $W(t)-W(s)\sim N(0,t-s)$；样本路径连续但处处不可导。它是"随机游走"在步长趋于 0 时的极限。
② 怎么想到的
思解题心法：先认出"这是哪类过程"
看时间离散还是连续、状态离散还是连续。离散×离散→马尔可夫链；连续时间×"发生了几件事"→泊松过程；连续时间×连续取值→布朗运动（或它的变形）。
马尔可夫性 = "无记忆"。未来只取决于现在，不取决于过去：$P(X_{t+1}\,|\,X_t,X_{t-1},\dots)=P(X_{t+1}\,|\,X_t)$。这类题本质是解 $\pi P=\pi$（线性方程组）。
泊松过程两件事别搞混：到达"间隔"是指数分布，到时刻 $t$ 的"计数"是泊松分布。一个是时间长度，一个是事件个数，别张冠李戴。
布朗运动最爱考"增量"。$W(t)-W(s)\sim N(0,t-s)$，所以方差随"经过的时间"线性增长。股价、扩散都用它当噪声基底。
证三个核心结论与推导
推导（细致平衡 ⇒ 平稳）：①从 $\pi_i P_{ij}=\pi_j P_{ji}$ 出发，对 $j$ 求和：$\sum_j \pi_i P_{ij}=\sum_j \pi_j P_{ji}$。②左边 $\pi_i\sum_j P_{ij}=\pi_i\cdot 1=\pi_i$（因行和为 1）。③右边是 $(\pi P)_i$，即 $(\pi P)_i=\pi_i$ 对每个 $i$ 成立。④于是 $\pi P=\pi$，得证。这正是 MCMC 能"从目标分布采样"的理论依据：只要构造出的转移矩阵满足对目标 $\pi$ 的细致平衡，链跑久了样本就来自 $\pi$。
推导（泊松 = 稀有事件二项极限）：①把区间 $[0,t]$ 切成 $n$ 段，每段长 $\Delta=t/n$，定义每段内至少发生一次的概率为 $p=\lambda\Delta=\lambda t/n$。②把"段内发生"近似成伯努利试验，则 $N(t)\approx\mathrm{Binomial}(n,p)$。③当 $n\to\infty$，二项分布逼近泊松：$P(N(t)=k)=\binom{n}{k}p^k(1-p)^{n-k}\to\frac{(\lambda t)^k e^{-\lambda t}}{k!}$。④直觉把握：布朗运动是"步长 $\to 0$、步数 $\to\infty$、方差守恒"的随机游走极限；泊松过程是"事件发生很稀、段很碎"的二项极限。两者都是"极限下的简单随机结构"。
③ 完整解法：三个例题
④ 用途与案例
① 强化学习 = 带动作与奖励的马尔可夫链（MDP）
马尔可夫决策过程把状态转移加上"动作"和"奖励"：agent 在状态 $s$ 选动作 $a$，环境按 $P(s'\mid s,a)$ 转移并给奖励 $r$。价值函数 $V^\pi(s)$ 满足 Bellman 方程 $V^\pi(s)=\sum_a\pi(a\mid s)\sum_{s'}P(s'\mid s,a)\big[r+\gamma V^\pi(s')\big]$，本质就是马尔可夫链的期望递推。RL 的全部训练，都是在这个随机过程上找最优策略。
② MCMC：用细致平衡从目标分布采样
Metropolis-Hastings 与 Gibbs 都是构造一条"平稳分布恰好是目标 $\pi$"的马尔可夫链：只要接受率满足细致平衡 $\pi_i P_{ij}=\pi_j P_{ji}$，链跑久后样本就来自 $\pi$。这是贝叶斯推断、物理模拟、Diffusion 采样共同的后端，也和上一章信息论的 KL（逼分布靠近）一脉相承。
③ DDPM / Diffusion：前向加噪是离散化 SDE
扩散模型前向每一步给数据加一点高斯噪声 $x_t=\sqrt{1-\beta_t}\,x_{t-1}+\sqrt{\beta_t}\,\varepsilon$，连起来就是一条离散化的随机微分方程（SDE）；反向去噪则是学条件期望把噪声"减回去"。布朗运动正是这条 SDE 的连续极限——所以 Diffusion 的数学内核就是布朗运动 + 马尔可夫链。
④ SGD 的随机性 = 带噪声的随机过程
每次只取 mini-batch 算梯度，相当于在真实梯度上叠加一个噪声项：$\theta_{t+1}=\theta_t-\eta\big(\nabla L(\theta_t)+\xi_t\big)$，其中 $\xi_t$ 来自采样。这本身就是一条随机过程，其连续极限叫 Langevin 动力学；理解它才能讲清"为什么噪声有时帮助逃离局部极小、学习率要退火"。
⑤ 延展
展知识衔接地图
往研究生走：本科的"直观随机过程"到研究生会变成测度论化的随机过程——用 $\sigma$-代数、filtration、martingale（鞅）和 Itô 积分重写这一切。这与 math-adv 的测度论章、蒙特卡洛章直接呼应；Itô 引理是期权定价（Black-Scholes）与 SDE 的发动机。
往 AI 走：四条主线全压在本章上——MDP/RL（马尔可夫决策）、MCMC（细致平衡采样）、Diffusion（SDE 去噪）、SGD 动力学（随机优化）。此外时间序列（ARIMA、状态空间模型）、排队论、随机控制，都是随机过程的直系后代。
把"马尔可夫 = 独立"。马尔可夫是"无记忆"（未来只依赖现在），但链本身的状态序列前后高度相关，并不独立。独立是更强的条件。
泊松过程里"到达间隔"和"计数"张冠李戴。间隔才是指数分布 $T\sim\mathrm{Exp}(\lambda)$，计数才是泊松分布 $N(t)\sim\mathrm{Poisson}(\lambda t)$。两者是不同的量。
以为布朗运动"平滑"。它样本路径连续，但处处不可导——不能像普通函数那样写 $W'(t)$。它的"速度"是白噪声，是数学上的理想化随机扰动。
SGD 的噪声当纯误差丢掉。mini-batch 噪声不是 bug，它有时帮逃离局部极小；但太大又不收敛。学习率退火正是在和这条随机过程"谈判"。
练习
【基础】两态天气链 $P=\begin{pmatrix}0.9&0.1\\0.5&0.5\end{pmatrix}$，若今天晴，明天晴的概率是多少？稳态晴概率是多少？
查看思路与解答
①今天晴（状态1），明天晴即 $P_{11}=0.9$。②稳态解 $\pi P=\pi$ 得 $\pi_1=\frac{5}{6}\approx0.833$（见例题1）。卡住了？回到本章「① 是什么」里转移矩阵与稳态的定义。
【进阶】某客服平均每分钟来 $\lambda=2$ 通电话（泊松过程）。求某分钟恰好来 3 通的概率，以及等待下一通超过 2 分钟的概率。
查看思路与解答
①$P(N(1)=3)=\frac{(2)^3 e^{-2}}{3!}=\frac{8e^{-2}}{6}\approx\frac{8\times0.1353}{6}\approx0.180$。②间隔 $T\sim\mathrm{Exp}(2)$，$P(T>2)=e^{-4}\approx0.0183$。卡住了？注意"计数"用泊松、"间隔"用指数，别混。
【挑战】设 $W(0)=0$ 为标准布朗运动。求 $W(9)$ 的分布，并说明为何不能直接对 $W(t)$ 求导。再写出几何布朗运动 $S_t=S_0 e^{(\mu-\sigma^2/2)t+\sigma W(t)}$ 中"漂移项为何多减了 $\sigma^2/2$"（提示：Itô 引理）。
查看思路与解答
①$W(9)\sim N(0,9)$，标准差 $3$。②布朗运动样本路径连续但处处不可导，故 $W'(t)$ 不存在，不能用普通微积分处理——这正是 Itô 积分存在的原因。③对 $\ln S_t$ 用 Itô 引理会多出 $\frac{1}{2}\sigma^2 t$ 项，移项后漂移项写成 $\mu-\sigma^2/2$ 才能让 $E[S_t]=S_0 e^{\mu t}$（对数正态的期望校正）。卡住了？关键是"处处不可导"与 Itô 引理的修正项，回到本章「① 是什么」的布朗运动段。
- 用自己的话讲：马尔可夫链是"忘了过去只认现在"的状态跳跳乐，稳态是它最终停在哪；泊松过程是"平均每分钟来几个、间隔随机"的到达；布朗运动是"连续乱走、处处不可导"的随机轨迹。
- 举个反例（什么条件下不成立）：马尔可夫≠独立（状态序列高度相关）；泊松要求"无记忆的到达间隔"，若到来有拥挤规律就不是泊松；布朗运动不能求导。
- 哪里还说不清：为什么 Diffusion 的去噪、RL 的状态转移、SGD 的抖动，全都能归到"随机过程"这把大伞下？试着各用一句话点出它们的随机演化。
① 马尔可夫链：转移矩阵 $P$ 行和为 1；稳态 $\pi P=\pi$；细致平衡 $\pi_i P_{ij}=\pi_j P_{ji}$ 是 MCMC 的命根子。
② 泊松过程：强度 $\lambda$；间隔 $\sim\mathrm{Exp}(\lambda)$，计数 $N(t)\sim\mathrm{Poisson}(\lambda t)$，公式 $P(N(t)=k)=\frac{(\lambda t)^k e^{-\lambda t}}{k!}$。
③ 布朗运动：$W(0)=0$，增量 $W(t)-W(s)\sim N(0,t-s)$，连续但处处不可导；是随机游走的缩放极限。
④ AI 落点：RL=MDP、MCMC=细致平衡采样、Diffusion=离散化 SDE、SGD=带噪随机过程。它们共同的数学地基就是本章。
① 跨尺度：把离散马尔可夫链的转移矩阵 $P$（满足 $\pi P=\pi$）推广到连续时间，得到生成元 $Q$ 与 Master 方程 $\frac{d}{dt}p(t)=Q^\top p(t)$。此时平稳分布满足什么方程？它与 $\pi P=\pi$ 在数学结构上如何对应？
② 改条件：若马尔可夫链不可约，但存在周期（如两状态交替切换），细致平衡 $\pi_i P_{ij}=\pi_j P_{ji}$ 还能推出平稳分布吗？在强化学习的 $\epsilon$-探索里，为什么要刻意引入随机性才能让策略访问到所有状态？
③ 反向应用：Diffusion 生成模型是"逐步加噪、再学去噪"，在 SDE 视角下与布朗运动直接相关。为什么采样步数越多通常质量越高但越慢？这与 SGD 里"用噪声退火逃离局部极小"有何同构关系？