证大数定律与中心极限定理的核心定理与公式

推导思路：①先证马尔可夫不等式：把期望按"是否超过 $a$"切成两段，$E[X]=\int X\,\mathrm{d}P\geq\int_{\{X\geq a\}}X\,\mathrm{d}P\geq a\,P(X\geq a)$，除以 $a$ 即得。②取 $Y=(X-\mu)^{2}$，它非负，且 $E[Y]=\mathrm{Var}(X)=\sigma^{2}$。③把 $Y$ 和阈值 $a=(k\sigma)^{2}$ 代入①：$P\big((X-\mu)^{2}\geq k^{2}\sigma^{2}\big)\leq\frac{\sigma^{2}}{k^{2}\sigma^{2}}=\frac{1}{k^{2}}$。④左边事件 $(X-\mu)^{2}\geq k^{2}\sigma^{2}$ 与 $|X-\mu|\geq k\sigma$ 完全等价，不等式成立。

直觉把握：大数定律说"掷一万次硬币，正面频率就贴到 $0.5$，赌场靠这个稳赢"；中心极限定理更神——不管单个随机变量长什么样，只要独立同分布、数量够多，它们的和就长成正态钟形。AI/工程里，mini-batch 梯度本质是个样本均值，CLT 保证它近似高斯，这才让"梯度噪声看成高斯扰动"的假设（以及把 SGD 看成随机微分方程）站得住；A/B 实验的置信区间也全靠它。