证随机变量与分布的核心定理与公式

推导思路：①记 $\mu=E[X]$，由方差的定义出发：$\mathrm{Var}(X)=E\big[(X-\mu)^{2}\big]$。②把平方展开成三项：$E[X^{2}-2\mu X+\mu^{2}]$。③利用期望的线性性拆开（注意 $\mu$ 是常数，可以提到期望外面）：$E[X^{2}]-2\mu\,E[X]+\mu^{2}$。④代入 $E[X]=\mu$，得 $E[X^{2}]-2\mu^{2}+\mu^{2}=E[X^{2}]-\mu^{2}$，即 $\mathrm{Var}(X)=E[X^{2}]-(E[X])^{2}$。这也是为什么"平方的期望 ≥ 期望的平方"——方差不可能为负。

直觉把握：期望就是"反复玩很多次之后的平均收益"，方差是"抖动幅度有多大"。AI/工程里，Xavier / He 初始化就是靠 $\mathrm{Var}(WX)$ 这类公式，让信号每过一层方差还保持在 $1$ 附近，从而避免梯度消失或爆炸；BatchNorm 做的正是"减均值、除方差"；再往后的熵、交叉熵、KL，全部建立在期望运算之上。