信息学中的概率统计 · 第 9 讲：多维高斯分布与协方差矩阵
第九讲：多维高斯分布
来源：2026.10.23 Part II，第 16 至 21 页、第 32 至 38 页、第 50 至 59 页。
1. 二维正态分布
参数为 ，标准差 ，相关系数 。令 ，联合密度为
对指数配方：
用 后，密度和雅可比共同化成两个标准正态密度的乘积，从而验证归一化并读出条件分布。
1.1. 边际、条件与相关
交换下标得到 的分布。边际不随 改变，联合分布却改变，说明仅有边际不能确定联合。
对 联合正态，不相关等价于独立。分别正态不自动保证联合正态，不能把这个等价结论用于任意具有正态边际的两个变量。
例：，给定 时，条件均值为 2、条件方差为 3。
2. 协方差矩阵
把向量记为列向量，均值 ，协方差矩阵
它对称且半正定，因为对任意实向量 ，
二维情形：
3. 多维高斯密度与线性变换
正定时， 维高斯密度为
记作 。标准多维高斯 的密度分解为各坐标的标准正态密度，因此坐标相互独立。
若 ，则
变换矩阵行满秩时保留输出维度中的普通密度；秩不足时分布集中在低维仿射子空间，仍可作为退化高斯理解。
取选择矩阵可知子向量仍为高斯，均值和协方差取相应子块。取一行向量得到
对独立 ，线性组合均值为 ，方差为 。
若各变量联合正态但不独立，方差还需加上 。
4. 谱分解、生成与白化
对称半正定矩阵可正交分解为 ，特征值非负。取平方根 。
若 ，则 具有所需高斯分布。正定时可白化：，结果协方差为单位阵。
正交矩阵保持长度，因此 与 同分布，这就是标准高斯的旋转不变性。一般线性变换由旋转、轴向伸缩、再旋转组成；按标准记法 SVD 为 ，协方差为 。
5. 等密度椭球的几何
指数由二次型 决定。给它固定值，得到以 为中心的椭球。特征向量确定主轴方向，特征值平方根确定相对轴长， 给出相对单位球的体积倍率。
密度前面的 抵消线性伸缩造成的体积变化，使总概率保持为 1。
6. 矩与线性代数练习
独立标准正态 ：；。
若 矩阵 的各项独立标准正态，则 ，，。最后一式展开为 ，只有 项贡献 1。