信息学中的概率统计 · 第 7 讲：多维随机变量与条件期望

信息学中的概率统计
第七讲

2026年10月14日 笔记

1. 多维随机变量

在许多随机试验中，需要同时记录多个数量。例如：

• 球与桶模型中每个桶里的球数；
• 随机图模型中每个人认识的人数；
• 同一台服务器上多个块硬盘在一年内的故障次数。

设样本空间为。如果

都是随机变量，则

称为维随机变量或随机向量。

如果各分量都是离散随机变量，则称为离散随机向量。本讲主要讨论离散情形。

2. 二维随机变量的联合分布

设二维离散随机变量的可能取值分别为和。定义

称为的联合分布列。

联合分布列满足

2.1. 例：先取，再从到中取

随机变量等概率地从中取一个数。给定后，随机变量再等概率地从中取一个数。因此

联合分布表为：

例如

2.2. 边缘分布

从联合分布中对另一个变量求和，就得到单个变量的分布：

这两个分布称为联合分布关于和的边缘分布。

对上面的例子，

而

边缘分布不能反推出联合分布，因为它没有记录与之间的依赖关系。

2.3. 条件分布

如果，则给定时的条件分布为

如果，则

在上面的例子中，给定以后，在上均匀分布：

给定时，只能取。因为，所以

2.4. 例：两次通信成功的时刻

两台服务器之间有一条有效通信链路。每天独立尝试一次通信，每次通信以概率成功，以概率失败。

令表示第一次成功发生的天数，表示第二次成功发生的天数。要使，必须满足：

• 前天失败，第天成功；
• 第到天失败，第天成功。

因此对，

注意概率只依赖，因为前天恰好有两次成功，并且第二次成功固定在第天。

2.4.1. 边缘分布

服从几何分布：

对，第二次成功发生在第天，要求前天恰好有一次成功，因此

2.4.2. 条件分布

给定，第一次成功可以等可能地出现在前天中的任意一天：

给定后，从第天起等待下一次成功仍服从几何分布：

3. 随机变量的独立性

3.1. 两个随机变量

离散随机变量相互独立，是指对任意可能取值，都有

等价地，联合分布列可以写成两个边缘分布列的乘积。

在前面的“先取再取”例子中，

但

所以不独立。

3.1.1. 例：球与桶模型中的桶占用数

把个球独立、等概率地放入个桶。令表示第个桶中的球数。

一般来说，与不独立。比如事件发生后，必有；但。更精确地，

所以二者负相关。

3.1.2. 例：随机图中的度数

在随机图中，每条边独立地以概率出现。令表示顶点认识的人数，也就是顶点的度数。

与共享边的示性变量，因此一般不独立。后文会证明

3.2. 多个随机变量

离散随机变量相互独立，是指对任意，都有

相互独立一定推出两两独立。证明时，只需对其余变量的所有取值求和。

两两独立不一定推出相互独立。例如，令为独立公平比特，并令。三个变量两两独立，但由完全确定，因此不相互独立。

3.3. 独立同分布

若相互独立，并且服从相同分布，则称它们独立同分布，简称 i.i.d.。

3.3.1. 二项分布是伯努利变量之和

若，则可以写成

其中独立同分布，且

3.3.2. 负二项分布是几何变量之和

若表示第次成功出现时的试验次数，则

其中独立同分布，且

3.4. 例：泊松拆分

设一段时间内进入商店的顾客总数

每名顾客独立地以概率购买商品。令表示购买商品的顾客数，表示未购买商品的顾客数，因此

给定时，。于是

所以

同理，

进一步，对，

因此与相互独立。这一结论称为泊松分布的拆分性质。

3.5. 例：CPU 与硬盘谁先故障

CPU 每天以概率发生故障，硬盘每天以概率发生故障；不同日期和两类设备之间相互独立。

令

分别表示 CPU 和硬盘第一次故障的天数。CPU 先发生故障的概率为

4. 多维随机变量的数学期望

4.1. 二元函数的期望

设为离散随机向量，。如果相应级数绝对收敛，则

特别地，

4.2. 例：联合分布表中的期望

仍考虑“等概率取，给定后在上均匀取值”的例子。

由条件分布可知，直接按联合分布求和也得到

因此

而

4.3. 期望的线性性

无论是否独立，只要期望存在，就有

证明：

推广到个随机变量：

4.4. 例：二项分布的二阶矩

若，写成

其中为独立的伯努利变量。由期望线性性，

因为，且时，所以

4.5. 例：负二项分布的期望

若，则

其中为独立的几何随机变量，且。因此

4.6. 示性变量法的例题

4.6.1. 例：把熟人分到两个组

有个人，其中有对人互相认识。把每个人独立、等概率地放入第一组或第二组。令表示第对熟人分属不同组，定义

对每一对熟人，

所以

因此至少存在一种分组，使不少于对熟人分属不同组。

4.6.2. 例：随机排列的不动点

有个带编号的球，将它们随机排列。令表示编号没有改变的球数。令表示第个球仍在第个位置，则

由于每个球等概率地出现在个位置中的任意一个，

所以

4.6.3. 例：有放回抽球时出现的不同编号数

有个带编号的球，有放回地抽取次。令为抽到过的不同编号数。令表示编号至少被抽到一次，则

编号一次也没有被抽到的概率为，所以

因此

4.6.4. 例：优惠券收集问题

有种球，每次独立、等概率地抽取一个。令表示第一次收集齐所有种类所需的抽取次数。

把总时间分解为

其中表示在已经收集到种后，直到得到一种新球所需的额外抽取次数。

已有种时，抽到新种类的概率为

因此

并且

所以

4.7. 独立变量乘积的期望

如果相互独立，并且期望存在，则

证明：

这个结论的逆命题不成立。等式只说明不相关，不能保证独立。

对相互独立的，同理有

4.8. 例：负二项分布的方差

设，写成个独立几何变量之和：

已知

于是

因此

4.9. 独立变量和的方差

若相互独立，则

证明：

其中使用了独立性给出的。

推广到相互独立的：

因此：

• 若，则；
• 若，则。

5. 协方差

定义随机变量的协方差为

协方差衡量两个变量的线性共同变化趋势。它具有以下性质：

• ；
• ；
• ；
• ；
• 若独立，则。

方差的一般加法公式为

特别地，

5.1. 例：联合分布表中的协方差

对前面的例子，已经算得

所以

5.2. 例：商店顾客数与购买人数

设进入商店的顾客总数，每名顾客独立地以概率购买商品，表示购买人数。

由条件分布，

泊松变量满足，因此

又，所以

也可以利用泊松拆分。令为未购买人数，则，且独立，于是

5.3. 例：随机图中两个顶点度数的协方差

在中，令表示顶点的度数。对每条边，令为其示性变量，则

对，与只有共同边这一项共享随机性。其余边的示性变量彼此独立，因此

课件中的直接计算也可验证该结论：

所以

6. 条件期望

6.1. 给定随机变量取值的条件期望

若，则给定时，的条件期望定义为

它是关于条件值的函数。若记

则

本身是一个随机变量。

条件期望保持线性：

6.2. 例：条件期望的线性函数

在“先取，再从到中取”的例子中，给定后，在上均匀分布，所以