信息学中的概率统计 · 第 3 讲：独立事件与随机变量

信息学中的概率统计
第三讲

2026年9月18日 笔记

1. 独立事件

1.1. 两个事件的独立性

事件与相互独立，是指一个事件是否发生不会改变另一个事件发生的概率。代数定义为

其中表示交集。

如果，那么

因此

等价于

同理，当时，它也等价于。

要注意：独立和互不相容是不同概念。

• 互不相容表示，两个事件不能同时发生。
• 独立表示一个事件是否发生不改变另一个事件的概率。

如果互不相容，且，那么

所以它们不独立。只有当至少一个事件的概率为时，互不相容的事件才可能独立。

1.1.1. 补事件仍然独立

若与独立，则与也独立。

证明：

同理，与、与也分别独立。

1.1.2. 例：掷两枚公平硬币

设

• 表示第一枚硬币为正面；
• 表示第二枚硬币为正面。

四种结果等可能。因此

因为

所以与独立。

1.2. 多个事件的独立性

三个事件两两独立，是指

但两两独立还不能推出三个事件共同独立。三个事件相互独立要求上面三个等式成立，并且

一般地，事件相互独立，是指对任意整数和任意不同的下标，都有

也就是说，不仅所有事件的交集概率要分解，任意子集的交集概率也要分解。

1.2.1. 例：两两独立不推出相互独立

独立均匀地取两个比特，并令

定义事件

四个等可能结果为

所以

任意两个事件同时发生的概率都是，例如

因此两两独立。

但是

而

所以三个事件并不相互独立。原因是由完全确定，知道其中两个比特后，第三个比特不再随机。

1.3. 独立随机变量

离散随机变量相互独立，是指对它们的任意可能取值，都有

等价地，由决定的事件与由决定的事件相互独立。

如果独立，并且函数使相应期望存在，则与也独立，并且

证明：

特别地，若独立且二阶矩存在，则

这个结论的逆命题通常不成立：只说明不相关，不能保证它们独立。

1.4. 独立重复试验

如果一次随机试验只有成功与失败两种结果，成功概率为，把它独立重复次，就称为重伯努利试验。

令表示成功次数。要使，需要从次试验中选出次成功，其余次失败。因此

这就是二项分布。后文会详细计算它的期望与方差。

2. 随机变量

随机变量把随机试验的每个结果映射成一个实数。设样本空间为，随机变量是函数

随机变量的“随机”来自试验结果未知；一旦样本点确定，就是确定的数。

例如：

• 顾客一天内到店的人数；
• 测量得到的温度；
• 投掷两枚硬币时正面朝上的硬币数；
• 考察一批产品时不合格品的数量。

对于任意实数，事件表示

因此

2.1. 离散随机变量与概率分布

如果随机变量只可能取有限个或可列多个值，则称为离散随机变量。

记

则称为的概率分布或概率质量函数。它满足

反过来，只要一组数满足这两个条件，它就可以作为某个离散随机变量的概率分布。

2.1.1. 例：投掷两枚硬币

两枚硬币正面朝上的概率均为，且两次投掷相互独立。令为正面朝上的硬币数，则

检验：

2.1.2. 例：闯关奖金

某闯关游戏初始奖金为 1 元，每闯过一关，奖金增加 1 元；每一关通过的概率为，失败后游戏结束。令为最终奖金，则

因为要得到元，必须先连续通过关，再在第关失败。

另一种规则是初始奖金为 0.5 元，每闯过一关奖金翻倍。若仍令为最终奖金，则

这个例子稍后会说明：随机变量虽然几乎必然取有限值，但它的数学期望仍可能是无穷大。

3. 随机变量的函数

给定随机变量和函数，可以定义新的随机变量

若的取值为，且，则对任意，

也就是说，先找出所有满足的原像，再把对应概率相加。如果在的取值集合上是一一映射，则直接有

3.0.1. 例：平方函数

已知

令。由于和平方后都变为，所以

而

4. 数学期望

设离散随机变量的所有可能取值为，概率为。如果

则定义的数学期望为

数学期望描述随机变量在大量重复试验中的平均取值。它不要求一定是的可能取值。

4.1. 基本例子

4.1.1. 两枚硬币

沿用前面的记号，为正面朝上的硬币数，则

4.1.2. 闯关奖金

初始奖金为 1 元、每过一关增加 1 元时，

初始奖金为 0.5 元、每过一关翻倍时，

所以“游戏一定会在有限步内结束”并不能保证奖金的期望有限。

4.2. 随机变量函数的期望

若，则可以先求的分布再计算。更直接的公式是

证明：按照的取值分组，有

例如，对平方函数例题，

4.3. 期望的性质

• 若恒成立，则。

• 对常数，有

• 对随机变量，只要期望存在，就有

  这个结论不要求相互独立。
• 若，则；若，则。

线性性的证明：设样本空间中的样本点为，则

把相同取值的样本点合并，就得到通常按随机变量取值求和的写法。

4.4. 示性变量

事件的示性变量定义为

于是

示性变量常把“计数问题”变成“求和问题”。例如，若表示次试验中事件发生的次数，令表示第次试验中是否发生，则

从而

4.5. 二项随机变量的期望

在重独立伯努利试验中，事件每次发生的概率为。令为发生的次数。写成示性变量之和：

因为，所以

这个证明比直接计算

更简洁，也体现了期望线性的威力。

如果直接计算，可以使用恒等式

得到

4.6. 尾和公式

若只取非负整数值，则

证明：对于每个非负整数，有

因此

这里每一项都非负，所以交换求和顺序是合法的。

4.7. 概率法例题：把人分成两组

有个人，其中有对人互相认识。证明：总能把所有人分为两组，使得至少对互相认识的人分属不同组。

证明：让每个人独立地以的概率进入第一组或第二组。对第对互相认识的人，定义示性变量

两人共有四种等可能的分组结果，其中两种使他们分属不同组，所以。

令

表示分属不同组的熟人对数。由期望线性性，

如果每一种分组都满足，那么其平均值也会小于，与矛盾。因此至少存在一种分组满足。

4.8. 马尔可夫不等式

定理：若为非负随机变量，且，则对任意，

等价地，对任意，

证明：当时，有；当时，。因此逐点有

两边取期望，得到

移项即得

令便得到定理的第一种写法。

4.8.1. 例：抛硬币

投掷枚公平硬币，令为正面朝上的硬币数，则。马尔可夫不等式给出

这个界只使用了和期望，因此通常不够紧。利用方差可以得到更强的界。

5. 方差与标准差

数学期望描述中心位置，但不能反映随机变量围绕中心的波动。由于

正负偏差会互相抵消，所以用偏差的平方定义方差。

若存在，定义的方差为

定义标准差为

方差的单位是原单位的平方，标准差与的单位相同。

5.1. 基本例子

5.1.1. 伯努利随机变量

若，，则，并且

5.1.2. 闯关奖金

对于“初始奖金 1 元、每过一关增加 1 元”的游戏，，且。于是

若每关奖金增加 10 角，则最终奖金是前一随机变量的 10 倍。因此

标准差为

5.2. 方差的性质

对常数，

从而

证明：

特别地，常数随机变量的方差为。反过来，如果，那么非负随机变量的期望为，所以

即以概率 1 等于某个常数。

5.3. 方差的计算公式

证明：

由于方差非负，还得到

5.4. 期望是均方误差最小的常数

对任意常数，

证明：写成

平方并取期望：

因为。

因此

且等号当且仅当。所以在所有常数预测值中，数学期望使均方误差最小。

5.5. 二项随机变量的方差

若，则

证明一：用示性变量。写成，其中是第次试验成功的示性变量。因为各次试验独立，

证明二：直接计算二阶矩。注意

而

所以

代入方差公式：

5.6. 切比雪夫不等式

定理：若，则对任意，

等价地，对任意，

证明：令

则，且

对应用马尔可夫不等式：

令，便得到

5.6.1. 例：投掷枚公平硬币

令为正面朝上的硬币数，则

因为二项分布关于对称，

由切比雪夫不等式，

所以

相比马尔可夫不等式得到的，当较大时这个界明显更强。

5.6.2. 例：估计优秀率

某课程平均分为 70 分，90 分及以上为优秀。令随机变量表示随机抽取一名学生的成绩，则。

仅用马尔可夫不等式：

如果还知道标准差为 5 分，则。因为

切比雪夫不等式给出

方差信息使上界从改进为。

6. 常用离散分布

6.1. 伯努利分布

一次只有成功与失败两种结果的试验称为伯努利试验。若成功概率为，令成功时、失败时，则

记作

它的期望和方差为

6.2. 二项分布

把成功概率均为的伯努利试验独立重复次，令为成功次数，则

记作

其参数和数字特征为

例如，投掷枚正面概率为的硬币，正面朝上的硬币数服从。

6.3. 泊松分布

若随机变量满足

其中，则称服从参数为的泊松分布，记作

6.3.1. 概率之和为 1

6.3.2. 期望