信息学中的概率统计 · 第 5 讲：期望、方差与离散分布

信息学中的概率统计
第五讲

2026年9月30日 笔记

1. 随机变量

随机变量把随机试验的每个结果映射成一个实数。设样本空间为，随机变量是函数

随机变量的“随机”来自试验结果未知；一旦样本点确定，就是确定的数。

例如：

• 顾客一天内到店的人数；
• 测量得到的温度；
• 投掷两枚硬币时正面朝上的硬币数；
• 考察一批产品时不合格品的数量。

对于任意实数，事件表示

因此

1.1. 离散随机变量与概率分布

如果随机变量只可能取有限个或可列多个值，则称为离散随机变量。

记

则称为的概率分布或概率质量函数。它满足

反过来，只要一组数满足这两个条件，它就可以作为某个离散随机变量的概率分布。

1.1.1. 例：投掷两枚硬币

两枚硬币正面朝上的概率均为，且两次投掷相互独立。令为正面朝上的硬币数，则

检验：

1.1.2. 例：闯关奖金

某闯关游戏初始奖金为 1 元，每闯过一关，奖金增加 1 元；每一关通过的概率为，失败后游戏结束。令为最终奖金，则

因为要得到元，必须先连续通过关，再在第关失败。

另一种规则是初始奖金为 0.5 元，每闯过一关奖金翻倍。若仍令为最终奖金，则

这个例子稍后会说明：随机变量虽然几乎必然取有限值，但它的数学期望仍可能是无穷大。

2. 随机变量的函数

给定随机变量和函数，可以定义新的随机变量

若的取值为，且，则对任意，

也就是说，先找出所有满足的原像，再把对应概率相加。如果在的取值集合上是一一映射，则直接有

2.0.1. 例：平方函数

已知

令。由于和平方后都变为，所以

而

3. 数学期望

设离散随机变量的所有可能取值为，概率为。如果

则定义的数学期望为

数学期望描述随机变量在大量重复试验中的平均取值。它不要求一定是的可能取值。

3.1. 基本例子

3.1.1. 两枚硬币

沿用前面的记号，为正面朝上的硬币数，则

3.1.2. 闯关奖金

初始奖金为 1 元、每过一关增加 1 元时，

初始奖金为 0.5 元、每过一关翻倍时，

所以“游戏一定会在有限步内结束”并不能保证奖金的期望有限。

3.2. 随机变量函数的期望

若，则可以先求的分布再计算。更直接的公式是

证明：按照的取值分组，有

例如，对平方函数例题，

3.3. 期望的性质

• 若恒成立，则。

• 对常数，有

• 对随机变量，只要期望存在，就有

  这个结论不要求相互独立。
• 若，则；若，则。

线性性的证明：设样本空间中的样本点为，则

把相同取值的样本点合并，就得到通常按随机变量取值求和的写法。

3.4. 示性变量

事件的示性变量定义为

于是

示性变量常把“计数问题”变成“求和问题”。例如，若表示次试验中事件发生的次数，令表示第次试验中是否发生，则

从而

3.5. 二项随机变量的期望

在重独立伯努利试验中，事件每次发生的概率为。令为发生的次数。写成示性变量之和：

因为，所以

这个证明比直接计算

更简洁，也体现了期望线性的威力。

如果直接计算，可以使用恒等式

得到

3.6. 尾和公式

若只取非负整数值，则

证明：对于每个非负整数，有

因此

这里每一项都非负，所以交换求和顺序是合法的。

3.7. 概率法例题：把人分成两组

有个人，其中有对人互相认识。证明：总能把所有人分为两组，使得至少对互相认识的人分属不同组。

证明：让每个人独立地以的概率进入第一组或第二组。对第对互相认识的人，定义示性变量

两人共有四种等可能的分组结果，其中两种使他们分属不同组，所以。

令

表示分属不同组的熟人对数。由期望线性性，

如果每一种分组都满足，那么其平均值也会小于，与矛盾。因此至少存在一种分组满足。

3.8. 马尔可夫不等式

定理：若为非负随机变量，且，则对任意，

等价地，对任意，

证明：当时，有；当时，。因此逐点有

两边取期望，得到

移项即得

令便得到定理的第一种写法。

3.8.1. 例：抛硬币

投掷枚公平硬币，令为正面朝上的硬币数，则。马尔可夫不等式给出

这个界只使用了和期望，因此通常不够紧。利用方差可以得到更强的界。

4. 方差与标准差

数学期望描述中心位置，但不能反映随机变量围绕中心的波动。由于

正负偏差会互相抵消，所以用偏差的平方定义方差。

若存在，定义的方差为

定义标准差为

方差的单位是原单位的平方，标准差与的单位相同。

4.1. 基本例子

4.1.1. 伯努利随机变量

若，，则，并且

4.1.2. 闯关奖金

对于“初始奖金 1 元、每过一关增加 1 元”的游戏，，且。于是

若每关奖金增加 10 角，则最终奖金是前一随机变量的 10 倍。因此

标准差为

4.2. 方差的性质

对常数，

从而

证明：

特别地，常数随机变量的方差为。反过来，如果，那么非负随机变量的期望为，所以

即以概率 1 等于某个常数。

4.3. 方差的计算公式

证明：

由于方差非负，还得到

4.4. 期望是均方误差最小的常数

对任意常数，

证明：写成

平方并取期望：

因为。

因此

且等号当且仅当。所以在所有常数预测值中，数学期望使均方误差最小。

4.5. 二项随机变量的方差

若，则

证明一：用示性变量。写成，其中是第次试验成功的示性变量。因为各次试验独立，

证明二：直接计算二阶矩。注意

而

所以

代入方差公式：

4.6. 切比雪夫不等式

定理：若，则对任意，

等价地，对任意，

证明：令

则，且

对应用马尔可夫不等式：

令，便得到

4.6.1. 例：投掷枚公平硬币

令为正面朝上的硬币数，则

因为二项分布关于对称，

由切比雪夫不等式，

所以

相比马尔可夫不等式得到的，当较大时这个界明显更强。

4.6.2. 例：估计优秀率

某课程平均分为 70 分，90 分及以上为优秀。令随机变量表示随机抽取一名学生的成绩，则。

仅用马尔可夫不等式：

如果还知道标准差为 5 分，则。因为

切比雪夫不等式给出

方差信息使上界从改进为。

5. 常用离散分布

5.1. 伯努利分布

一次只有成功与失败两种结果的试验称为伯努利试验。若成功概率为，令成功时、失败时，则

记作

它的期望和方差为

5.2. 二项分布

把成功概率均为的伯努利试验独立重复次，令为成功次数，则

记作

其参数和数字特征为

例如，投掷枚正面概率为的硬币，正面朝上的硬币数服从。

5.3. 泊松分布

若随机变量满足

其中，则称服从参数为的泊松分布，记作

5.3.1. 概率之和为 1

5.3.2. 期望

5.3.3. 方差

先计算下降阶乘矩：

因此

从而

5.3.4. 由二项分布到泊松分布

设，并且。对于固定的非负整数，

令，则

当时，

并且

因此

这就是泊松极限定理：大量独立试验中，如果单次事件很稀有而平均发生次数保持在附近，则发生次数近似服从。

5.3.5. 球与桶模型

有个球，每个球独立、等概率地落入个桶之一。固定一个桶，令为该桶中的球数，则

如果都很大，并且，则

5.3.6. 应用

• 把单位时间分成个很短的时间段，每段内事件发生的概率为。若，则单位时间内的事件次数近似服从。
• 每一瞬间 CPU 发生故障的概率很小且近似独立时，一年内的故障次数常用泊松分布建模。
• 每个番茄到达超市时恰好腐烂的概率很小且近似独立时，一箱番茄中腐烂番茄的数量可近似用泊松分布描述。

5.4. 几何分布

在独立重复的伯努利试验中，每次成功概率为。令为第一次成功出现时的试验次数，则

称服从参数为的几何分布，记作

概率之和为

5.4.1. 期望

令。由幂级数

两边对求导，得到

因此

5.4.2. 方差

再次求导：

所以

于是

最终得到

5.4.3. 无记忆性

对任意正整数，

证明：几何分布的尾概率为

所以

已经连续失败了次，不会改变从此刻起还要等待多久的分布。

5.5. 负二项分布

在独立重复的伯努利试验中，每次成功概率为。令为第次成功出现时的试验次数。要使，前次试验中必须恰好成功次，且第次必须成功。因此

称服从参数为的负二项分布，记作

当时，负二项分布退化为几何分布。

5.5.1. 概率之和为 1

令。利用幂级数恒等式

有