信息学中的概率统计 · 第 6 讲:连续随机变量与分布

本页目录

信息学中的概率统计
第六讲

2026年10月9日 笔记

1. 分布函数

给定随机变量,定义

称为的分布函数,也称累积分布函数。分布函数同时适用于离散随机变量、连续随机变量和混合型随机变量。

分布函数记录了随机变量落在半直线内的概率。知道以后,可以计算任意区间上的概率,因此它完整确定了的分布。

1.1. 基本例子

1.1.1. 例:圆盘内随机点到圆心的距离

在半径为的圆盘内均匀随机取一点,令为该点到圆心的距离。对于,事件表示随机点落在半径为的同心圆盘内,因此

完整写成

1.1.2. 例:区间上的均匀分布

若在上均匀取值,则

1.1.3. 例:几何分布

若,即

则对整数,

由于只取正整数值,分布函数为阶梯函数:

1.2. 分布函数的性质

任意分布函数都满足以下性质。

  • 有界性:

  • 两端极限:

  • 单调不减:若,则。
  • 右连续:对任意,

单调性的证明:若,则事件包含在事件中。由概率的单调性,

右连续性的证明:取单调下降到。事件

也单调下降,并且

由概率的上连续性,

反过来,任何满足以上四条性质的函数,都是某个随机变量的分布函数。

1.2.1. 例:判断候选分布函数

考虑

因为单调递增且连续,并且

所以单调递增、连续,且两端极限分别为。因此它是一个分布函数。

1.3. 用分布函数计算概率

定义左极限

于是

分布函数在处的跳跃高度正好等于。因此离散随机变量的分布函数通常有跳跃,而连续随机变量在任意单点上的概率为,其分布函数连续。

2. 连续随机变量与概率密度

如果存在非负函数,使得

则称为连续随机变量,称为的概率密度函数。

这里的“连续”指分布可以由密度积分表示。密度本身不是概率,它描述单位长度附近的概率强度。

2.1. 概率密度的性质

概率密度满足

以及

若在处可导,则

更直观地,对于很小的,

2.2. 区间概率与单点概率

对,

因为单点集合的积分为,

所以对连续随机变量,区间端点是否包含不影响概率:

密度函数在有限个点上的取值也不影响积分,因此不会改变分布函数。

2.3. 基本例子

2.3.1. 圆盘距离的密度

前面得到

求导可得

距离越大,对应的圆环面积越大,所以密度随线性增加。

2.3.2. 区间上的均匀分布

它的分布函数为

2.3.3. 例:确定归一化常数

设

由密度的归一化条件,

所以

对应的分布函数为

这就是标准柯西分布的密度与分布函数。

3. 连续随机变量的数学期望与方差

3.1. 数学期望

若

则定义

绝对可积条件保证正、负两部分不会以的方式产生不确定结果。

3.1.1. 例:上的均匀分布

3.1.2. 例:柯西分布的期望不存在

标准柯西密度为

虽然被积函数是奇函数,但

因此不存在,不能仅凭对称性把它写成。

3.2. 随机变量函数的期望

若,并且相应积分存在,则

这条公式不要求先求的密度。

3.2.1. 例:均匀分布的二阶矩

若在上均匀分布,则

3.3. 期望的性质

只要相应期望存在,就有

  • ;
  • ;
  • ;
  • 若,则。

期望的线性性由积分的线性性直接得到。例如

3.4. 随机变量会在期望两侧取值

如果有限,并且不以概率等于常数,则

证明第一式:假设,则几乎处处。又因为不是常数,所以存在使得

于是

矛盾。另一式同理。

3.5. 马尔可夫不等式

若为非负随机变量,则对任意,

令,可写成

连续情形的证明:

两边除以即得结论。

3.6. 方差与标准差

定义

标准差为

常用计算公式为

对常数,

3.6.1. 例:上的均匀分布

由和,

因此

3.7. 切比雪夫不等式

若,则对任意,

证明:对非负随机变量

使用马尔可夫不等式:

4. 常用连续分布

4.1. 均匀分布

若随机变量只在区间上取值,并且密度为常数,则称服从上的均匀分布,记作

密度函数为

它的分布函数为

期望为

二阶矩为

所以

4.2. 标准正态分布

定义密度函数

服从此密度的随机变量称为标准正态随机变量,记作

标准正态密度具有以下性质:

  • ,且;
  • ,即关于轴对称;
  • 最大值在处取得;
  • 当时,。

归一化证明:令

则

改用极坐标,面积元为,所以

因为,所以,从而

由于是奇函数,

又因为,分部积分可得

所以

标准正态分布函数记为

由对称性,

常用概率为

切比雪夫不等式只给出

正态分布的精确尾概率比这个通用上界小得多。

4.3. 一般正态分布

对和,定义

称服从均值为、方差为的正态分布,记作

令

则。因此

并且

标准化证明:令,则。因此的密度为

4.3.1. 随机变量的标准化

对任意期望为、标准差为的随机变量,定义

由期望和方差的性质,

标准化只保证均值为、方差为,并不保证服从正态分布。

例如,若服从参数为的伯努利分布,即

则,。标准化后

因此

这个分布称为拉德马赫分布。它的均值为、方差为,但不是正态分布。

4.4. 指数分布

对,若随机变量的密度为

则称服从参数为的指数分布,记作

分布函数为

尾概率为

通过分部积分可以得到

4.4.1. 无记忆性

对,

证明:

已经等待了个时间单位,不会改变接下来还需等待多久的分布。

4.4.2. 与泊松过程的关系

令表示时间区间内设备发生故障的次数,并假设

令表示第一次故障发生的时间。事件等价于,所以

因此

更一般地,令表示第次故障发生的时间。事件等价于,因此

求导得到

这正是形状参数为、率参数为的伽玛分布。

4.5. 伽玛函数

对,定义

它满足递推关系

证明:分部积分,取、,则

特别地,

另有

因此对非负整数,

4.6. 伽玛分布

对,若的密度为

则称服从形状参数为、率参数为的伽玛分布,记作

4.6.1. 验证归一化

令,则,所以

4.6.2. 期望和方差

同理,

因此

4.6.3. 特殊情形

  • 当时,就是。
  • 当为正整数时,它描述泊松过程中第次事件的到达时间。
  • 当时,得到自由度为的卡方分布:

    它的期望和方差为

  • 当时,卡方密度为

5. 连续随机变量的函数

给定连续随机变量和函数,令

求的分布时,分布函数法通常最稳妥:先计算

再对求导得到。

5.1. 多个原像时概率相加

连续变量与离散变量有相同的基本思想:如果多个不同的映射到同一个,这些原像附近的概率都要计入在附近的概率。

5.1.1. 例:

若在上均匀分布,则

令。对于,有两个原像和,所以

因此。

5.1.2. 例:

仍设。令,则的取值范围为。由于区间长度扩大为原来的两倍,密度缩小为原来的一半:

密度不能像离散概率那样直接写成,还必须乘上尺度修正因子。

5.1.3. 例:

若,令。对,

求导得到

5.2. 单调变换公式

设连续随机变量的密度为。若在的取值区间上严格单调,其反函数为

且连续可导,则

在的取值范围内成立,范围外。

严格递增时的证明:若严格递增,则

两边求导,

严格递减时,不等号方向反转,求导会产生负号。用可以统一两种情况。

5.2.1. 例:正态变量的仿射变换

若

则反函数为

代入变换公式:

因此

5.2.2. 例:伽玛变量的尺度变换

若

则,。因此

所以

5.3. 非单调变换

如果不是一一映射,需要找出所有满足的原像。若这些原像处,则

每个原像都贡献一部分密度。

5.3.1. 例:正弦变换

设的密度为

令。显然。对,方程在内有两个解:

两处导数绝对值均为。因此

范围外。

6. 本讲公式小结

  • 分布函数:。
  • 区间概率:。
  • 连续随机变量:。
  • 数学期望:。
  • 方差:。
  • 均匀分布:,。
  • 正态标准化:若,则。
  • 指数分布:,,且具有无记忆性。
  • 伽玛分布:,。
  • 单调变换:,其中。

查看原始笔记