信息学中的概率统计 · 第 6 讲:连续随机变量与分布
本页目录
- 1. 分布函数
- 1.1. 基本例子
- 1.2. 分布函数的性质
- 1.3. 用分布函数计算概率
- 2. 连续随机变量与概率密度
- 2.1. 概率密度的性质
- 2.2. 区间概率与单点概率
- 2.3. 基本例子
- 3. 连续随机变量的数学期望与方差
- 3.1. 数学期望
- 3.2. 随机变量函数的期望
- 3.3. 期望的性质
- 3.4. 随机变量会在期望两侧取值
- 3.5. 马尔可夫不等式
- 3.6. 方差与标准差
- 3.7. 切比雪夫不等式
- 4. 常用连续分布
- 4.1. 均匀分布
- 4.2. 标准正态分布
- 4.3. 一般正态分布
- 4.4. 指数分布
- 4.5. 伽玛函数
- 4.6. 伽玛分布
- 5. 连续随机变量的函数
- 5.1. 多个原像时概率相加
- 5.2. 单调变换公式
- 5.3. 非单调变换
- 6. 本讲公式小结
信息学中的概率统计
第六讲
2026年10月9日 笔记
1. 分布函数
给定随机变量,定义
称为的分布函数,也称累积分布函数。分布函数同时适用于离散随机变量、连续随机变量和混合型随机变量。
分布函数记录了随机变量落在半直线内的概率。知道以后,可以计算任意区间上的概率,因此它完整确定了的分布。
1.1. 基本例子
1.1.1. 例:圆盘内随机点到圆心的距离
在半径为的圆盘内均匀随机取一点,令为该点到圆心的距离。对于,事件表示随机点落在半径为的同心圆盘内,因此
完整写成
1.1.2. 例:区间上的均匀分布
若在上均匀取值,则
1.1.3. 例:几何分布
若,即
则对整数,
由于只取正整数值,分布函数为阶梯函数:
1.2. 分布函数的性质
任意分布函数都满足以下性质。
有界性:
两端极限:
- 单调不减:若,则。
右连续:对任意,
单调性的证明:若,则事件包含在事件中。由概率的单调性,
右连续性的证明:取单调下降到。事件
也单调下降,并且
由概率的上连续性,
反过来,任何满足以上四条性质的函数,都是某个随机变量的分布函数。
1.2.1. 例:判断候选分布函数
考虑
因为单调递增且连续,并且
所以单调递增、连续,且两端极限分别为。因此它是一个分布函数。
1.3. 用分布函数计算概率
定义左极限
于是
分布函数在处的跳跃高度正好等于。因此离散随机变量的分布函数通常有跳跃,而连续随机变量在任意单点上的概率为,其分布函数连续。
2. 连续随机变量与概率密度
如果存在非负函数,使得
则称为连续随机变量,称为的概率密度函数。
这里的“连续”指分布可以由密度积分表示。密度本身不是概率,它描述单位长度附近的概率强度。
2.1. 概率密度的性质
概率密度满足
以及
若在处可导,则
更直观地,对于很小的,
2.2. 区间概率与单点概率
对,
因为单点集合的积分为,
所以对连续随机变量,区间端点是否包含不影响概率:
密度函数在有限个点上的取值也不影响积分,因此不会改变分布函数。
2.3. 基本例子
2.3.1. 圆盘距离的密度
前面得到
求导可得
距离越大,对应的圆环面积越大,所以密度随线性增加。
2.3.2. 区间上的均匀分布
它的分布函数为
2.3.3. 例:确定归一化常数
设
由密度的归一化条件,
所以
对应的分布函数为
这就是标准柯西分布的密度与分布函数。
3. 连续随机变量的数学期望与方差
3.1. 数学期望
若
则定义
绝对可积条件保证正、负两部分不会以的方式产生不确定结果。
3.1.1. 例:上的均匀分布
3.1.2. 例:柯西分布的期望不存在
标准柯西密度为
虽然被积函数是奇函数,但
因此不存在,不能仅凭对称性把它写成。
3.2. 随机变量函数的期望
若,并且相应积分存在,则
这条公式不要求先求的密度。
3.2.1. 例:均匀分布的二阶矩
若在上均匀分布,则
3.3. 期望的性质
只要相应期望存在,就有
- ;
- ;
- ;
- 若,则。
期望的线性性由积分的线性性直接得到。例如
3.4. 随机变量会在期望两侧取值
如果有限,并且不以概率等于常数,则
证明第一式:假设,则几乎处处。又因为不是常数,所以存在使得
于是
矛盾。另一式同理。
3.5. 马尔可夫不等式
若为非负随机变量,则对任意,
令,可写成
连续情形的证明:
两边除以即得结论。
3.6. 方差与标准差
定义
标准差为
常用计算公式为
对常数,
3.6.1. 例:上的均匀分布
由和,
因此
3.7. 切比雪夫不等式
若,则对任意,
证明:对非负随机变量
使用马尔可夫不等式:
4. 常用连续分布
4.1. 均匀分布
若随机变量只在区间上取值,并且密度为常数,则称服从上的均匀分布,记作
密度函数为
它的分布函数为
期望为
二阶矩为
所以
4.2. 标准正态分布
定义密度函数
服从此密度的随机变量称为标准正态随机变量,记作
标准正态密度具有以下性质:
- ,且;
- ,即关于轴对称;
- 最大值在处取得;
- 当时,。
归一化证明:令
则
改用极坐标,面积元为,所以
因为,所以,从而
由于是奇函数,
又因为,分部积分可得
所以
标准正态分布函数记为
由对称性,
常用概率为
切比雪夫不等式只给出
正态分布的精确尾概率比这个通用上界小得多。
4.3. 一般正态分布
对和,定义
称服从均值为、方差为的正态分布,记作
令
则。因此
并且
标准化证明:令,则。因此的密度为
4.3.1. 随机变量的标准化
对任意期望为、标准差为的随机变量,定义
由期望和方差的性质,
标准化只保证均值为、方差为,并不保证服从正态分布。
例如,若服从参数为的伯努利分布,即
则,。标准化后
因此
这个分布称为拉德马赫分布。它的均值为、方差为,但不是正态分布。
4.4. 指数分布
对,若随机变量的密度为
则称服从参数为的指数分布,记作
分布函数为
尾概率为
通过分部积分可以得到
4.4.1. 无记忆性
对,
证明:
已经等待了个时间单位,不会改变接下来还需等待多久的分布。
4.4.2. 与泊松过程的关系
令表示时间区间内设备发生故障的次数,并假设
令表示第一次故障发生的时间。事件等价于,所以
因此
更一般地,令表示第次故障发生的时间。事件等价于,因此
求导得到
这正是形状参数为、率参数为的伽玛分布。
4.5. 伽玛函数
对,定义
它满足递推关系
证明:分部积分,取、,则
特别地,
另有
因此对非负整数,
4.6. 伽玛分布
对,若的密度为
则称服从形状参数为、率参数为的伽玛分布,记作
4.6.1. 验证归一化
令,则,所以
4.6.2. 期望和方差
同理,
因此
4.6.3. 特殊情形
- 当时,就是。
- 当为正整数时,它描述泊松过程中第次事件的到达时间。
当时,得到自由度为的卡方分布:
它的期望和方差为
当时,卡方密度为
5. 连续随机变量的函数
给定连续随机变量和函数,令
求的分布时,分布函数法通常最稳妥:先计算
再对求导得到。
5.1. 多个原像时概率相加
连续变量与离散变量有相同的基本思想:如果多个不同的映射到同一个,这些原像附近的概率都要计入在附近的概率。
5.1.1. 例:
若在上均匀分布,则
令。对于,有两个原像和,所以
因此。
5.1.2. 例:
仍设。令,则的取值范围为。由于区间长度扩大为原来的两倍,密度缩小为原来的一半:
密度不能像离散概率那样直接写成,还必须乘上尺度修正因子。
5.1.3. 例:
若,令。对,
求导得到
5.2. 单调变换公式
设连续随机变量的密度为。若在的取值区间上严格单调,其反函数为
且连续可导,则
在的取值范围内成立,范围外。
严格递增时的证明:若严格递增,则
两边求导,
严格递减时,不等号方向反转,求导会产生负号。用可以统一两种情况。
5.2.1. 例:正态变量的仿射变换
若
则反函数为
代入变换公式:
因此
5.2.2. 例:伽玛变量的尺度变换
若
则,。因此
所以
5.3. 非单调变换
如果不是一一映射,需要找出所有满足的原像。若这些原像处,则
每个原像都贡献一部分密度。
5.3.1. 例:正弦变换
设的密度为
令。显然。对,方程在内有两个解:
两处导数绝对值均为。因此
范围外。
6. 本讲公式小结
- 分布函数:。
- 区间概率:。
- 连续随机变量:。
- 数学期望:。
- 方差:。
- 均匀分布:,。
- 正态标准化:若,则。
- 指数分布:,,且具有无记忆性。
- 伽玛分布:,。
- 单调变换:,其中。