信息学中的概率统计 · 课程综合笔记：知识点梳理与基本公式推导

信息学中的概率统计
知识点梳理与基本公式推导

依据 2026 年 9 月 11 日至 10 月 30 日九份课件整理

本笔记要解决：如何从随机试验建立概率模型，计算随机变量的分布、期望与波动，并理解多维正态分布中的条件、相关与线性变换。

阅读范围与课件索引

严格按老师的五章及各章小节顺序整理，合并不同日期课件中的重复内容。节内用加粗主题补充推导与例题，不另立课程章节。正文中的“推导”用于补全课件计算步骤，“补充”用于注明有助于理解但课件未单列的结论。页码均指原 PPT 的幻灯片序号，包含封面。

课件的五章依次为：概率论的基本概念、离散随机变量、连续随机变量、多维离散随机变量、多维连续随机变量。其中多维高斯分布属于第五章第 5 节。大数定律、中心极限定理、参数估计、回归、假设检验仅在开课大纲中出现，尚无相应系统讲解，因此不作为已讲章节展开。

10.30 第 2 页写明期中范围为“5.2 多维连续随机变量的独立性及之前的全部内容”。本笔记与该编号直接对齐：期中范围对应第 1—4 章及第 5 章的 5.1—5.2 节，后面的 5.3—5.5 节也保留，方便完整学习。这是课件中的范围说明，不是对最新教学安排的额外核实。

记号与学习主线

以 表示样本空间， 表示事件域， 表示概率。、、 分别表示期望、方差、协方差。事件补集记作 。 表示事件 的示性变量。。泊松分布统一记为 ，对应课件的 。

主线是：事件的概率，经由随机变量转成分布；分布经由加权平均得到期望与方差；多维分布增加变量之间的依赖；条件分布描述新增信息后的变化；变量变换把已知分布转为新分布。

1. 概率论的基本概念

本章要解决：建立样本空间与事件，选取概率模型，并在条件信息下更新概率。¹

1.1. 随机事件和样本空间

随机现象在给定条件下可能出现不同结果。一次试验的完整结果称为样本点，所有可能样本点组成样本空间 。事件是可赋予概率的样本空间子集。必然事件为 ，不可能事件为空集。

表示至少一件发生， 表示同时发生， 表示只发生 。德摩根律为

1.2. 概率和频率、古典概率模型与几何概率模型

重复 次试验，事件 发生 次，其频率为 。频率随试验结果变化，概率则是模型中的数值。课件以频率稳定性引入概率，再用下一节的公理给出严格定义。

古典模型与几何模型。

古典模型要求有限个基本结果等可能，才有 。有放回抽样、无放回抽样、有序结果与无序结果对应的分母不同。几何模型要求在给定区域内按长度、面积或体积均匀取点，才有“事件区域的测度除以总测度”。

例：断棍问题。 取独立均匀切点 ，令 、。三段长为 。总长为 1 时，能构成三角形等价于每段都小于 。在 的三角形中，条件为 、、。有利区域面积为 ，总面积为 ，故概率为 。这里先排序，避免把切点位置误当作两段长度。

球与桶、生日悖论与阈值。

个球独立均匀放入 个桶。若 ，总放法为 ，无冲突放法为 ，故

若 ，无冲突概率为 0。取对数并用 ，得到

推导：稀疏时的近似。 当 ，逐项使用 ，得到

所以 时，。

另一种方法令 表示第 个球同桶，，则

需要记住的渐近结论。 当 ，无冲突概率趋于 1；当 ，趋于 0；当 ，趋于 。因此 是过渡量级；固定常数倍本身不能保证概率趋于 0 或 1。生日问题对应 ，23 人至少两人同生日的概率约为 0.507（忽略闰年并采用独立均匀模型）。

1.3. 概率的公理化

事件域 是一个 -代数：它包含 ，对补集和可列并封闭。概率空间为 。

概率满足非负性、、可列可加性。可列可加性要求事件两两互斥。由 可得 ；由 （）可得单调性。

推导：加法公式。 将 拆为互斥的 和 ，得到

推广到多个事件得到容斥公式

不计算交集时，可直接用并集上界

并集上界不要求独立，也不要求互斥；上界超过 1 时应再与 1 取较小值。容斥与概率证法。

例：随机排列的固定点。 令 表示第 个位置不变。任意指定 个位置不变的概率为 。容斥中的第 项为

因此至少一个固定点的概率为 。

概率证法使用 。要证明存在没有坏性质的对象，可随机生成对象，再证明所有坏事件的并集概率小于 1。

例：随机图。 每条边独立地以 的概率存在。特定 个点形成团的概率为 ，形成独立集的概率相同。因此

只要右边小于 1，就存在同时没有这两类结构的图。注意随机图模型还需要“不同边独立”这一假设。

1.4. 条件概率

条件概率与乘法公式。

对 ，定义

直观上是把原来的样本空间缩到 ，再重新归一化。于是

递推得到链式乘法公式

所写条件概率需有正的条件事件概率。

例：第三次才抽到次品。 100 件中有 10 件次品，不放回抽取，概率为

每次分母和剩余合格品数都在变化，因此不能直接写成独立重复试验的乘积。

例：至少一名女孩。 假设两个孩子性别独立且男女等可能，并且信息确为“至少一个女孩”，条件样本为女女、女男、男女，故两名均为女孩的概率为 。若信息是“随机遇到其中一个孩子且为女孩”，信息的产生机制改变，不能直接沿用这个答案。

全概率与贝叶斯公式。

若 两两互斥且穷尽 ，则 被拆成互斥的 。因此

将乘法公式代入条件概率定义，得到

其中 是先验， 是似然， 是后验。分母必须包含所有可能导致观测 的情形。

课件中的抽象检测例。 用 表示稀有类别， 表示检出。给定 、、，则

这说明低基率下，检出者中仍可能有大量假阳性。“准确率”一个词通常不足以指定这两个条件概率，计算时需明确它们各自的含义。

条件独立与混合人群。

例：保险风险。 高风险者占 ，其每年事故概率为 ；低风险者占 ，事故概率为 。还需假设给定类型后，不同年份事故独立。第一年出事故后属于高风险者的概率为

第二年事故概率为

无条件的年事故率为 。同一个人的风险类型把年份联系起来，所以条件独立并不蕴含无条件独立。

补充：条件全概率。 已知 时，在条件空间内同样可分情况：

只对 的项求和；零权重项不需要定义对应的条件概率。

1.5. 事件的独立性

事件 独立的定义是 。当 时，等价于 。正概率的互斥事件不能独立，因为它们交集概率为 0，而概率乘积大于 0。

多个事件相互独立要求任意非空子集 都满足

只检查每一对称为两两独立，只检查全体的交也不够。

反例。 掷两枚公平独立硬币，令 为第一枚正面、 为第二枚正面、 为两枚结果相同。三者各概率为 ，任意两个的交概率为 ，但三者的交概率为 。

若 相互独立，则 与 独立：

例：轮流射击。 甲先射击，命中率为 ，乙为 ，所有射击独立。每轮双方均未命中的概率为 。若 ，

将同一个随机试验独立重复 次，称为 重独立重复试验。如果每次仅有成功与失败两个结果，且成功概率固定为 ，则称为 重伯努利试验。

本章总结。

• 计数和几何模型先检查等可能或均匀假设。
• 求交用乘法公式，分情况求边际用全概率，反推原因用贝叶斯。
• 两两独立弱于相互独立，独立性不能由直觉代替证明。

2. 离散随机变量

本章要解决：用分布列、期望与方差描述离散变量，并识别常用离散分布。²

2.1. 随机变量的定义

随机变量是定义在样本空间上的实值函数 。例如掷三枚硬币的正面数、一天的故障次数。 将试验结果映射成数值； 表示映射值为 的所有样本点组成的事件。严格地说，需要 对任意实数 成立。

只取有限个或可列个数值的随机变量称为离散随机变量。

2.2. 离散随机变量的概率分布列

离散变量的分布列为 ，。

2.3. 离散随机变量函数的分布

对函数 ，把产生同一个 的所有概率合并：

2.4. 数学期望

若 ，定义 。有限期望要求绝对可积；非负变量的期望可取 ，正负部分都为无穷时则期望未定义。

函数的期望可直接计算：，无需先求 的分布。特别地，。

由求和的线性性，。多个可积变量的期望也能直接相加，完整的联合分布推导见 4.4 节。

例：发散的奖金。 若奖金为 的概率为 （），每项对期望的贡献均为 ，故总期望为无穷，尽管每次得到的奖金几乎必然有限。

尾和公式。

若 只取非负整数，则逐样本有 。因各项非负，可交换求和与期望：

马尔可夫不等式。

推导：马尔可夫。 若 、、，则逐样本 。取期望即得

当 ，令 ，就得到课件形式 。

2.5. 方差

令 且 。方差为 ，标准差为 。

推导：计算公式。

因此

标准差必须使用 ，方差的单位是原变量单位的平方。

推导：平方误差分解。 对常数 ，展开 。交叉项期望为 0，故

所以用常数预测 时，均方误差在 处最小。方差为 0 等价于 ，不要求每个样本点上都相等。

切比雪夫不等式。

推导：切比雪夫。 对非负变量 用马尔可夫，得到

若 ，令 ，得到 。

例：公平硬币。 为 次独立投掷的正面次数，、。于是

课件还利用对称性将这个单侧事件界为 。一般分布没有这种对称性，不能任意把切比雪夫上界除以 2。

2.6. 常用离散分布

伯努利与二项分布。

伯努利变量 以概率 取 1，以概率 取 0。由 ，

若 ，且各 独立同分布，则 。恰有 次成功时，每种指定成功位置的序列概率为 ，可选位置有 种，故

由二项式定理可验证概率和为 1。

推导：矩。 线性性给出 。不同 独立，所以

另一个常用技巧是阶乘矩：

于是 ，再减 得到相同方差。

泊松分布与二项极限。

，，其分布列为

由指数函数级数，概率和为 。

推导：矩。 用 ，

同理 ，故

推导：泊松定理。 若 满足 ，对每个固定非负整数 ，

第一部分趋于 ，乘积趋于 1，而 。因此二项分布在大量独立、单次成功概率很小、总均值稳定时可作泊松近似。

球与桶模型中一个指定桶的球数服从 ；若 且 ，可近似为 。仅有“平均发生率恒定”不足以保证计数是泊松，还要有相应的独立、稀疏到达假设。

几何分布与无记忆性。

重复独立伯努利试验， 为第一次成功时的总试验次数，，：

本笔记与课件都采用“计入成功那一次”的约定，最小值是 1。若数成功前的失败次数，则应改成 。

推导：期望。 由尾和公式

推导：方差。 对 求导两次，可得

因此

上述级数求导对 有效。

推导：无记忆性。 对非负整数 ，

只在条件事件概率为正时使用。已连续失败 次后，剩余等待次数仍服从原来的几何分布。

负二项分布。

为第 次成功发生时的总试验次数， 为正整数，则 。要使 ，第 次必须成功，前 次恰有 次成功，因此

它可以写成 段独立几何等待时间之和：。所以

其概率和也可由 验证。

离散分布速查。

本章总结。

• 离散函数的分布要合并相同函数值对应的概率。
• 固定试验次数数成功个数，用二项分布；固定成功个数数总次数，用几何或负二项分布。
• 方差是二阶矩减均值平方，尾不等式还要检查非负性或有限方差。

3. 连续随机变量

本章要解决：掌握分布函数、密度、连续分布的矩和一维变量变换。³

3.1. 随机变量的概率分布函数

任意实值随机变量都有分布函数 。它单调不减、右连续，且在负无穷处趋于 0、正无穷处趋于 1。

左极限 ，因此离散分布计算端点时要特别小心。

3.2. 连续随机变量的概率密度函数

课件所称连续随机变量采用有密度的定义：存在 ，使

于是 ，且任一点概率为 0。密度可以超过 1；在零测集上改动密度不改变分布。严格地说，“分布函数连续”本身还不足以保证存在密度。

在密度连续的点，可由 求密度。反过来，密度积分恢复分布函数。连续变量的区间端点不影响概率。

3.3. 连续随机变量的数学期望和方差

若 ，则

线性性、方差计算式与缩放性质与离散情形相同：

这些性质仍可通过展开平方并对密度积分推导。2.4 节的马尔可夫证明和 2.5 节的切比雪夫证明对连续变量同样成立。

例：柯西密度。 若 ，则归一化常数由反正切积分得到。但 ，故期望不存在，不能仅凭密度关于 0 对称就断言期望为 0。

补充：非负变量的尾积分。

对任意非负变量，，所以

等待时间的尾概率若容易写出，这个公式往往比直接求和或积分更快。

3.4. 常用连续分布

均匀分布与圆内距离。

，，在区间内 ，外部为 0。积分得

例：圆内均匀取点。 若 是点到圆心的距离，圆半径为 ，则在 上

所以在圆内均匀取点并不意味着半径均匀。积分还可得 。

正态分布与标准化。

标准正态 的密度与分布函数为

对称性给出 和 。

补充推导：归一化常数。 令 。平方后转极坐标，

因此 。

由 ，分部积分得

若 ，，则

约有 的质量位于均值两倍标准差内， 位于三倍内。一般变量标准化后只保证均值 0、方差 1，不能因此认定为正态。

指数分布、伽玛函数与伽玛分布。

的密度为 （），尾概率为 。

推导：矩与无记忆性。

对 ，