非小米电脑安装小米电脑管家的三种兼容方案
2026/10/23 3:46:59
一、随机试验与样本空间：信源输出的“概率底座”
信息论把信源输出的符号序列视为随机现象。教材在概率论复习部分首先界定随机试验：在相同条件下可重复；所有可能结果事先可知；单次试验前不能确定哪一个结果会出现。随机试验的全体基本结果构成样本空间Ω，每一个基本结果为一个样本点；随机事件是样本空间的子集。
在信息论中的直接用途是：离散信源的数学模型就是一个概率空间。信源符号集 {x₁, x₂, …, xₙ} 对应样本空间，各符号的出现概率构成概率分布，后续自信息量 −log p(xᵢ) 中的 p(xᵢ) 就是这里的概率测度。没有“符号—概率”的对应，熵和互信息都无从定义。
二、概率的公理化性质与条件概率
教材在古典概型中给出概率的三条基本性质：非负性P(A) ≥ 0；规范性P(Ω) = 1；有限可加性（互不相容事件之和的概率等于概率之和）。在信息论中，这三条性质保证了信源概率分布 ∑p(xᵢ) = 1 以及熵的非负性。
条件概率的定义是整章概率论基础中最关键的衔接点：
P(A∣B)=P(AB)P(B),P(B)>0P(A∣B)=P(B)P(AB),P(B)>0
这一式子把“联合概率”与“条件概率”连接起来。在信息论中，条件自信息量 I(x|y) = −log p(x|y)、条件熵 H(X|Y)以及互信息 I(x;y) = log[p(x|y)/p(x)]全部以条件概率为底层构件。换句话说，没有条件概率，就无法刻画“收到 y 之后对 x 的不确定性还剩多少”。
三、全概率公式与贝叶斯公式：通信模型中的“正向预测”与“反向推断”
教材将这两个公式单独列为 2.1.3 节，正是因为通信系统的分析完全建立在这两个公式之上。
全概率公式：设 A₁, A₂, …, Aₙ 构成完备事件组（互不相容且并为 Ω），则
P(B)=∑iP(Ai)P(B∣Ai)P(B)=i∑P(Ai)P(B∣Ai)
在通信模型中，Aᵢ 对应信源发送的符号，P(Aᵢ) 是发送概率，P(B|Aᵢ) 是信道转移概率（发 Aᵢ 时收到 B 的概率）。全概率公式用来计算接收端收到某个符号的总概率——这是信道输出分布的计算依据。
贝叶斯公式：
P(Ai∣B)=P(Ai)P(B∣Ai)∑jP(Aj)P(B∣Aj)P(Ai∣B)=∑jP(Aj)P(B∣Aj)P(Ai)P(B∣Ai)
它完成的是反向推断：已知收到 B，反推发送的是 Aᵢ 的概率。这一“由果溯因”的过程，就是信息论中互信息量的定义来源：互信息 I(x;y) 本质上衡量的是后验概率 p(x|y) 相对于先验概率 p(x) 发生了多大变化——变化越大，收到的 y 关于 x 的信息量就越大。
四、先验概率与后验概率：互信息的“分母与分子”
教材把“先验概率和后验概率”放在贝叶斯公式之后、自信息量之前，用意非常明确：为互信息量的定义铺路。
先验概率 p(x)：信源发出符号 x 的固有概率，在接收端收到任何消息之前就已经知道。
后验概率 p(x|y)：接收端收到 y之后，对“发送的是 x”这一事件的修正概率。
信息论中互信息量的定义直接取自这两个概率的比值：
I(x;y)=logp(x∣y)p(x)I(x;y)=logp(x)p(x∣y)
若 p(x|y) > p(x)，后验大于先验，I(x;y) > 0，说明 y 提供了关于 x 的正向信息；
若 p(x|y) = p(x)，后验等于先验，I(x;y) = 0，说明 y 与 x 独立，没有信息传递；
若 p(x|y) < p(x)，后验小于先验，I(x;y) < 0（单次互信息量可负；平均互信息量非负）。
教材在信息度量之前专门设置“先验/后验”小节，正是为了让学生先建立 “信息 = 后验对先验的修正” 这一直觉，再进入公式。
五、离散随机变量及其统计特性：熵是“自信息的期望”
2.1.5 和 2.1.6 两节把随机变量及其统计特性引入，信息论中最直接用到的是数学期望和方差（教材目录中列为“离散随机变量的统计特性”）。
数学期望E[X] = ∑ xᵢ p(xᵢ) 在信息论中的角色是：信息熵就是自信息量的数学期望。第2章正文将定义：
H(X)=E[−logp(X)]H(X)=E[−logp(X)]
如果概率论基础中没有把期望理解为“以概率为权重的加权平均”，熵的定义就失去了直观含义：熵不是某一个符号的自信息，而是所有符号自信息按出现概率加权后的平均值。
方差虽然在第2章熵的定义中不直接出现，但它在后续章节中用于刻画信源输出的波动程度以及某些编码与估计问题的性能分析。教材将期望与方差并列在“统计特性”下，是为了让读者先具备“用概率分布提取数值特征”的思维习惯，而熵正是信源分布最重要的一种数值特征。
六、一张表：概率论工具 → 信息论用途
| 概率论概念（教材 2.1 节） | 在信息论中的直接用途 |
|---|---|
| 样本空间与随机事件 | 信源符号集与概率空间的底层集合语言 |
| 概率非负性、规范性、可加性 | 保证信源分布 ∑p=1，支撑熵的非负性 |
| 条件概率 P(x∥y)P(x∥y) | 定义条件自信息量、条件熵、互信息 |
| 全概率公式 | 由信源分布和信道转移概率计算接收端输出分布 |
| 贝叶斯公式 | 由接收符号反推发送符号，支撑“后验修正先验”的推断逻辑 |
| 先验概率 p(x)p(x) / 后验概率 p(x∥y)p(x∥y) | 互信息量 I(x;y)=log[p(x∥y)/p(x)]I(x;y)=log[p(x∥y)/p(x)] 的分子与分母 |
| 数学期望 E[⋅]E[⋅] | 信息熵 H(X)=E[−logp(X)]H(X)=E[−logp(X)] 的定义工具 |
| 方差 | 刻画信源输出波动，用于后续编码与估计问题的性能分析 |
学习提示：这一小节的目标是概率论中条件概率—贝叶斯—先验/后验—期望这条线索与信息论的条件信息—互信息—熵严格对齐。后续遇到任何一个熵或互信息公式时，能迅速指出它的“概率论原型”是什么。
来源说明：小节划分与节号依据翟明岳《信息论基础》（清华大学出版社，2023年11月第1版，ISBN 9787302640936）第2章目录；随机试验、样本空间、古典概型及条件概率的定义与性质参考了与该教材概率论复习部分对应的公开课件内容；先验概率/后验概率与互信息的关系参照了信息论科普中“后验与先验比值取对数”的表述；全概率公式与贝叶斯公式在通信模型中的用途结合了信道输入输出概率分析的通用框架。