企业官网建设流程全解析

由第1章可知，香农信息又称为概率信息，信息的度量建立在概率基础上，与载荷信息的消息所发生的概率有关。因为信息的载体是随机事件，因此利用概率论中的随机变量来描述随机事件或者消息。最简单的一类随机变量是离散随机变量，本章将从离散随机变量开始介绍信息的度量。
在深入信息度量之前，我们需要先回顾概率论的基础知识。信息的载体是随机事件，消息的发生带有不确定性，因此我们用随机变量描述消息，离散随机变量便是信息论入门的起点。
1.样本空间与随机事件
随机试验：是指结果无法预先预测的试验。
样本空间：是随机试验全部可能结果的集合，集合里每一个结果叫做样本点。
举个典型例子：抛掷一枚硬币：样本空间Ω\OmegaΩ={H,T}，H代表正面朝上，T代表反面朝上；
抛掷两枚硬币：样本空间Ω\OmegaΩ={HH,HT,TH,TT}；
随机事件：样本空间Ω\OmegaΩ的任意一个子集，就称为随机事件。比如抛硬币试验中，子集E={H}，就代表“硬币正面朝上”这个事件。
2.概率、条件概率与联合概率
概率用来描述事件发生可能性大小，满足三条公理：取值在0到1之间；全部样本的概率总和等于1；互不相交事件的概率可相加。
条件概率：在事件A已经发生的前提下，事件B发生的概率，记作p(B|A)。
如果A、B相互独立，p(B|A)=p(B)，意思就是A发不发生，都不会影响B发生的概率。
联合概率：事件A、B同时发生的概率，记为p(AB)，满足公式：
p(AB)=p(A)p(B|A)=p(B)p(A|B)
基于上面两个概率，延伸出全概率公式和贝叶斯公式。
3.全概率公式和贝叶斯公式
全概率公式：假设{ai,i=1,2,…,N}\{a_i,i=1,2,\dots,N\}{ai​,i=1,2,…,N}为样本空间Ω\OmegaΩ的一个划分，集合BBB是样本空间Ω\OmegaΩ中的一个随机事件，则事件BBB发生的概率：p(B)=∑i=1Np(ai)p(B∣ai)p(B)=\sum_{i=1}^{N}p(a_i)p(B|a_i)p(B)=i=1∑N​p(ai​)p(B∣ai​)
贝叶斯公式的一般形式为：p(ai∣B)=p(ai)p(B∣ai)∑k=1Np(ak)p(B∣ak) p(a_i|B)=\frac{p(a_i)p(B|a_i)}{\displaystyle\sum_{k=1}^{N}p(a_k)p(B|a_k)}p(ai​∣B)=k=1∑N​p(ak​)p(B∣ak​)p(ai​)p(B∣ai​)​
贝叶斯公式求取的是事件BBB的某个来源在事件BBB所有来源中所占的比率。
4.先验概率和后验概率
在通信系统或者信息论中经常会遇到先验概率和后验概率两个概念。
贝叶斯公式所计算的概率就是后验概率：事件BBB发生后，触发BBB发生的第iii个原因aia_iai​发生的条件概率p(ai∣B)p(a_i|B)p(ai​∣B)
先验概率：是指某一件事BBB本身所具有的随机性程度，是不依赖其他事件而得到的一个计量。
5.离散随机变量
随机变量：设EEE是一随机试验，其样本空间Ω={ω}\Omega=\{\omega\}Ω={ω}。若对每个样本点ω∈Ω\omega\in\Omegaω∈Ω，总存在一个实数 X 与之对应，则可以得到一个从样本空间Ω\OmegaΩ到实数集R\mathscr{R}R的单值实函数f(ω)=Xf(\omega)=Xf(ω)=X，简记为X(ω)X(\omega)X(ω),X(ω)X(\omega)X(ω)称为随机变量。由于自变量肯定是样本点ω\omegaω，一般省略不写，直接记为 X。
离散随机变量：取值为有限个，或者无限但可数，这样的随机变量称为离散随机变量。
无限但可数：集合中的元素可以与正整数建立一一对应关系。
累积分布函数：对于离散随机变量 X 以及任意实数x(−∞<x<+∞)x(-\infty < x < +\infty)x(−∞<x<+∞)，
F(x)=P[X≤x]F(x)=P[X \le x]F(x)=P[X≤x]
F(x) 称为离散随机变量 X 的累积分布函数，简称分布函数。
累积分布函数四条核心性质
1.分布函数 F(x) 是随机变量 X 取值小于或等于 x 的概率；
2. F(x) 是 x 的非减函数；
3.lim⁡x→+∞P[X≤x]=F(+∞)\lim\limits_{x \to +\infty} P[X \le x] = F(+\infty)x→+∞lim​P[X≤x]=F(+∞)=1；
4.lim⁡x→−∞P[X≤x]=F(−∞)\lim\limits_{x \to -\infty} P[X \le x] = F(-\infty)x→−∞lim​P[X≤x]=F(−∞)=0。
6.离散随机变量的统计特性
离散随机变量XXX的概率分布P(x)P(x)P(x)描述了随机变量取某一具体值时的随机性。但在实际应用中更关心的是群体的平均分布情况；对于离散随机变量而言，常用的统计特性有数学期望及其函数的数学期望。
数学期望：设一离散随机变量 X，其概率分布为p(xn)(n=1,2,…,N)p(x_n)(n=1,2,\dots,N)p(xn​)(n=1,2,…,N)，则离散随机变量 X 的数学期望定义为
E[X]=∑n=1Nxnp(xn)E[X]=\sum_{n=1}^{N} x_n p(x_n)E[X]=∑n=1N​xn​p(xn​)
由定义可知，离散随机变量 X 的数学期望就是 X 可能取值的加权平均，其加权权重就是对应的概率。
两个离散随机变量的数学期望：已知离散随机变量 X 和 Y 的联合分布p(xiyj)(i=1,2,…,N;j=1,2,…,M)p(x_iy_j)(i=1,2,\dots,N;j=1,2,\dots,M)p(xi​yj​)(i=1,2,…,N;j=1,2,…,M)，则离散随机变量 XY 的数学期望为：
E[XY]=∑i=1N∑j=1Mxiyjp(xiyj)E[XY]=\sum_{i=1}^{N}\sum_{j=1}^{M} x_iy_j p(x_iy_j)E[XY]=∑i=1N​∑j=1M​xi​yj​p(xi​yj​)
离散随机变量函数的数学期望：已知离散随机变量 X 的概率分布p(xi)(i=1,2,…,N)p(x_i)(i=1,2,\dots,N)p(xi​)(i=1,2,…,N)，则 X 函数 f(X) 的数学期望：E[f(X)]=∑i=1Nf(xi)p(xi)E[f(X)]=\sum_{i=1}^{N} f(x_i)p(x_i)E[f(X)]=∑i=1N​f(xi​)p(xi​)