简介:《概率论与数理统计笔记.pdf》是一份面向高校理工科、经管类学生及考研复习者的公式定理浓缩资料,用于在课堂学习与考前冲刺阶段快速梳理知识框架。内容按随机事件及其概率、随机变量及其分布、随机向量及其分布、数理统计四大模块展开,涵盖古典概型与几何概型、常见离散型与连续型分布、二维随机向量条件分布、大数定律与中心极限定理、常用统计量抽样分布、点估计与区间估计、假设检验、独立性检验、方差分析与回归分析等核心考点,并以概念释义、性质与常用公式相互对照的方式呈现,便于查阅和背诵。资源包共1个PDF文件,体积约432KB,轻量易携,适合在电脑或移动设备上随时翻阅。目前已有5986人学习下载,说明其目录组织与考点覆盖具有一定参考价值。读者可借助这份笔记快速定位公式、补齐概念链条,并在做题时对照分布函数、数字特征和统计推断方法,提升复习效率。
1. 把《概率论与数理统计笔记.pdf》当成公式清单的人,通常会在贝叶斯题上卡住:公式都认得,条件却总写错。这份概率论与数理统计笔记真正有价值的地方,不是把分布表、期望方差、检验统计量罗列齐全,而是每个结论前面都留了一行“若……则……”。概率论解决的是信息不完整时如何量化不确定性,数理统计解决的是从样本反推总体时如何让推断可重复。搞懂这条主线,公式就不再是散落的符号,而是一套从条件到结论的推演机器。
2. 随机事件与概率:公理为什么不是“定义”,而是可推演的约束
2.1 从样本空间到事件域:为什么只给“事件”赋概率
随机试验有四个条件:相同条件下可重复、所有可能结果事先已知、每次出现且仅出现一种结果、无法预测具体出现哪一个。把每种可能结果记成样本点,所有样本点构成样本空间;随机事件是样本空间的子集。互斥事件不能同时发生,对立事件是非此即彼,独立事件是一个发生不影响另一个发生的概率。这里最容易被混掉的是“互斥”和“独立”:互斥说的是集合不相交,独立说的是概率可乘。两个概率非零的互斥事件一定不独立,因为一个发生就把另一个的概率压成了零。
概率公理只要求三件事:非负性、规范性、可列可加性。可列可加性不是装饰,它保证了极限运算能进到概率里面去。古典概型靠“有限且等可能”把概率变成计数比,几何概型靠“区域可度量且落点等可能”把概率变成测度比。两者共同的动作,是把“等可能”翻译成一个可计算的分母。古典概型的分母是样本点总数,几何概型的分母是样本空间的度量。分母换了,等可能的含义就换了,这是后面很多翻车的源头。
提示:判断独立时不要只看事件有没有交集,要回到 P(AB)=P(A)P(B);判断互斥时不要拿概率去推,要回到集合交集是否为空。
2.2 条件概率是一次重新归一化
条件概率写成 P(A|B)=P(AB)/P(B),前提是 P(B)>0。它的动作不是“重新算一个概率”,而是把样本空间从整个 Ω 压缩到 B,再用 P(B) 做归一化。原来在 Ω 上的测度被切掉一块,剩下的部分按比例放大,所以条件概率仍然满足三条公理。乘法公式 P(AB)=P(A)P(B|A) 就是这次归一化的逆操作;连续用下去,就得到 P(A1A2…An)=P(A1)P(A2|A1)…P(An|A1…A_{n-1})。
全概率公式处理的是“分情况加权”:如果 A1,…,An 是完备事件组,也就是两两互斥且并起来是整个样本空间,那么 P(B)=ΣP(Ai)P(B|Ai)。它的合法性来自可列可加性:把 B 按 Ai 切成互不相交的块,再把每块的概率加起来。贝叶斯公式则是把条件概率反过来用:P(Ak|B)=P(Ak)P(B|Ak)/ΣP(Ai)P(B|Ai)。分母是全概率公式展开的结果,分子是“先验概率 × 似然”。很多人背得出贝叶斯,却忘了分母必须用完备事件组展开,原因就是没有把“重新归一化”这一步看穿。
2.3 古典概型与几何概型:计数和测度是两种“等可能”
古典概型的计算是 P(A)=A 包含的样本点数/样本点总数。它要求样本空间有限,并且每个基本事件等可能。只要有一条不满足,直接数分子分母就会错。几何概型则要求样本空间对应一个度量有限的几何区域,基本事件与区域中的点一一对应,事件 A 对应子区域 D,且 P(A) 只与 D 的度量成正比,与形状和位置无关。于是 P(A)=D 的度量/S 的度量。计数和测度是两种不同的“等可能”实现:前者用离散个数,后者用长度、面积、体积。
几何概型有一个隐蔽条件:所谓“等可能”是针对当前参数化下的均匀分布说的。同一个物理过程换一种参数描述,区域的度量关系变了,概率也可能变。这不是公式失效,而是“等可能”的定义被换掉了。古典概型同样有这个问题:样本点看起来对称,不代表它们等可能。先确认等可能,再谈计数,顺序反了就会得到一个很漂亮的错误答案。
3. 随机变量与数字特征:分布函数、期望和方差在压缩什么信息
3.1 分布函数F(x)为什么用“≤”定义
随机变量是把样本点映射成实数的单值函数。分布函数定义为 F(x)=P(X≤x),它把随机变量在 (-∞,x] 上的概率累积起来。这个定义有三个硬性质:单调不减、右连续、F(-∞)=0 且 F(+∞)=1。右连续是因为用了“≤”:区间 (a,b] 的概率可以直接写成 F(b)-F(a)。如果改成“<”,右连续就要换成左连续,区间公式也要跟着改。连续型随机变量在单点上的概率为 0,所以对它来说“≤”和“<”没有差别;离散型随机变量在单点上有正概率,这个符号就不能乱换。
概率密度 f(x) 不是概率,而是概率的“线密度”。连续型随机变量满足 F(x)=∫_{-∞}^x f(t)dt,且在 f 连续的点上有 F'(x)=f(x)。P(a<X≤b)=∫_a^b f(x)dx。密度可以大于 1,只要积分区间足够窄;概率必须落在 [0,1]。把 f(x) 当成“X 取 x 的概率”是典型误解,连续型随机变量取任一固定值的概率都是 0。
3.2 期望是线性泛函,方差是L2距离
期望的定义是离散型 Σx_ip_i、连续型 ∫xf(x)dx,前提是绝对收敛。绝对收敛不是数学家的洁癖:它保证期望不会因为求和顺序改变而改变,也保证 E(X) 存在时 E(aX+bY)=aE(X)+bE(Y) 这类线性运算可以放心用。线性性不需要 X 和 Y 独立,这是期望最好用的地方。方差 D(X)=E(X-EX)^2=E(X^2)-(EX)^2,它衡量的是随机变量相对期望的分散程度。把 E(X-c)^2 对 c 求导,最小值在 c=E(X) 处取到,所以期望也是“用常数逼近随机变量时的最优常数”。
协方差 cov(X,Y)=E[(X-EX)(Y-EY)] 是两个中心化随机变量的内积,相关系数 ρ=cov(X,Y)/(σXσY) 是标准化之后的余弦相似度。它只度量线性相关:ρ=0 说明没有线性关系,不说明没有关系。X~N(0,1)、Y=X^2 时 cov(X,Y)=E(X^3)-E(X)E(X^2)=0,但 Y 完全由 X 决定。独立一定不相关,不相关不一定独立,这条在考试和实际建模里都容易翻车。
3.3 常见分布的选择逻辑:从伯努利试验到泊松近似
常见分布不是背出来的,而是由试验结构推出来的。0-1 分布是单次伯努利试验;二项分布是 n 重伯努利试验中成功次数;几何分布是“一直做到首次成功”的试验次数,具有无记忆性;超几何分布是有限总体不放回抽样的成功次数;泊松分布是大量试验中稀有事件出现频数,是二项分布在 n 大、p 小、λ=np 时的极限。均匀分布是“等可能落点”的连续版本;指数分布是寿命或等待时间,同样具有无记忆性;正态分布是大量独立小误差叠加后的极限形态,标准化 Z=(X-μ)/σ 之后可以查表计算。
| 分布 | 参数 | 期望 | 方差 | 典型结构 |
|---|---|---|---|---|
| 0-1 分布 | p | p | p(1-p) | 单次伯努利试验 |
| 二项分布 B(n,p) | n,p | np | np(1-p) | n 重伯努利成功次数 |
| 泊松分布 P(λ) | λ | λ | λ | 稀有事件计数,λ=np |
| 几何分布 G(p) | p | 1/p | (1-p)/p² | 首次成功等待时间 |
| 均匀分布 U(a,b) | a,b | (a+b)/2 | (b-a)²/12 | 区间内等可能落点 |
| 指数分布 E(λ) | λ | 1/λ | 1/λ² | 寿命、等待时间 |
| 正态分布 N(μ,σ²) | μ,σ² | μ | σ² | 独立小误差叠加 |
泊松近似的关键不是“n 大就行”,而是 n 大、p 小、np 适中。np 太大时泊松分布的尾部会变厚,近似效果下降。指数分布的无记忆性 P(X>s+t|X>t)=P(X>s) 来自指数函数的乘法结构,离散的几何分布也有同样的性质。正态分布的钟形密度关于 μ 对称,σ 越大越矮胖;标准正态分布是 μ=0、σ=1 的特例,任何正态变量都能通过减均值、除标准差变成标准正态。
3.4 随机变量函数:离散取同像、连续用雅可比
离散型随机变量做函数变换 Y=g(X) 时,如果 g 不是一一映射,就要把得到同一个 y 的所有 x 的概率加起来:P(Y=y)=Σ_{x:g(x)=y}P(X=x)。连续型随机变量做函数变换时,如果 g 单调可导,密度变换公式是 f_Y(y)=f_X(g^{-1}(y))·|d/dy g^{-1}(y)|。绝对值是为了保证密度非负,同时让积分仍然为 1。g 不单调时,要分段求逆,再把各段的密度相加。线性变换 Y=aX+b 是最常用的特例:f_Y(y)=f_X((y-b)/a)/|a|。忘记雅可比因子,是连续型随机变量函数题里最常见的错误。
4. 随机向量与统计推断:联合分布如何一路压缩到拒绝域
4.1 联合、边缘、条件:二维表的投影与切片
二维随机向量的联合分布函数是 F(x,y)=P(X≤x,Y≤y)。离散型用联合分布律 p_ij=P(X=x_i,Y=y_j) 描述,列联表是最直观的数据结构:行是 X 的取值,列是 Y 的取值,格子里是联合概率。把同一行的概率相加得到 X 的边缘分布 p_i·,把同一列的概率相加得到 Y 的边缘分布 p_·j。连续型用联合密度 f(x,y) 描述,边缘密度是 f_X(x)=∫f(x,y)dy、f_Y(y)=∫f(x,y)dx,相当于把二维密度投影到一条轴上。
条件分布是“切片之后再做归一化”。离散型在 X=x_i 的条件下,Y 的条件分布律是 p_{j|i}=p_ij/p_i·;连续型在 X=x 的条件下,Y 的条件密度是 f_{Y|X}(y|x)=f(x,y)/f_X(x),前提是 f_X(x)>0。独立性的等价条件是联合分布等于边缘分布的乘积:离散型 p_ij=p_i·p_·j,连续型 f(x,y)=f_X(x)f_Y(y)。随机向量函数 Z=g(X,Y) 的处理方式和一维类似:离散型把同像的概率相加,连续型用分布函数法或变量变换法求密度。条件密度的分母为零时,条件分布没有定义,这不是“概率为零所以随便取”,而是切片本身不存在。
4.2 抽样分布:为什么要构造卡方、t和F
数理统计把样本 X1,…,Xn 看成独立同分布的随机变量。统计量是样本的函数,并且不能含未知参数。抽样分布就是统计量的分布。正态总体下有三条核心结论:样本均值 X̄~N(μ,σ²/n);样本方差满足 (n-1)S²/σ²~χ²(n-1);把正态和卡方组合起来,得到 t=(X̄-μ)/(S/√n)~t(n-1);两个卡方之比再除以自由度,得到 F=(S1²/σ1²)/(S2²/σ2²)~F(n1-1,n2-1)。这些分布不是凭空出现的,它们的任务是消去未知参数,构造一个分布已知的枢轴量。
| 统计量 | 分布 | 作用 |
|---|---|---|
| X̄ | N(μ,σ²/n) | 估计总体均值 |
| (n-1)S²/σ² | χ²(n-1) | 估计或检验总体方差 |
| (X̄-μ)/(S/√n) | t(n-1) | σ 未知时检验均值 |
| (S1²/σ1²)/(S2²/σ2²) | F(n1-1,n2-1) | 比较两个方差 |
自由度 n-1 来自一个约束:计算 S² 时用了 X̄,n 个偏差 X_i-X̄ 满足 Σ(X_i-X̄)=0,所以只有 n-1 个可以自由变动。t 分布比标准正态分布尾部更厚,因为分母里的 S 是估计出来的,额外带了一层不确定性;n 越大,t 分布越接近标准正态。F 分布是两个卡方之比,方差分析和方差比检验都靠它。
4.3 点估计:矩估计和最大似然分别在优化什么
矩估计的思路是“用样本矩替换总体矩”。样本 k 阶原点矩 A_k=(1/n)ΣX_i^k,总体 k 阶原点矩 μ_k=E(X^k)。令 A_k=μ_k(θ),解出 θ 的表达式,就得到矩估计。它依赖大数定律:样本矩依概率收敛到总体矩,所以样本矩替换总体矩在样本量增大时是合理的。矩估计的优点是计算直接,缺点是没有充分利用分布的形状信息。
最大似然估计走的是另一条路:把样本值看成已经发生的事实,选择让这批样本最可能出现的参数。似然函数 L(θ)=Πf(x_i;θ),取对数变成 lnL(θ)=Σlnf(x_i;θ),再解似然方程 ∂lnL/∂θ=0。取对数不是技巧,而是把乘积变成求和,避免数值下溢,也让求导更容易。似然函数是参数 θ 的函数,不是样本的概率密度;样本固定之后,它衡量的是不同参数对这批样本的解释力。最大似然估计不一定无偏,但在正则条件下是相合的、渐近正态的。评价估计量时看三条:无偏性 E(θ̂)=θ、有效性看均方误差、一致性看依概率收敛。
4.4 区间估计与假设检验:枢轴量和拒绝域的对偶
区间估计的通用方法是枢轴变量法:找一个样本和未知参数的函数 U,它的分布已知且不依赖未知参数;对置信度 1-α,找 a、b 使得 P(a<U<b)=1-α;再解不等式得到 θ 的置信区间。σ 已知时,U=(X̄-μ)/(σ/√n)~N(0,1),解出来是 X̄±u_{α/2}σ/√n;σ 未知时用 S 替换 σ,U~t(n-1),区间变成 X̄±t_{α/2}(n-1)S/√n。置信度不是“参数落在区间内的概率”,参数是固定的,区间是随样本变化的;1-α 描述的是重复抽样下区间覆盖参数的概率。
假设检验的时序是:提出原假设 H0 和备择假设 H1;构造检验统计量 U;给定显著性水平 α;确定拒绝域 W,使得 P(U∈W|H0)≤α;抽样算出 U 的观测值,落进 W 就拒绝 H0,否则不拒绝。拒绝域通常放在尾部,因为尾部对应“H0 下小概率出现”的极端结果。p 值是在 H0 下观测到至少这么极端结果的概率。两类错误此消彼长:第一类错误是拒真,概率被 α 控制;第二类错误是取伪,概率记作 β。样本量固定时,压低 α 通常会抬高 β;想同时降低两类错误,只能增加样本量。区间估计和双边假设检验是对偶的:θ0 落在 1-α 置信区间内,等价于双边检验不拒绝 H0。
4.5 拟合优度、独立性与回归:卡方和最小二乘的统一视角
皮尔逊拟合优度检验处理的是“总体分布是否等于某个已知分布族”。把样本空间分成 k 个互不相交的区间,计算实际频数 O_i 和理论频数 E_i=np_i,统计量 χ²=Σ(O_i-E_i)²/E_i,在 H0 下近似服从 χ²(k-1-s),s 是用样本估计的参数个数。理论频数不能太小,通常要求每个 E_i≥5,否则卡方近似会失真,需要合并相邻区间。独立性检验把列联表的每个格子看成实际频数,理论频数 E_ij=n_i·n_·j/n,统计量同样是标准化残差平方和,自由度是 (r-1)(s-1)。方差分析比较多个正态总体均值,把总平方和拆成组间平方和与组内平方和,再用 F=组间均方/组内均方做检验。回归分析的最小二乘把残差平方和 Σ(y_i-β0-β1x_i)² 压到最小,解正规方程得到系数;在零均值、同方差、不相关等条件下,最小二乘是最佳线性无偏估计。卡方统计量和最小二乘本质上都在做同一件事:把残差标准化,再平方求和。
5. 常见问题与排查:五类条件误用如何让结果失真
5.1 把“不相关”当成“独立”
现象:算出 cov(X,Y)=0,就直接在报告里写“X 与 Y 独立”,后续条件概率和联合分布全按乘积处理。原因:相关系数只度量线性相关,cov=0 只说明没有线性关系,不能排除二次、周期性或其他非线性依赖。X~N(0,1)、Y=X² 就是标准反例:Y 完全由 X 决定,但 cov(X,Y)=0。解决:先画散点图或检查条件分布;要证明独立,回到联合分布是否等于边缘分布乘积;要否定独立,找一个依赖关系或反例即可。
5.2 条件密度的分母为零
现象:在 f_X(x)=0 的点上仍然写 f_{Y|X}(y|x)=f(x,y)/f_X(x),并代入数值计算。原因:条件概率要求条件事件有正概率,连续型条件密度要求 f_X(x)>0;分母为零时切片不存在,条件分布没有定义。解决:先确定联合密度的支撑集,条件密度只在 f_X(x)>0 的区域上定义;边界点用极限处理或单独说明,不要硬算。
5.3 置信区间的解释反了
现象:把“95% 置信区间”解释成“参数有 95% 的概率落在这个区间里”。原因:频率学派把参数看成固定常数,把区间看成随样本变化的随机对象;概率属于区间,不属于参数。解决:改成“重复抽样构造的区间中,约有 95% 会覆盖参数”;如果确实想说参数的概率,需要转入贝叶斯框架,用先验得到可信区间。
5.4 卡方检验理论频数太小
现象:列联表里有不少格子理论频数小于 5,仍然直接算 χ²,结果显著就下结论。原因:卡方统计量的近似分布依赖大样本,理论频数太小时近似误差大,p 值不可靠。解决:合并相邻类别或增加样本量;小样本列联表改用精确检验;报告时说明合并规则和理论频数最小值。
5.5 大数定律的“平均”忽略重尾
现象:样本均值随样本量增加仍然大幅波动,和理论期望对不上,就怀疑大数定律失效。原因:大数定律有前提。辛钦大数定律要求独立同分布且期望存在;切比雪夫大数定律要求两两不相关且方差有界。重尾分布可能期望不存在,样本均值不会稳定到某个常数。解决:先检查期望是否绝对收敛、方差是否有限;重尾数据不要直接套样本均值,改用稳健统计量或明确建模。
6. 设计取舍:为什么这些公式必须带条件,以及如何验证你记住的是机制
6.1 条件就是接口契约
这份笔记把“若……则……”写在公式旁边,看起来牺牲了简洁,实际上是在保留可验证性。全概率公式要求完备事件组,贝叶斯公式要求分母不为零,中心极限定理要求独立同分布且方差有限,t 检验要求正态总体或足够大的样本,卡方检验要求理论频数不太小。条件不是公式的附属说明,而是接口契约:条件满足,结论才能调用;条件不满足,计算越精确,错得越稳定。常见的实现思路是把每个定理拆成“输入假设—输出结论—失效反例”三栏,复习时先遮住结论,只看假设,能说出反例再往下看推导。
6.2 验证方法:用模拟和边界反例检查记忆
验证一个概率统计结论,最便宜的方法是蒙特卡洛模拟:按假设生成大量样本,看统计量的经验分布是否逼近理论分布;再跑几个边界值,比如 n=1、p=0、p=1、σ=0,看公式是否退化到合理结果;最后找反例,专门检查“不相关⇒独立”“置信区间概率解释”“大数定律无条件成立”这些容易记混的地方。我一般会准备一张三列表:条件、结论、反例,每次复习先填条件列。从那以后我每次翻这份笔记,都先遮住公式只看条件,能复述条件再往下看推导,这比背十遍结论都稳。希望帮到你。
本文还有配套的精品资源,点击获取