Quartz 4

概率论与数理统计

7 min read

概率论与数理统计

🗂️ 内容导航

名称说明链接
概率基础理解概率的基本概念与运算法则进入
随机变量理解随机变量的分布与性质进入
多维随机变量理解联合分布、边缘分布与条件分布进入
大数定律与中心极限定理理解概率论的极限理论进入
统计推断理解参数估计与假设检验的核心方法进入

核心观点：概率论研究随机现象的规律性，数理统计研究如何从数据中提取信息，是机器学习的理论基础。

📊 概率统计体系

graph TB
    subgraph 概率论
        P1["概率基础<br/>随机事件"]
        P2["随机变量<br/>分布函数"]
        P3["大数定律<br/>极限定理"]
    end    
    subgraph 数理统计
        S1["统计推断<br/>参数估计"]
        S2["假设检验<br/>决策理论"]
        S3["回归分析<br/>关系建模"]
    end    
    subgraph 机器学习
        M1["贝叶斯方法<br/>先验后验"]
        M2["最大似然<br/>参数估计"]
        M3["采样方法<br/>MCMC"]
    end
    
    P1 & P2 & P3 --> S1 & S2 & S3
    S1 & S2 & S3 --> M1 & M2 & M3
    
    style P1 fill:#ffebee
    style S1 fill:#e3f2fd
    style M1 fill:#e8f5e9

🎲 概率基础

概率定义

定义内涵适用场景
古典定义等可能性有限样本
频率定义频率极限大量重复
主观定义信念程度个人判断

概率公理

柯尔莫哥洛夫公理：
1. 非负性：P(A) ≥ 0
2. 规范性：P(Ω) = 1
3. 可列可加性：P(∪Aᵢ) = ∑P(Aᵢ)

条件概率

公式内涵应用
P(AB) = P(AB)/P(B)条件概率定义
P(AB) = P(AB)P(B)乘法公式
P(AB) = P(BA)P(A)/P(B)

📈 随机变量

离散随机变量

分布概率函数均值方差
伯努利P(X=1)=ppp(1-p)
二项C(n,k)pᵏ(1-p)ⁿ⁻ᵏnpnp(1-p)
泊松λᵏe⁻λ/k!λλ

连续随机变量

graph TB
    subgraph 常见分布
        A1["正态分布<br/>钟形曲线"]
        A2["均匀分布<br/>等概率"]
        A3["指数分布<br/>无记忆性"]
        A4["伽马分布<br/>形状灵活"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

正态分布

性质内涵应用
68-95-99.7法则μ±σ包含68%数据分析
中心极限定理和趋于正态统计推断
标准化Z=(X-μ)/σ比较不同尺度

📊 多维随机变量

联合分布

概念定义意义
联合分布P(X=x, Y=y)两变量同时取值
边缘分布P(X=x) = ∑P(X,Y)单变量分布
条件分布P(XY) = P(X,Y)/P(Y)

协方差与相关

指标公式意义
协方差Cov(X,Y) = E[(X-μₓ)(Y-μᵧ)]线性相关方向
相关系数ρ = Cov(X,Y)/(σₓσᵧ)线性相关强度
相关系数解释：
- ρ > 0：正相关
- ρ < 0：负相关
- ρ = 0：不相关

🎯 大数定律与中心极限定理

大数定律

定律内涵意义
弱大数定律均值依概率收敛频率稳定
强大数定律均值几乎必然收敛频率稳定

中心极限定理

graph TB
    subgraph 中心极限定理
        A1["独立同分布<br/>均值μ方差σ²"]
        A2["标准化<br/>Zn=(X̄n-μ)/(σ/√n)"]
        A3["收敛<br/>N(0,1)"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee
    style A3 fill:#e3f2fd

📊 数理统计

统计量

统计量公式意义
样本均值X̄ = ∑Xᵢ/n中心位置
样本方差S² = ∑(Xᵢ-X̄)²/(n-1)离散程度
样本矩E(Xᵏ)分布特征

参数估计

graph TB
    subgraph 点估计
        A1["矩估计<br/>矩匹配"]
        A2["最大似然<br/>似然最大"]
        A3["贝叶斯估计<br/>后验众数"]
    end    
    subgraph 区间估计
        B1["置信区间<br/>参数范围"]
        B2["预测区间<br/>预测范围"]
    end    
    A1 & A2 & A3 --> B1 & B2
    
    style A1 fill:#ffebee
    style B1 fill:#e3f2fd

假设检验

步骤内容工具
建立假设H₀ vs H₁原假设/备择假设
选择统计量检验统计量t检验、χ²检验
确定拒绝域临界值显著性水平α
做出决策拒绝/不拒绝p值

🤖 机器学习应用

最大似然估计（MLE）

flowchart LR
    A["数据<br/>D={x₁,...,xₙ}"] --> B["假设分布<br/>p(x|θ)"]
    B --> C["似然函数<br/>L(θ)=∏p(xᵢ|θ)"]
    C --> D["对数似然<br/>logL(θ)"]
    D --> E["最大化<br/>θ̂=argmaxL(θ)"]
    
    style A fill:#fff3e0
    style B fill:#e3f2fd
    style C fill:#e8f5e9
    style D fill:#fce4ec
    style E fill:#f3e5f5

贝叶斯推断

概念公式意义
先验P(θ)信念更新前
似然P(Dθ)
后验P(θD) ∝ P(D

采样方法

MCMC方法：
1. Metropolis-Hastings：随机游走
2. Gibbs采样：条件分布采样
3. HMC：哈密顿动力学

🎯 核心结论

概率统计核心概念

  1. 随机性：不确定性是世界的本质
  2. 分布：随机变量的规律性
  3. 估计：从数据推断参数
  4. 检验：判断假设真伪
  5. 预测：基于历史预测未来

学习路径

概率统计学习四步骤：
1. 概率基础：事件、条件概率、贝叶斯
2. 分布理论：常见分布、性质
3. 统计推断：估计、检验、回归
4. 机器学习应用：MLE、贝叶斯、采样

📚 参考文献

  1. 《概率论与数理统计》- 浙江大学
  2. 《统计学习方法》- 李航
  3. 《Pattern Recognition and Machine Learning》- Bishop
  4. 《概率统计》- 陈希孺
  5. 《All of Statistics》- Larry Wasserman
  6. 《统计学》- 贾俊平
  7. 《贝叶斯方法》- Tim Head
  8. 《深入理解贝叶斯推断》

5 items under this folder.