Quartz 4

大数定律与中心极限定理

4 min read

大数定律与中心极限定理

核心观点：大数定律说明频率的稳定性，中心极限定理说明正态分布的普遍性，是统计推断的理论基石。

📊 大数定律

定义

定律内涵意义
弱大数定律X̄ₙ 依概率收敛于 μ频率稳定
强大数定律X̄ₙ 几乎必然收敛于 μ频率几乎必然稳定

常见大数定律

graph TB
    subgraph 大数定律类型
        A1["切比雪夫大数定律<br/>方差有界"]
        A2["辛钦大数定律<br/>独立同分布"]
        A3["伯努利大数定律<br/>频率稳定"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

切比雪夫不等式

公式内容应用
P(|X-μ|≥ε) ≤ σ²/ε²偏离均值的概率上界证明大数定律

📈 中心极限定理

定义

graph TB
    subgraph 中心极限定理
        A1["独立同分布<br/>X₁,...,Xₙ ~ iid"]
        A2["标准化<br/>Zₙ = (X̄ₙ-μ)/(σ/√n)"]
        A3["收敛<br/>Zₙ → N(0,1)"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee
    style A3 fill:#e3f2fd

常见中心极限定理

定理条件结论
林德伯格-莱维独立同分布和趋于正态
李雅普诺夫独立不同分布和趋于正态
棣莫弗-拉普拉斯二项分布近似正态

🎯 应用

参数估计

应用原理说明
置信区间X̄ ± zₐ/₂σ/√n均值区间估计
假设检验构造统计量判断假设真伪

蒙特卡洛模拟

graph TB
    subgraph 蒙特卡洛
        A1["生成随机数<br/>样本模拟"]
        A2["计算统计量<br/>近似分布"]
        A3["中心极限定理<br/>控制误差"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee

🤖 机器学习应用

随机近似

方法原理应用
SGD小批量梯度近似全批量大规模训练
随机森林随机采样近似集成集成学习
蒙特卡洛Dropout采样近似贝叶斯推断不确定性估计

🎯 核心结论

极限定理核心概念

  1. 大数定律：频率趋近概率
  2. 中心极限定理：和趋于正态
  3. 正态分布：自然界最普遍的分布
  4. 统计推断：基于极限理论
  5. 机器学习：随机近似方法

学习路径

极限理论学习四步骤：
1. 大数定律：弱/强大数定律
2. 中心极限定理：收敛到正态
3. 应用：置信区间、假设检验
4. 机器学习：SGD、蒙特卡洛

📚 参考文献

  1. 《概率论与数理统计》- 浙江大学
  2. 《概率论基础教程》- Sheldon Ross
  3. 《统计学习方法》- 李航
  4. 《Probability and Statistics》- DeGroot
  5. 《蒙特卡洛方法》
  6. 《随机过程》- 方兆本
  7. 《中心极限定理》
  8. 《大数定律与中心极限定理》

Graph View

Backlinks