Quartz 4

概率基础

5 min read

概率基础

核心观点：概率是度量不确定性的数学工具，是统计推断和机器学习的理论基础。

📊 概率基本概念

概率定义

定义方式内涵适用场景
古典定义等可能性事件的比例有限样本空间
频率定义频率的极限大量重复试验
主观定义个人信念程度未知事件

概率公理

graph TB
    subgraph 柯尔莫哥洛夫公理
        A1["非负性<br/>P(A) ≥ 0"]
        A2["规范性<br/>P(Ω) = 1"]
        A3["可列可加性<br/>P(∪Aᵢ) = ∑P(Aᵢ)"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🎲 事件运算

事件类型

类型定义符号
必然事件一定会发生Ω
不可能事件一定不发生∅
对立事件不发生A’ 或 Aᶜ
互斥事件不能同时发生A∩B = ∅

事件运算

运算定义性质
并集A∪B = {x∈A或x∈B}交换律、结合律
交集A∩B = {x∈A且x∈B}交换律、结合律
差集A-B = {x∈A且x∉B}非交换
补集A’ = {x∉A}对合律

德摩根律

德摩根律：
(A∪B)' = A'∩B'
(A∩B)' = A'∪B'

推广：
(∪Aᵢ)' = ∩Aᵢ'
(∩Aᵢ)' = ∪Aᵢ'

📐 条件概率

条件概率定义

概念公式意义
条件概率P(A|B) = P(AB)/P(B)B发生时A的概率
乘法公式P(AB) = P(A|B)P(B)联合概率

条件概率性质

graph TB
    subgraph 条件概率性质
        A1["非负性<br/>P(A|B) ≥ 0"]
        A2["规范性<br/>P(Ω|B) = 1"]
        A3["可列可加性<br/>P(∪Aᵢ|B) = ∑P(Aᵢ|B)"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🔗 全概率公式与贝叶斯公式

全概率公式

公式形式意义
全概率P(A) = ∑P(A|Bᵢ)P(Bᵢ)分解复杂事件
条件{Bᵢ}是样本空间划分互斥且完备

贝叶斯公式

graph TB
    subgraph 贝叶斯公式
        A1["公式<br/>P(Bᵢ|A) = P(A|Bᵢ)P(Bᵢ)/P(A)"]
        A2["先验概率<br/>P(Bᵢ)：事件发生前"]
        A3["似然<br/>P(A|Bᵢ)：已知Bᵢ时A的概率"]
        A4["后验概率<br/>P(Bᵢ|A)：观察到A后Bᵢ的概率"]
    end    
    A1 --> A2 & A3 & A4
    
    style A1 fill:#ffebee

贝叶斯推断

步骤内容公式
1. 建立先验对参数的初始信念P(θ)
2. 收集数据观察到的证据P(D|θ)
3. 更新后验结合先验和数据P(θ|D) ∝ P(D|θ)P(θ)

🤖 机器学习应用

朴素贝叶斯分类器

graph TB
    subgraph 朴素贝叶斯
        A1["先验概率<br/>P(y)"]
        A2["条件概率<br/>P(x|y)"]
        A3["后验概率<br/>P(y|x) ∝ P(x|y)P(y)"]
        A4["分类决策<br/>ŷ = argmax P(y|x)"]
    end    
    A1 & A2 --> A3 --> A4
    
    style A1 fill:#ffebee
    style A4 fill:#e3f2fd

贝叶斯优化

应用内容优势
超参数优化建模目标函数减少评估次数
主动学习选择最有价值样本标注效率高

🎯 核心结论

概率基础核心概念

  1. 概率：不确定性的度量
  2. 条件概率：信息更新的基础
  3. 全概率公式：分解复杂问题
  4. 贝叶斯公式：信念更新的数学表达
  5. 先验与后验：从假设到证据的推理

学习路径

概率基础学习四步骤：
1. 概率公理：非负性、规范性、可加性
2. 事件运算：并、交、补、德摩根律
3. 条件概率：定义、乘法公式
4. 贝叶斯公式：全概率、后验概率

📚 参考文献

  1. 《概率论与数理统计》- 浙江大学
  2. 《概率论基础教程》- Sheldon Ross
  3. 《统计学习方法》- 李航
  4. 《Pattern Recognition and Machine Learning》- Bishop
  5. 《概率统计》- 陈希孺
  6. 《All of Statistics》- Larry Wasserman
  7. 《贝叶斯方法》- Tim Head
  8. 《深入理解贝叶斯推断》

Graph View

Backlinks