Quartz 4

多维随机变量

5 min read

多维随机变量

核心观点：多维随机变量描述多个随机现象的联合行为，是理解变量间关系的数学工具。

📊 多维随机变量基本概念

联合分布

概念定义意义
联合分布函数F(x,y) = P(X≤x, Y≤y)两变量同时取值
联合概率P(X=x, Y=y)离散型
联合密度f(x,y) = ∂²F/∂x∂y连续型

边缘分布

graph TB
    subgraph 边缘分布
        A1["定义<br/>从联合到边缘"]
        A2["离散型<br/>P(X=x) = ∑P(X=x,Y=y)"]
        A3["连续型<br/>f(x) = ∫f(x,y)dy"]
        A4["意义<br/>单变量分布"]
    end    
    A1 --> A2 & A3 & A4
    
    style A1 fill:#ffebee

📈 条件分布

条件分布定义

类型公式意义
离散型P(X=x|Y=y) = P(X=x,Y=y)/P(Y=y)给定Y时X的分布
连续型f(x|y) = f(x,y)/f(y)给定Y时X的密度

条件分布性质

条件分布性质：
1. 非负性：f(x|y) ≥ 0
2. 归一化：∫f(x|y)dx = 1
3. 贝叶斯：f(x|y) = f(x,y)/f(y)

🔗 独立性与相关性

独立性

概念定义等价条件
独立P(X≤x, Y≤y) = P(X≤x)P(Y≤y)联合=边缘乘积
密度独立f(x,y) = f(x)f(y)密度可分离

相关性

graph TB
    subgraph 相关性度量
        A1["协方差<br/>Cov(X,Y)"]
        A2["相关系数<br/>ρ = Cov(X,Y)/(σₓσᵧ)"]
        A3["相关≠独立<br/>独立→不相关"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee

独立与不相关

关系条件说明
独立→不相关独立一定不相关充分条件
不相关↛独立不相关不一定独立除非联合正态

📐 协方差矩阵

协方差矩阵定义

概念公式性质
协方差矩阵Σᵢⱼ = Cov(Xᵢ, Xⱼ)对称、半正定
对角线Var(Xᵢ)各变量方差
非对角线Cov(Xᵢ, Xⱼ)变量间协方差

协方差矩阵性质

graph TB
    subgraph 协方差矩阵
        A1["对称性<br/>Σ = Σᵀ"]
        A2["半正定<br/>xᵀΣx ≥ 0"]
        A3["特征值≥0<br/>分解性质"]
        A4["线性变换<br/>Cov(AX) = AΣAᵀ"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🤖 机器学习应用

多元正态分布

graph TB
    subgraph 多元正态
        A1["定义<br/>X ~ N(μ, Σ)"]
        A2["参数<br/>均值向量μ、协方差矩阵Σ"]
        A3["性质<br/>边缘/条件仍正态"]
        A4["应用<br/>高斯过程、贝叶斯"]
    end    
    A1 --> A2 & A3 & A4
    
    style A1 fill:#ffebee

高斯混合模型（GMM）

概念内容意义
混合分布p(x) = ∑πₖN(x|μₖ, Σₖ)多个高斯叠加
EM算法E步计算后验，M步更新参数参数估计

🎯 核心结论

多维随机变量核心概念

  1. 联合分布：多变量同时取值
  2. 边缘分布：单变量分布
  3. 条件分布：给定条件的分布
  4. 独立性：联合=边缘乘积
  5. 协方差矩阵：变量间关系

学习路径

多维随机变量学习四步骤：
1. 联合分布：定义、计算
2. 边缘分布：从联合到边缘
3. 条件分布：条件概率推广
4. 独立与相关：区别与联系

📚 参考文献

  1. 《概率论与数理统计》- 浙江大学
  2. 《概率论基础教程》- Sheldon Ross
  3. 《多元统计分析》- 何晓群
  4. 《Pattern Recognition and Machine Learning》- Bishop
  5. 《统计学习方法》- 李航
  6. 《概率统计》- 陈希孺
  7. 《多元正态分布》
  8. 《协方差矩阵分析》

Graph View

Backlinks