多维随机变量

核心观点:多维随机变量描述多个随机现象的联合行为,是理解变量间关系的数学工具。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
两个指标高度相关,上线后互预测失效相关的只是线性部分,且可能受第三变量驱动除皮尔逊系数外补 Spearman/互信息;决策前先问「有没有共同混杂变量」
相关特征被成批删除后模型变差把相关当冗余,把独立当安全看协方差矩阵特征值:小特征方向才是真冗余,大特征方向不能删
多表 JOIN 后样本量不对劲边缘分布与联合分布混淆先确认联合粒度:P(X)=∑_Y P(X,Y),边缘是对另一个变量求和/积分,不是简单平均
用户分层报告自相矛盾辛普森悖论(条件与边缘方向相反)分层看条件分布,聚合看边缘分布,两边都报;组权重失衡时用加权平均
PCA / whitening 到底在做什么对角化协方差矩阵Cov(AX) = AΣAᵀ,选 A 为特征向量矩阵即把协方差变成对角
标准化后仍觉得距离不准特征间有相关性,各向尺度不同先按协方差矩阵做 whitening(或直接用马氏距离),再算欧氏距离

📊 多维随机变量基本概念

联合分布

概念定义意义
联合分布函数F(x,y) = P(X≤x, Y≤y)两变量同时取值
联合概率P(X=x, Y=y)离散型
联合密度f(x,y) = ∂²F/∂x∂y连续型

边缘分布

graph TB
    subgraph 边缘分布
        A1["定义<br/>从联合到边缘"]
        A2["离散型<br/>P(X=x) = ∑P(X=x,Y=y)"]
        A3["连续型<br/>f(x) = ∫f(x,y)dy"]
        A4["意义<br/>单变量分布"]
    end    
    A1 --> A2 & A3 & A4
    
    style A1 fill:#ffebee

📈 条件分布

条件分布定义

类型公式意义
离散型P(X=x|Y=y) = P(X=x,Y=y)/P(Y=y)给定Y时X的分布
连续型f(x|y) = f(x,y)/f(y)给定Y时X的密度

条件分布性质

条件分布性质:
1. 非负性:f(x|y) ≥ 0
2. 归一化:∫f(x|y)dx = 1
3. 贝叶斯:f(x|y) = f(x,y)/f(y)

🔗 独立性与相关性

独立性

概念定义等价条件
独立P(X≤x, Y≤y) = P(X≤x)P(Y≤y)联合=边缘乘积
密度独立f(x,y) = f(x)f(y)密度可分离

相关性

graph TB
    subgraph 相关性度量
        A1["协方差<br/>Cov(X,Y)"]
        A2["相关系数<br/>ρ = Cov(X,Y)/(σₓσᵧ)"]
        A3["相关≠独立<br/>独立→不相关"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee

独立与不相关

关系条件说明
独立→不相关独立一定不相关充分条件
不相关↛独立不相关不一定独立除非联合正态

📐 协方差矩阵

协方差矩阵定义

概念公式性质
协方差矩阵Σᵢⱼ = Cov(Xᵢ, Xⱼ)对称、半正定
对角线Var(Xᵢ)各变量方差
非对角线Cov(Xᵢ, Xⱼ)变量间协方差

协方差矩阵性质

graph TB
    subgraph 协方差矩阵
        A1["对称性<br/>Σ = Σᵀ"]
        A2["半正定<br/>xᵀΣx ≥ 0"]
        A3["特征值≥0<br/>分解性质"]
        A4["线性变换<br/>Cov(AX) = AΣAᵀ"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🤖 机器学习应用

多元正态分布

graph TB
    subgraph 多元正态
        A1["定义<br/>X ~ N(μ, Σ)"]
        A2["参数<br/>均值向量μ、协方差矩阵Σ"]
        A3["性质<br/>边缘/条件仍正态"]
        A4["应用<br/>高斯过程、贝叶斯"]
    end    
    A1 --> A2 & A3 & A4
    
    style A1 fill:#ffebee

高斯混合模型(GMM)

概念内容意义
混合分布p(x) = ∑πₖN(x|μₖ, Σₖ)多个高斯叠加
EM算法E步计算后验,M步更新参数参数估计

🎯 核心结论

多维随机变量核心概念

  1. 联合分布:多变量同时取值
  2. 边缘分布:单变量分布
  3. 条件分布:给定条件的分布
  4. 独立性:联合=边缘乘积
  5. 协方差矩阵:变量间关系

学习路径

多维随机变量学习四步骤:
1. 联合分布:定义、计算
2. 边缘分布:从联合到边缘
3. 条件分布:条件概率推广
4. 独立与相关:区别与联系

🎓 实战场景(TIL)

场景现象用多维随机变量的哪一点
推荐特征去重新特征上线 AUC 不涨与已有特征强相关(|ρ|>0.9)则信息重复;看协方差小特征方向才能判真冗余
异常检测单指标都不超阈值,组合却异常用马氏距离 (x-μ)ᵀΣ⁻¹(x-μ),它考虑了相关结构,单变量 3σ 做不到
漏斗分析总体转化率 B 高于 A,分段却都低辛普森悖论:边缘分布权重不同,先平衡各组样本量再对比
用户行为建模多维埋点无法直接建模GMM:p(x)=∑πₖN(x|μₖ,Σₖ),用 EM 估参,把多峰分布拆成若干高斯
向量相似度同一组 embedding,换度量结果不同相关系数就是中心化后向量的余弦;不相关≠独立,非线性关系靠互信息

📋 一页速查

要什么记这一行
三个分布联合 f(x,y);边缘 f(x)=∫f(x,y)dy;条件 f(x|y)=f(x,y)/f(y)
链式关系f(x,y) = f(x|y)f(y) = f(y|x)f(x) —— 全概率与贝叶斯的多维版
独立性f(x,y)=f(x)f(y) 对所有 x,y 成立;独立 ⇒ 不相关,反之不然(除非联合正态)
协方差与相关Cov(X,Y)=E[(X-μₓ)(Y-μᵧ)];ρ = Cov/(σₓσᵧ) ∈ [-1,1]
方差加法Var(X±Y) = Var(X)+Var(Y) ± 2Cov(X,Y),协方差非零时不能直接相加
协方差矩阵对称半正定;对角是方差,非对角是协方差;特征值即各主方向方差
线性变换Cov(AX+b) = AΣAᵀ(PCA/whitening 的全部推导就这一行)
多元正态边缘仍正态、条件仍正态、线性组合仍正态;完全由 μ、Σ 决定
相关系数边界ρ=0 只说无线性关系;非线性、异方差、离群点都能把 ρ 骗过

🔗 相关链接


📚 参考文献

  1. 《概率论与数理统计》- 浙江大学
  2. 《概率论基础教程》- Sheldon Ross
  3. 《多元统计分析》- 何晓群
  4. 《Pattern Recognition and Machine Learning》- Bishop
  5. 《统计学习方法》- 李航
  6. 《概率统计》- 陈希孺
  7. 《多元正态分布》
  8. 《协方差矩阵分析》