Quartz 4

互信息

3 min read

互信息

核心观点：互信息度量两个变量间的共享信息量，是特征选择和聚类分析的重要工具。

📊 互信息基本概念

定义

概念公式意义
互信息I(X;Y) = H(X) - H(X|Y)X和Y共享的信息量
对称性I(X;Y) = I(Y;X)方向无关
非负性I(X;Y) ≥ 0始终非负

互信息与熵的关系

graph TB
    subgraph 互信息关系
        A1["互信息<br/>I(X;Y)"]
        A2["联合熵<br/>H(X,Y)"]
        A3["边缘熵<br/>H(X), H(Y)"]
        A4["公式<br/>I(X;Y) = H(X) + H(Y) - H(X,Y)"]
    end    
    A1 --> A2 --> A3 --> A4
    
    style A1 fill:#ffebee

📈 互信息性质

基本性质

性质内容意义
非负性I(X;Y) ≥ 0共享信息≥0
独立时为0I(X;Y) = 0 iff X,Y独立无共享信息
不超过单变量熵I(X;Y) ≤ min(H(X), H(Y))上界

归一化互信息

概念公式特点
NMII(X;Y)/√(H(X)H(Y))消除尺度影响
范围[0,1]便于比较

🤖 机器学习应用

特征选择

graph TB
    subgraph 特征选择
        A1["计算互信息<br/>I(特征;目标)"]
        A2["排序特征<br/>互信息越大越好"]
        A3["选择特征<br/>选择Top-K"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee

聚类评估

应用方法意义
聚类质量NMI(聚类;标签)与真实标签一致性
特征聚类I(特征1;特征2)特征相关性

信道容量

graph TB
    subgraph 信道容量
        A1["定义<br/>C = max I(X;Y)"]
        A2["意义<br/>最大传输速率"]
        A3["香农定理<br/>C = B log₂(1+S/N)"]
    end    
    A1 --> A2 --> A3
    
    style A1 fill:#ffebee

🎯 核心结论

互信息核心概念

  1. 定义：两个变量共享的信息量
  2. 对称性：方向无关
  3. 非负性：始终≥0
  4. 独立时为0：无共享信息
  5. 应用：特征选择、聚类评估

学习路径

互信息学习四步骤：
1. 基本概念：定义、性质
2. 与熵的关系：公式推导
3. 归一化互信息：消除尺度
4. 应用：特征选择、聚类评估

📚 参考文献

  1. 《信息论基础》- Thomas Cover
  2. 《信息论与编码》- 傅祖芸
  3. 《Elements of Information Theory》
  4. 《互信息》
  5. 《特征选择》
  6. 《聚类分析》
  7. 《信道容量》
  8. 《信息论应用》

Graph View

Backlinks