Quartz 4

矩阵

5 min read

矩阵

核心观点：矩阵是数的矩形阵列，是线性变换的表示，是机器学习中参数和数据的核心表示。

📊 矩阵基本概念

矩阵定义

概念定义记法
矩阵m×n数表A ∈ ℝᵐˣⁿ
方阵m=nA ∈ ℝⁿˣⁿ
对角矩阵非对角元素为0diag(a₁₁,…,aₙₙ)
单位矩阵对角线为1I
零矩阵元素全为00

矩阵特殊类型

graph TB
    subgraph 特殊矩阵
        A1["对称矩阵<br/>A = Aᵀ"]
        A2["正交矩阵<br/>AᵀA = I"]
        A3["正定矩阵<br/>xᵀAx > 0"]
        A4["稀疏矩阵<br/>大部分为0"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🔢 矩阵运算

基本运算

运算定义性质
矩阵加法(A+B)ᵢⱼ = aᵢⱼ+bᵢⱼ交换律、结合律
数乘(cA)ᵢⱼ = caᵢⱼ分配律
矩阵乘法(AB)ᵢⱼ = ∑ₖaᵢₖbₖⱼ结合律、分配律

矩阵乘法详解

graph TB
    subgraph 矩阵乘法
        A1["维度要求<br/>A(m×k), B(k×n)"]
        A2["结果维度<br/>C(m×n)"]
        A3["计算规则<br/>行×列求和"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee
性质说明注意
交换律AB ≠ BA一般不成立
结合律(AB)C = A(BC)成立
分配律A(B+C) = AB+AC成立

转置运算

运算定义性质
转置(Aᵀ)ᵢⱼ = aⱼᵢ(Aᵀ)ᵀ = A
和的转置(A+B)ᵀ = Aᵀ+Bᵀ成立
积的转置(AB)ᵀ = BᵀAᵀ顺序反转

逆矩阵

概念定义条件
逆矩阵AA⁻¹ = A⁻¹A = IA可逆（非奇异）
伴随矩阵adj(A) = CᵀC是余子式矩阵
逆矩阵公式A⁻¹ = adj(A)/det(A)det(A)≠0

📐 行列式

行列式定义

阶数公式意义
2阶det(A) = a₁₁a₂₂-a₁₂a₂₁平行四边形面积
3阶萨鲁斯法则平行六面体体积
n阶余子式展开n维体积

行列式性质

graph TB
    subgraph 行列式性质
        A1["交换行变号<br/>det(B)=-det(A)"]
        A2["行相加不变<br/>det(B)=det(A)"]
        A3["数乘行乘c<br/>det(B)=c·det(A)"]
        A4["可逆条件<br/>det(A)≠0"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🔗 矩阵分解

LU分解

graph TB
    subgraph LU分解
        A1["分解形式<br/>A = LU"]
        A2["L：下三角<br/>单位对角"]
        A3["U：上三角<br/>高斯消元"]
    end    
    A1 --> A2 & A3
    
    style A1 fill:#ffebee

Cholesky分解

条件分解形式应用
A对称正定A = LLᵀ快速求解

QR分解

分解形式QR
A = QR正交矩阵上三角矩阵

🤖 机器学习应用

参数矩阵

graph TB
    subgraph 参数表示
        A1["线性回归<br/>w权重向量"]
        A2["神经网络<br/>W权重矩阵"]
        A3["注意力机制<br/>QKV矩阵"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

数据矩阵

表示方式形状例子
样本-特征m×nX[i,j]表示第i个样本的第j个特征
图像矩阵h×w×c像素值矩阵
文档-词d×v词频矩阵

矩阵运算应用

运算应用例子
矩阵乘法线性变换y = Wx + b
矩阵转置注意力计算Attention(Q,K,V)
矩阵求逆正规方程w = (XᵀX)⁻¹Xᵀy

🎯 核心结论

矩阵核心概念

  1. 矩阵乘法：线性变换的组合
  2. 行列式：体积变化率
  3. 逆矩阵：变换的逆操作
  4. 转置：行列互换
  5. 分解：矩阵的结构分析

学习路径

矩阵学习四步骤：
1. 基本运算：加法、乘法、转置
2. 特殊矩阵：对称、正交、正定
3. 矩阵分解：LU、QR、SVD
4. 应用实践：参数表示、线性变换

📚 参考文献

  1. 《线性代数及其应用》- Gilbert Strang
  2. 《矩阵分析与应用》- Roger Horn
  3. 《线性代数》- 同济大学
  4. 《矩阵论》- 方保镕
  5. 《机器学习中的矩阵方法》
  6. 《深度学习》- 矩阵部分
  7. 《Matrix Computations》- Gene Golub
  8. 《矩阵计算》- 徐树方

Graph View

Backlinks