矩阵

核心观点:矩阵是数的矩形阵列,是线性变换的表示,是机器学习中参数和数据的核心表示。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
矩阵乘法维度报错不断(m×n)(n×p) 中间必须相等,结果是 m×p写下维度再写公式;用行/列向量约定固定习惯
为什么 AB ≠ BA变换复合有顺序调试时先检查前乘/后乘的含义,而不是换秩交换
求逆报错或结果离谱矩阵奇异或条件数大改用伪逆/正则化(ridge),或删冗余列
一行代码怎么代替 for 循环批量运算 = 矩阵乘,广播等价于乘全 1 向量向量化重写,单样本变批次矩阵
正规方程与梯度下降该用哪个特征数 n 定成本:O(n³) 可解则直接解n ≲ 5000 用解析/拟牛顿,大规模用迭代
最小二乘拟合不稳投影矩阵 A(AᵀA)⁻¹Aᵀ 对共线敏感用 QR 或 SVD 解最小二乘,不显式求逆

📊 矩阵基本概念

矩阵定义

概念定义记法
矩阵m×n数表A ∈ ℝᵐˣⁿ
方阵m=nA ∈ ℝⁿˣⁿ
对角矩阵非对角元素为0diag(a₁₁,…,aₙₙ)
单位矩阵对角线为1I
零矩阵元素全为00

矩阵特殊类型

graph TB
    subgraph 特殊矩阵
        A1["对称矩阵<br/>A = Aᵀ"]
        A2["正交矩阵<br/>AᵀA = I"]
        A3["正定矩阵<br/>xᵀAx > 0"]
        A4["稀疏矩阵<br/>大部分为0"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🔢 矩阵运算

基本运算

运算定义性质
矩阵加法(A+B)ᵢⱼ = aᵢⱼ+bᵢⱼ交换律、结合律
数乘(cA)ᵢⱼ = caᵢⱼ分配律
矩阵乘法(AB)ᵢⱼ = ∑ₖaᵢₖbₖⱼ结合律、分配律

矩阵乘法详解

graph TB
    subgraph 矩阵乘法
        A1["维度要求<br/>A(m×k), B(k×n)"]
        A2["结果维度<br/>C(m×n)"]
        A3["计算规则<br/>行×列求和"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee
性质说明注意
交换律AB ≠ BA一般不成立
结合律(AB)C = A(BC)成立
分配律A(B+C) = AB+AC成立

转置运算

运算定义性质
转置(Aᵀ)ᵢⱼ = aⱼᵢ(Aᵀ)ᵀ = A
和的转置(A+B)ᵀ = Aᵀ+Bᵀ成立
积的转置(AB)ᵀ = BᵀAᵀ顺序反转

逆矩阵

概念定义条件
逆矩阵AA⁻¹ = A⁻¹A = IA可逆(非奇异)
伴随矩阵adj(A) = CᵀC是余子式矩阵
逆矩阵公式A⁻¹ = adj(A)/det(A)det(A)≠0

📐 行列式

行列式定义

阶数公式意义
2阶det(A) = a₁₁a₂₂-a₁₂a₂₁平行四边形面积
3阶萨鲁斯法则平行六面体体积
n阶余子式展开n维体积

行列式性质

graph TB
    subgraph 行列式性质
        A1["交换行变号<br/>det(B)=-det(A)"]
        A2["行相加不变<br/>det(B)=det(A)"]
        A3["数乘行乘c<br/>det(B)=c·det(A)"]
        A4["可逆条件<br/>det(A)≠0"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🔗 矩阵分解

LU分解

graph TB
    subgraph LU分解
        A1["分解形式<br/>A = LU"]
        A2["L:下三角<br/>单位对角"]
        A3["U:上三角<br/>高斯消元"]
    end    
    A1 --> A2 & A3
    
    style A1 fill:#ffebee

Cholesky分解

条件分解形式应用
A对称正定A = LLᵀ快速求解

QR分解

分解形式QR
A = QR正交矩阵上三角矩阵

🤖 机器学习应用

参数矩阵

graph TB
    subgraph 参数表示
        A1["线性回归<br/>w权重向量"]
        A2["神经网络<br/>W权重矩阵"]
        A3["注意力机制<br/>QKV矩阵"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

数据矩阵

表示方式形状例子
样本-特征m×nX[i,j]表示第i个样本的第j个特征
图像矩阵h×w×c像素值矩阵
文档-词d×v词频矩阵

矩阵运算应用

运算应用例子
矩阵乘法线性变换y = Wx + b
矩阵转置注意力计算Attention(Q,K,V)
矩阵求逆正规方程w = (XᵀX)⁻¹Xᵀy

🎯 核心结论

矩阵核心概念

  1. 矩阵乘法:线性变换的组合
  2. 行列式:体积变化率
  3. 逆矩阵:变换的逆操作
  4. 转置:行列互换
  5. 分解:矩阵的结构分析

学习路径

矩阵学习四步骤:
1. 基本运算:加法、乘法、转置
2. 特殊矩阵:对称、正交、正定
3. 矩阵分解:LU、QR、SVD
4. 应用实践:参数表示、线性变换

🎓 实战场景(TIL)

  • 场景:训练时手写 for 循环逐样本计算,GPU 利用率极低。本质:没把样本堆成矩阵,丢失了并行度。要点:一个 batch 拼成 X:(B×n),权重 W:(n×m),一次乘完。
  • 场景:线性回归结果系数极大、方向相反。本质:设计矩阵接近秩亏,AᵀA 条件数爆炸。要点:标准化 + 岭回归(AᵀA + λI),或直接用 lstsq/伪逆。
  • 场景:矩阵链乘策略不同导致耗时差 10 倍。本质:结合律不改变结果但改变计算量。要点:优先让最小维度先乘(O(nm p) 估算后再定顺序)。

📋 一页速查

我要用记住这条
乘法维度(m×n)·(n×p) = m×p;第 i 行第 j 列 = 行与列的内积
转置(AB)ᵀ = BᵀAᵀ(顺序反);AAᵀ 与 AᵀA 必对称
可逆条件方阵、行列式≠0、满秩;病态看条件数 σ₁/σₙ
对称与半正定协方差/核矩阵必对称半正定;特征值全≥ 0
迹与行列式tr(A)=Σλ,det(A)=Πλ;行列式是体积缩放因子
最小二乘正规方程 AᵀAx = Aᵀb;数值上优先 QR/SVD
投影矩阵P = A(AᵀA)⁻¹Aᵀ,满足 P²=P、Pᵀ=P
分块与稀疏大块运算保留缓存局部性;稀疏用 CSR/CSC 不存零

🔗 相关链接


📚 参考文献

  1. 《线性代数及其应用》- Gilbert Strang
  2. 《矩阵分析与应用》- Roger Horn
  3. 《线性代数》- 同济大学
  4. 《矩阵论》- 方保镕
  5. 《机器学习中的矩阵方法》
  6. 《深度学习》- 矩阵部分
  7. 《Matrix Computations》- Gene Golub
  8. 《矩阵计算》- 徐树方