矩阵
核心观点:矩阵是数的矩形阵列,是线性变换的表示,是机器学习中参数和数据的核心表示。
🎯 这 20% 能解决哪些问题
| 你遇到的困惑 | 本质原因 | 马上能改的动作 |
|---|
| 矩阵乘法维度报错不断 | (m×n)(n×p) 中间必须相等,结果是 m×p | 写下维度再写公式;用行/列向量约定固定习惯 |
为什么 AB ≠ BA | 变换复合有顺序 | 调试时先检查前乘/后乘的含义,而不是换秩交换 |
| 求逆报错或结果离谱 | 矩阵奇异或条件数大 | 改用伪逆/正则化(ridge),或删冗余列 |
一行代码怎么代替 for 循环 | 批量运算 = 矩阵乘,广播等价于乘全 1 向量 | 向量化重写,单样本变批次矩阵 |
| 正规方程与梯度下降该用哪个 | 特征数 n 定成本:O(n³) 可解则直接解 | n ≲ 5000 用解析/拟牛顿,大规模用迭代 |
| 最小二乘拟合不稳 | 投影矩阵 A(AᵀA)⁻¹Aᵀ 对共线敏感 | 用 QR 或 SVD 解最小二乘,不显式求逆 |
📊 矩阵基本概念
矩阵定义
| 概念 | 定义 | 记法 |
|---|
| 矩阵 | m×n数表 | A ∈ ℝᵐˣⁿ |
| 方阵 | m=n | A ∈ ℝⁿˣⁿ |
| 对角矩阵 | 非对角元素为0 | diag(a₁₁,…,aₙₙ) |
| 单位矩阵 | 对角线为1 | I |
| 零矩阵 | 元素全为0 | 0 |
矩阵特殊类型
graph TB
subgraph 特殊矩阵
A1["对称矩阵<br/>A = Aᵀ"]
A2["正交矩阵<br/>AᵀA = I"]
A3["正定矩阵<br/>xᵀAx > 0"]
A4["稀疏矩阵<br/>大部分为0"]
end
A1 & A2 & A3 & A4
style A1 fill:#ffebee
🔢 矩阵运算
基本运算
| 运算 | 定义 | 性质 |
|---|
| 矩阵加法 | (A+B)ᵢⱼ = aᵢⱼ+bᵢⱼ | 交换律、结合律 |
| 数乘 | (cA)ᵢⱼ = caᵢⱼ | 分配律 |
| 矩阵乘法 | (AB)ᵢⱼ = ∑ₖaᵢₖbₖⱼ | 结合律、分配律 |
矩阵乘法详解
graph TB
subgraph 矩阵乘法
A1["维度要求<br/>A(m×k), B(k×n)"]
A2["结果维度<br/>C(m×n)"]
A3["计算规则<br/>行×列求和"]
end
A1 & A2 & A3
style A1 fill:#ffebee
| 性质 | 说明 | 注意 |
|---|
| 交换律 | AB ≠ BA | 一般不成立 |
| 结合律 | (AB)C = A(BC) | 成立 |
| 分配律 | A(B+C) = AB+AC | 成立 |
转置运算
| 运算 | 定义 | 性质 |
|---|
| 转置 | (Aᵀ)ᵢⱼ = aⱼᵢ | (Aᵀ)ᵀ = A |
| 和的转置 | (A+B)ᵀ = Aᵀ+Bᵀ | 成立 |
| 积的转置 | (AB)ᵀ = BᵀAᵀ | 顺序反转 |
逆矩阵
| 概念 | 定义 | 条件 |
|---|
| 逆矩阵 | AA⁻¹ = A⁻¹A = I | A可逆(非奇异) |
| 伴随矩阵 | adj(A) = Cᵀ | C是余子式矩阵 |
| 逆矩阵公式 | A⁻¹ = adj(A)/det(A) | det(A)≠0 |
📐 行列式
行列式定义
| 阶数 | 公式 | 意义 |
|---|
| 2阶 | det(A) = a₁₁a₂₂-a₁₂a₂₁ | 平行四边形面积 |
| 3阶 | 萨鲁斯法则 | 平行六面体体积 |
| n阶 | 余子式展开 | n维体积 |
行列式性质
graph TB
subgraph 行列式性质
A1["交换行变号<br/>det(B)=-det(A)"]
A2["行相加不变<br/>det(B)=det(A)"]
A3["数乘行乘c<br/>det(B)=c·det(A)"]
A4["可逆条件<br/>det(A)≠0"]
end
A1 & A2 & A3 & A4
style A1 fill:#ffebee
🔗 矩阵分解
LU分解
graph TB
subgraph LU分解
A1["分解形式<br/>A = LU"]
A2["L:下三角<br/>单位对角"]
A3["U:上三角<br/>高斯消元"]
end
A1 --> A2 & A3
style A1 fill:#ffebee
Cholesky分解
QR分解
🤖 机器学习应用
参数矩阵
graph TB
subgraph 参数表示
A1["线性回归<br/>w权重向量"]
A2["神经网络<br/>W权重矩阵"]
A3["注意力机制<br/>QKV矩阵"]
end
A1 & A2 & A3
style A1 fill:#ffebee
数据矩阵
| 表示方式 | 形状 | 例子 |
|---|
| 样本-特征 | m×n | X[i,j]表示第i个样本的第j个特征 |
| 图像矩阵 | h×w×c | 像素值矩阵 |
| 文档-词 | d×v | 词频矩阵 |
矩阵运算应用
| 运算 | 应用 | 例子 |
|---|
| 矩阵乘法 | 线性变换 | y = Wx + b |
| 矩阵转置 | 注意力计算 | Attention(Q,K,V) |
| 矩阵求逆 | 正规方程 | w = (XᵀX)⁻¹Xᵀy |
🎯 核心结论
矩阵核心概念
- 矩阵乘法:线性变换的组合
- 行列式:体积变化率
- 逆矩阵:变换的逆操作
- 转置:行列互换
- 分解:矩阵的结构分析
学习路径
矩阵学习四步骤:
1. 基本运算:加法、乘法、转置
2. 特殊矩阵:对称、正交、正定
3. 矩阵分解:LU、QR、SVD
4. 应用实践:参数表示、线性变换
🎓 实战场景(TIL)
- 场景:训练时手写
for 循环逐样本计算,GPU 利用率极低。本质:没把样本堆成矩阵,丢失了并行度。要点:一个 batch 拼成 X:(B×n),权重 W:(n×m),一次乘完。
- 场景:线性回归结果系数极大、方向相反。本质:设计矩阵接近秩亏,
AᵀA 条件数爆炸。要点:标准化 + 岭回归(AᵀA + λI),或直接用 lstsq/伪逆。
- 场景:矩阵链乘策略不同导致耗时差 10 倍。本质:结合律不改变结果但改变计算量。要点:优先让最小维度先乘(
O(nm p) 估算后再定顺序)。
📋 一页速查
| 我要用 | 记住这条 |
|---|
| 乘法维度 | (m×n)·(n×p) = m×p;第 i 行第 j 列 = 行与列的内积 |
| 转置 | (AB)ᵀ = BᵀAᵀ(顺序反);AAᵀ 与 AᵀA 必对称 |
| 可逆条件 | 方阵、行列式≠0、满秩;病态看条件数 σ₁/σₙ |
| 对称与半正定 | 协方差/核矩阵必对称半正定;特征值全≥ 0 |
| 迹与行列式 | tr(A)=Σλ,det(A)=Πλ;行列式是体积缩放因子 |
| 最小二乘 | 正规方程 AᵀAx = Aᵀb;数值上优先 QR/SVD |
| 投影矩阵 | P = A(AᵀA)⁻¹Aᵀ,满足 P²=P、Pᵀ=P |
| 分块与稀疏 | 大块运算保留缓存局部性;稀疏用 CSR/CSC 不存零 |
🔗 相关链接
📚 参考文献
- 《线性代数及其应用》- Gilbert Strang
- 《矩阵分析与应用》- Roger Horn
- 《线性代数》- 同济大学
- 《矩阵论》- 方保镕
- 《机器学习中的矩阵方法》
- 《深度学习》- 矩阵部分
- 《Matrix Computations》- Gene Golub
- 《矩阵计算》- 徐树方