奇异值分解(SVD)

核心观点:SVD是矩阵分解的通用方法,任何矩阵都可以分解为UΣVᵀ形式,是降维、推荐系统的核心技术。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
不知道降维该保留几维只看维度数量,不看能量占比画出奇异值平方占比的累计曲线,取累计 ≥ 80%~90% 的最小 k
矩阵求逆报错「singular」存在为零或接近零的奇异值用伪逆 np.linalg.pinv,并看 rcond 阈值判断有效秩
最小二乘结果巨不稳定设计矩阵条件数 σ₁/σᵣ 过大先做特征标准化/去共线,或加岭回归 σᵢ²+λ
图片压缩后失真严重截断太狠,丢掉了高频成分用误差公式 √(∑ᵢ>ₖσᵢ²) 定量选 k,而不是凭感觉
推荐系统冷启动预测全 0只补全了已知项,没做低秩近似改成 R ≈ UₖΣₖVₖᵀ,用隐向量点乘预测缺失评分
PCA 与 SVD 到底用哪个两者等价,SVD 免去算协方差矩阵数据量大、列数多时直接上经济型 SVD

📊 SVD基本概念

定义

概念定义性质
奇异值Σ对角线上的值非负、降序排列
左奇异向量U的列向量正交、单位向量
右奇异向量V的列向量正交、单位向量

分解形式

graph TB
    subgraph SVD分解
        A1["任意矩阵A<br/>m×n"]
        A2["U矩阵<br/>m×m 正交"]
        A3["Σ矩阵<br/>m×n 对角"]
        A4["V矩阵<br/>n×n 正交"]
    end    
    A1 --> A2 & A3 & A4
    A2 & A3 & A4 --> A5["A = UΣVᵀ"]
    
    style A1 fill:#ffebee
    style A5 fill:#e3f2fd

🔢 计算方法

SVD计算步骤

flowchart LR
    A[矩阵A] --> B["计算AᵀA<br/>得到n×n矩阵"]
    B --> C["特征值分解<br/>AᵀA = VΛVᵀ"]
    C --> D["奇异值<br/>σᵢ = √λᵢ"]
    D --> E["右奇异向量<br/>V的列"]
    E --> F["左奇异向量<br/>uᵢ = Avᵢ/σᵢ"]
    
    style A fill:#fff3e0
    style B fill:#e3f2fd
    style C fill:#e8f5e9
    style D fill:#fce4ec
    style E fill:#f3e5f5
    style F fill:#ffebee

经济SVD

类型形状说明
完整SVDU(m×m), Σ(m×n), V(n×n)标准形式
经济SVDU(m×n), Σ(n×n), V(n×n)去除零列
截断SVDU(m×k), Σ(k×k), V(n×k)降维近似

📐 SVD性质

基本性质

性质内容意义
奇异值非负σᵢ ≥ 0基本性质
降序排列σ₁ ≥ σ₂ ≥ … ≥ σᵣ > 0重要性排序
奇异值唯一σᵢ唯一确定分解唯一
向量不唯一符号可变方向不唯一

矩阵性质

graph TB
    subgraph SVD揭示的性质
        A1["秩<br/>非零奇异值个数"]
        A2["范数<br/>‖A‖ = σ₁"]
        A3["条件数<br/>κ(A) = σ₁/σᵣ"]
        A4["Frobenius范数<br/>‖A‖_F = √(∑σᵢ²)"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🎯 截断SVD

低秩近似

概念公式意义
截断SVDA ≈ UₖΣₖVₖᵀ最优k秩近似
近似误差‖A - Aₖ‖_F = √(∑ᵢ>kσᵢ²)奇异值衰减

低秩近似性质

graph TB
    subgraph 截断SVD性质
        A1["最优性<br/>Eckart-Young定理"]
        A2["误差控制<br/>由奇异值决定"]
        A3["能量保留<br/>∑σᵢ²(k)/∑σᵢ²(n)"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🤖 机器学习应用

推荐系统

graph TB
    subgraph 矩阵分解推荐
        A1["用户-物品矩阵<br/>R(m×n)"]
        A2["SVD分解<br/>R = UΣVᵀ"]
        A3["低秩近似<br/>R ≈ UₖΣₖVₖᵀ"]
        A4["预测评分<br/>R̂ = UₖΣₖVₖᵀ"]
    end    
    A1 --> A2 --> A3 --> A4
    
    style A1 fill:#ffebee
    style A4 fill:#e3f2fd

潜在语义分析(LSA)

步骤内容作用
构建词文档矩阵TF-IDF文本表示
SVD分解A = UΣVᵀ降维
潜在语义取前k维语义空间

图像压缩

graph TB
    subgraph 图像SVD压缩
        A1["图像矩阵<br/>灰度值"]
        A2["SVD分解<br/>UΣVᵀ"]
        A3["截断保留<br/>前k个奇异值"]
        A4["压缩图像<br/>重建"]
    end    
    A1 --> A2 --> A3 --> A4
    
    style A1 fill:#ffebee
    style A4 fill:#e3f2fd

主成分分析

方法实现说明
SVD实现PCAX = UΣVᵀ避免协方差矩阵计算
经济SVDX = UₖΣₖVₖᵀ直接得到主成分

🎯 核心结论

SVD核心概念

  1. 通用分解:任何矩阵都可SVD
  2. 最优近似:截断SVD是最优低秩近似
  3. 降维工具:保留主要信息
  4. 推荐系统:矩阵分解的基础
  5. 语义分析:潜在语义空间

学习路径

SVD学习四步骤:
1. 基本概念:奇异值、奇异向量
2. 计算方法:特征值分解法
3. 截断SVD:低秩近似、误差控制
4. 应用实践:推荐系统、LSA、图像压缩

🎓 实战场景(TIL)

场景现象用 SVD 的哪一点
向量库降噪1536 维 embedding 检索慢、误召回多截断 SVD 压到 128~256 维,保留累计能量 90%,检索延迟大幅下降
共线性诊断回归系数符号反复翻转奇异值衰减缓慢(σ 接近 0 的很多)说明存在近似共线方向,删特征或加正则
图片去噪压缩明暗渐变正常,但细纹理丢失前若干奇异值承载整体结构,衰减快说明可以截断;误差由 √(∑ᵢ>ₖσᵢ²) 给出
稀疏评分矩阵补全用户-物品评分稀疏度 99%低秩近似把「相似用户/相似物品」压进同一个 k 维隐空间,缺失项由隐向量点乘得出

📋 一页速查

要什么记这一行
分解形式A(m×n) = U(m×m) Σ(m×n) Vᵀ(n×n),U/V 正交,Σ 非负降序
奇异值来源σᵢ = √λᵢ(AᵀA),右奇异向量是 AᵀA 的特征向量
秩非零奇异值的个数
谱范数 / 条件数‖A‖₂ = σ₁;κ(A) = σ₁/σᵣ(>1000 就警惕数值不稳)
有效秩判定np.linalg.matrix_rank 阈值:σᵢ > σ₁ × 相对容差
最优低秩近似Eckart-Young:Aₖ = UₖΣₖVₖᵀ 是秩 k 里误差最小的
截断误差‖A - Aₖ‖_F = √(∑ᵢ>ₖ σᵢ²);能量保留 ∑ᵢ≤ₖσᵢ² / ∑ᵢσᵢ²
伪逆A⁺ = V Σ⁺ Uᵀ(σ 取倒数,过小阈值内的直接置 0)
计算规模完整 SVD O(mn·min(m,n));大稀疏矩阵用 scipy.sparse.linalg.svds

🔗 相关链接


📚 参考文献

  1. 《线性代数及其应用》- Gilbert Strang
  2. 《矩阵分析与应用》- Roger Horn
  3. 《Pattern Recognition and Machine Learning》
  4. 《矩阵分解与推荐系统》
  5. 《潜在语义分析》
  6. 《深度学习》- 降维部分
  7. 《SVD与PCA》
  8. 《矩阵计算》- Gene Golub