向量

核心观点:向量是有大小和方向的量,是线性代数的基本对象,也是机器学习中数据表示的基础。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
内积、余弦相似度、欧氏距离到底选哪个三者关系由归一化决定:单位向量下内积 = 余弦 = 距离单调等价向量先 L2 归一化,再用内积做检索(一次计算两个收益)
特征量纲差异大时模型训练不稳距离与梯度被大尺度特征主导标准化/归一化,或改用不受尺度影响的度量
两个特征高度相关,回归系数符号乱变向量组线性相关,设计矩阵秩亏先去相关(删一个或正交化),再谈模型;用条件数量化
L1 为什么能稀疏而 L2 不能约束集合形状:菱形顶点在坐标轴上特征选择场景用 L1,稳定拟合用 L2
Embedding 空值归零后影响相似度零向量方向不定,与任何向量余弦为 0缺失单独标记或用默认嵌入,不一律归 0
数值算法在基向量多的时候不准非正交基导致误差放大用 Gram-Schmidt/QR 做正交化后再算

📊 向量基本概念

向量定义

概念定义表示
向量有大小和方向的量v = [v₁, v₂, …, vₙ]
标量只有大小的量a = 3
零向量大小为0的向量0 = [0, 0, …, 0]

向量空间

graph TB
    subgraph 向量空间性质
        A1["加法封闭<br/>u+v ∈ V"]
        A2["数乘封闭<br/>αv ∈ V"]
        A3["结合律<br/>(u+v)+w = u+(v+w)"]
        A4["交换律<br/>u+v = v+u"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🔢 向量运算

基本运算

运算定义几何意义
向量加法u+v = [u₁+v₁, …, uₙ+vₙ]平行四边形法则
数乘αv = [αv₁, …, αvₙ]缩放/反向
内积u·v = ∑uᵢvᵢ投影长度

内积详解

graph TB
    subgraph 内积性质
        A1["交换律<br/>u·v = v·u"]
        A2["分配律<br/>u·(v+w) = u·v + u·w"]
        A3["正定性<br/>v·v ≥ 0"]
    end    
    subgraph 几何意义
        B1["投影<br/>|v|cosθ"]
        B2["夹角<br/>cosθ = (u·v)/(|u||v|)"]
        B3["正交<br/>u·v = 0"]
    end
    
    A1 & A2 & A3 --> B1 & B2 & B3
    
    style A1 fill:#ffebee
    style B1 fill:#e3f2fd

向量范数

范数类型公式特点应用
L1范数‖v‖₁ = ∑vᵢ
L2范数‖v‖₂ = √(∑vᵢ²)欧氏距离正则化
L∞范数‖v‖∞ = maxvᵢ
范数应用:
1. L1正则化:产生稀疏解(LASSO)
2. L2正则化:防止过拟合(Ridge)
3. 距离度量:相似性计算
4. 梯度裁剪:防止梯度爆炸

📐 向量类型

按维度分类

类型维度例子
2D向量2[x, y] 图像坐标
3D向量3[x, y, z] 空间坐标
nD向量n特征向量

按性质分类

graph TB
    subgraph 向量类型
        A1["行向量<br/>1×n矩阵"]
        A2["列向量<br/>n×1矩阵"]
        A3["单位向量<br/>‖v‖=1"]
        A4["正交向量<br/>u·v=0"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🎯 向量投影

向量投影公式

概念公式意义
投影proj_u(v) = (v·u/u·u)uv在u方向的投影
正交分量v - proj_u(v)垂直于u的分量

投影矩阵

graph TB
    subgraph 投影矩阵
        A1["公式<br/>P = u(uᵀu)⁻¹uᵀ"]
        A2["性质<br/>P² = P, Pᵀ = P"]
        A3["应用<br/>最小二乘"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🤖 机器学习应用

特征表示

graph TB
    subgraph 特征向量
        A1["图像特征<br/>像素向量"]
        A2["文本特征<br/>词袋向量"]
        A3["音频特征<br/>MFCC向量"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

相似度计算

方法公式特点
余弦相似度cos(θ) = u·v/‖u‖‖v‖方向相似性
欧氏距离‖u-v‖₂绝对距离
曼哈顿距离‖u-v‖₁城市街区距离

词向量

模型原理特点
Word2Vec上下文预测语义相似
GloVe共现矩阵全局统计
FastText子词信息处理OOV

🎯 核心结论

向量核心概念

  1. 大小与方向:向量的两个属性
  2. 内积:度量相似性
  3. 范数:度量大小
  4. 投影:度量相关性
  5. 正交:独立性度量

学习路径

向量学习四步骤:
1. 基本概念:定义、表示
2. 运算方法:加法、内积、范数
3. 几何意义:投影、正交
4. 应用实践:相似度计算、特征表示

🎓 实战场景(TIL)

  • 场景:向量库检索用欧氏距离,结果与离线评估不一致。本质:训练时用余弦、检索时用欧氏,两者在未归一化时不等价。要点:入库前统一 L2 归一化,并只使用内积作为排序分数。
  • 场景:一个长文本向量主导了平均,导致用户画像偏离。本质:没按向量长度加权,方向信息被幅度掩盖。要点:聚合前先归一化,或按模长加权并解释权重来源。
  • 场景:特征从 50 个降到 30 个,效果反而变好。本质:原向量组接近线性相关,冗余维度只带来噪声。要点:用秩与条件数诊断冗余,而不是单看相关性矩阵。

📋 一页速查

我要用记住这条
内积a·b = |a||b|cosθ;几何意义是投影长度乘以模
夹角与相似度cosθ = a·b/(|a||b|),取值 [-1,1];非负特征常在 [0,1]
范数L1 绝对值和(稀疏)、L2 平方和开根(距离)、L∞ 最大分量(误差上限)
余弦 vs 欧氏单位向量下:|a-b|² = 2 - 2cosθ,排序完全一致
线性相关存在不全为零的系数使组合为零;判据是矩阵秩 < 向量个数
正交/标准正交内积为 0 / 内积为 1 且正交;标准正交基下长度与内积不变
Gram-Schmidt/QR把任意可逆基正交化,数值上优先 QR 而非手算
不等式柯西-希瓦尔兹 |a·b| ≤ |a||b|;三角不等式(距离公理之一)
常见导数∇|x|² = 2x,∇(Ax) = Aᵀ(对 x 求导的行列约定要固定)

🔗 相关链接


📚 参考文献

  1. 《线性代数及其应用》- Gilbert Strang
  2. 《线性代数》- 同济大学
  3. 《向量分析》- 吴崇试
  4. 《机器学习中的线性代数》
  5. 《深度学习》- 向量部分
  6. 《Mathematics for Machine Learning》
  7. 《线性代数应该这样学》- Sheldon Axler
  8. 《3Blue1Brown线性代数的本质》