Quartz 4

向量

5 min read

向量

核心观点：向量是有大小和方向的量，是线性代数的基本对象，也是机器学习中数据表示的基础。

📊 向量基本概念

向量定义

概念定义表示
向量有大小和方向的量v = [v₁, v₂, …, vₙ]
标量只有大小的量a = 3
零向量大小为0的向量0 = [0, 0, …, 0]

向量空间

graph TB
    subgraph 向量空间性质
        A1["加法封闭<br/>u+v ∈ V"]
        A2["数乘封闭<br/>αv ∈ V"]
        A3["结合律<br/>(u+v)+w = u+(v+w)"]
        A4["交换律<br/>u+v = v+u"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🔢 向量运算

基本运算

运算定义几何意义
向量加法u+v = [u₁+v₁, …, uₙ+vₙ]平行四边形法则
数乘αv = [αv₁, …, αvₙ]缩放/反向
内积u·v = ∑uᵢvᵢ投影长度

内积详解

graph TB
    subgraph 内积性质
        A1["交换律<br/>u·v = v·u"]
        A2["分配律<br/>u·(v+w) = u·v + u·w"]
        A3["正定性<br/>v·v ≥ 0"]
    end    
    subgraph 几何意义
        B1["投影<br/>|v|cosθ"]
        B2["夹角<br/>cosθ = (u·v)/(|u||v|)"]
        B3["正交<br/>u·v = 0"]
    end
    
    A1 & A2 & A3 --> B1 & B2 & B3
    
    style A1 fill:#ffebee
    style B1 fill:#e3f2fd

向量范数

范数类型公式特点应用
L1范数‖v‖₁ = ∑vᵢ
L2范数‖v‖₂ = √(∑vᵢ²)欧氏距离正则化
L∞范数‖v‖∞ = maxvᵢ
范数应用：
1. L1正则化：产生稀疏解（LASSO）
2. L2正则化：防止过拟合（Ridge）
3. 距离度量：相似性计算
4. 梯度裁剪：防止梯度爆炸

📐 向量类型

按维度分类

类型维度例子
2D向量2[x, y] 图像坐标
3D向量3[x, y, z] 空间坐标
nD向量n特征向量

按性质分类

graph TB
    subgraph 向量类型
        A1["行向量<br/>1×n矩阵"]
        A2["列向量<br/>n×1矩阵"]
        A3["单位向量<br/>‖v‖=1"]
        A4["正交向量<br/>u·v=0"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

🎯 向量投影

向量投影公式

概念公式意义
投影proj_u(v) = (v·u/u·u)uv在u方向的投影
正交分量v - proj_u(v)垂直于u的分量

投影矩阵

graph TB
    subgraph 投影矩阵
        A1["公式<br/>P = u(uᵀu)⁻¹uᵀ"]
        A2["性质<br/>P² = P, Pᵀ = P"]
        A3["应用<br/>最小二乘"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🤖 机器学习应用

特征表示

graph TB
    subgraph 特征向量
        A1["图像特征<br/>像素向量"]
        A2["文本特征<br/>词袋向量"]
        A3["音频特征<br/>MFCC向量"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

相似度计算

方法公式特点
余弦相似度cos(θ) = u·v/‖u‖‖v‖方向相似性
欧氏距离‖u-v‖₂绝对距离
曼哈顿距离‖u-v‖₁城市街区距离

词向量

模型原理特点
Word2Vec上下文预测语义相似
GloVe共现矩阵全局统计
FastText子词信息处理OOV

🎯 核心结论

向量核心概念

  1. 大小与方向：向量的两个属性
  2. 内积：度量相似性
  3. 范数：度量大小
  4. 投影：度量相关性
  5. 正交：独立性度量

学习路径

向量学习四步骤：
1. 基本概念：定义、表示
2. 运算方法：加法、内积、范数
3. 几何意义：投影、正交
4. 应用实践：相似度计算、特征表示

📚 参考文献

  1. 《线性代数及其应用》- Gilbert Strang
  2. 《线性代数》- 同济大学
  3. 《向量分析》- 吴崇试
  4. 《机器学习中的线性代数》
  5. 《深度学习》- 向量部分
  6. 《Mathematics for Machine Learning》
  7. 《线性代数应该这样学》- Sheldon Axler
  8. 《3Blue1Brown线性代数的本质》

Graph View

Backlinks