导数与微分

核心观点:导数是函数变化率的度量,是优化算法和反向传播的数学基础。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
反向传播到底是什么一元链式法则在多变量上的展开把网络看成计算图,逐层乘以后面传来的梯度
梯度为什么指向下降方向负梯度是局部下降最快方向,不是全局最优方向区分方向(由梯度定)与步长(由线搜索/学习率定)
深层网络梯度消失/爆炸每层雅可比连乘,谱范数决定总放大率残差连接、归一化、合理初始化,必要时用梯度裁剪
Sigmoid 后训练变慢σ'(x) ≤ 0.25,每过一层至少缩 4 倍隐藏层换 ReLU/GELU,输出层才用 sigmoid
在拐点处梯度不稳定不可导点需要次梯度用光滑近似或明确定义次梯度取值
数值导数不准/不稳前向差分一阶精度,步长选择不当用中心差分 O(h²),并控制 h 与溢出
二阶优化该不该上牛顿法靠曲率修正步长,代价是黑塞矩阵大规模用拟牛顿(BFGS/L-BFGS)或共轭梯度近似

📊 导数基本概念

导数定义

定义公式意义
极限定义f’(x) = lim(h→0)[f(x+h)-f(x)]/h瞬时变化率
几何意义切线斜率局部线性化
物理意义瞬时速度/加速度运动学

导数性质

graph TB
    subgraph 导数性质
        A1["可导→连续<br/>可导是更强条件"]
        A2["左导数=右导数<br/>导数存在"]
        A3["导函数<br/>f'(x)也是函数"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🔢 求导法则

基本法则

法则公式例子
常数法则(c)’ = 0(5)’ = 0
幂法则(xⁿ)’ = nxⁿ⁻¹(x³)’ = 3x²
指数法则(eˣ)’ = eˣ(2ˣ)’ = 2ˣln2
对数法则(lnx)’ = 1/x(logₐx)’ = 1/(xlna)

四则运算法则

graph TB
    subgraph 运算法则
        A1["和差法则<br/>(u±v)' = u'±v'"]
        A2["乘法法则<br/>(uv)' = u'v + uv'"]
        A3["除法法则<br/>(u/v)' = (u'v-uv')/v²"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

链式法则

概念公式意义
链式法则[f(g(x))]’ = f’(g(x))·g’(x)复合函数求导
多元推广∂z/∂x = ∂z/∂u·∂u/∂x偏导链式法则

📈 高阶导数

高阶导数

概念记法应用
二阶导数f”(x)加速度、凹凸性
n阶导数f⁽ⁿ⁾(x)泰勒展开
莱布尼茨公式(uv)⁽ⁿ⁾ = ∑C(n,k)u⁽ᵏ⁾v⁽ⁿ⁻ᵏ⁾乘积高阶导数

🎯 微分

微分定义

概念公式意义
微分dy = f’(x)dx线性近似
近似公式f(x+Δx) ≈ f(x)+f’(x)Δx局部线性化

微分应用

graph TB
    subgraph 微分应用
        A1["近似计算<br/>Δy ≈ dy"]
        A2["误差估计<br/>Δy ≈ f'(x)Δx"]
        A3["牛顿法<br/>迭代求根"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🤖 机器学习应用

梯度计算

graph TB
    subgraph 梯度
        A1["梯度定义<br/>∇f = (∂f/∂x₁,...,∂f/∂xₙ)"]
        A2["方向导数<br/>∇f·u"]
        A3["最速上升<br/>梯度方向"]
        A4["最速下降<br/>负梯度方向"]
    end    
    A1 --> A2 --> A3 & A4
    
    style A1 fill:#ffebee

反向传播

步骤内容导数应用
前向传播计算输出函数复合
损失计算比较输出与标签损失函数
反向传播计算梯度链式法则
参数更新梯度下降θ = θ - α∇L

🎯 核心结论

导数与微分核心概念

  1. 导数:变化率的度量
  2. 求导法则:基本法则+链式法则
  3. 微分:线性近似工具
  4. 梯度:多元函数的导数
  5. 应用:优化和反向传播

学习路径

导数与微分学习四步骤:
1. 导数定义:极限定义、几何意义
2. 求导法则:基本法则、链式法则
3. 高阶导数:二阶导数、泰勒展开
4. 应用:梯度计算、反向传播

🎓 实战场景(TIL)

  • 场景:自己写的反向传播与自动微分对不上。本质:多变量链式法则里漏了同一条分支的多路累加。要点:每个节点把 incoming 梯度求和再往前传,单元测试用小张量逐个参数验证。
  • 场景:学习率一调大就发散。本质:局部曲率 L 决定了稳定步长上限约为 1/L。要点:先估梯度 Lipschitz 常数(或用预热 + 衰减),而不是拍脑袋。
  • 场景:梯度爆炸使损失变 NaN。本质:连乘雅可比的谱范数大于 1,指数级放大。要点:先开梯度裁剪(按总范数)+ 检查初始化,再考虑结构调整。

📋 一页速查

我要用记住这条
基本求导(x^a)' = a·x^(a-1),(e^x)' = e^x,(ln x)' = 1/x,(sin x)' = cos x,(cos x)' = -sin x
乘积/商(uv)' = u'v + uv';`(u/v)’ = (u’v - uv’)/v²
链式法则(f∘g)' = f'(g)·g',多元时按分支累加
凹凸判据一阶:f(y) ≥ f(x) + ∇f(x)·(y-x);二阶:黑塞半正定
Sigmoid/ReLUσ' = σ(1-σ) ≤ 0.25;ReLU' 在 0 处不可导,负区恒 0 会「死掉」
泰勒展开一阶给线性近似(梯度下降),二阶给曲率修正(牛顿法)
数值微分前向 O(h),中心 O(h²);h 取 `∛ε·
条件数影响椭圆等高线(条件数大)时梯度法呈螺旋震荡,需预条件或带动量

🔗 相关链接


📚 参考文献

  1. 《高等数学》- 同济大学
  2. 《微积分》- James Stewart
  3. 《普林斯顿微积分读本》
  4. 《数学分析》- 陈纪修
  5. 《深度学习》- 数学基础
  6. 《机器学习中的微积分》
  7. 《Calculus Made Easy》
  8. 《微分学》