优化理论

按认知顺序学:先拿无约束问题练手(梯度、步长、噪声)→ 再给问题加凸性与约束(全局最优、对偶、KKT)。


📚 内容导航

名称说明链接
无约束优化学习率、梯度噪声 σ²/B、条件数与鞍点:训练不收敛的第一现场进入
凸优化一旦凸,局部就是全局;对偶乘子还会告诉你哪个约束最贵进入

🎯 按问题找答案

你想解决的问题先看
loss 不降、NaN、学习率与 batch 怎么联动无约束优化
SGD 与 Adam 怎么选、何时早停无约束优化
要不要上复杂模型、正则项在干什么凸优化
排产/调度类问题报告不可行或无界凸优化

🔗 相关链接

主题链接
上一级打开
微积分打开
离散数学打开
信息论打开
线性代数打开
概率论与数理统计打开

此文件夹下有2条笔记。