图解梯度下降（Gradient Descent）
一、概念梯度/斜率下降（Gradient Descent）是机器学习和深度学习中最基础、最核心的优化算法。其核心目标是通过不断调整参数，找到让损失函数（Loss Function）最小的值。
大模型训练的隐藏密码：超参数与学习率完全指南
答案藏在一个很多人忽略的关键环节——超参数调整。今天这篇文章，带你彻底搞懂大模型训练中最核心的两个概念:超参数与学习率。
挑选最强的毒药：如何用更聪明的方式攻破大模型
这事儿听起来有点反直觉，因为大多数人对后门攻击的理解是，只要你控制了训练数据的一小部分，攻击效果大体就是确定的，顶多受触发词、目标行为这些“大参数”影响。
梯度下降背后的数学
在这篇文章中，我们将通过一个循序渐进的数值示例，学习梯度下降（gradient descent）背后的数学原理。梯度下降是用于训练机器学习和深度学习模型的最基础的优化算法。理解其背后的数学能让我们清楚地了解模型实际是如何学习的。
梯度下降—Python实现
梯度下降是数据科学的基础，无论是深度学习还是机器学习。深入了解梯度下降原理一定会对你今后的工作有所帮助。你将真正了解这些超参数的作用以及处理使用此算法可能遇到的问题。然而，梯度下降并不局限于一种算法。
一文读懂梯度下降背后的数学原理几何
来源：AI科技评论本文共3600字，建议阅读10+分钟。数学原理拆解+简单的现实案例，带你领略梯度下降的数学之美！对于诸位“MLer”而言，梯度下降这个概念一定不陌生，然而从直观上来看，梯度下降的复杂性无疑也会让人“敬而远之”。
为什么小批次训练会让模型“左冲右突”？理解大模型中的梯度噪声
开篇·一个容易被误解的概念在阅读大模型训练的相关资料时，你可能会遇到这样一句话：“较小的批次大小会减少训练过程中的内存占用，但同时会导致模型更新时产生更多的噪声。”这句话本身不难懂，但“噪声”这个词容易让人产生误解。很多人第一反应是：“噪声”是不是指数据里有错误？
梯度下降中的学习率：过大过小皆有害，如何把握最佳步长？
在前一篇文章中，我们详细学习了梯度下降算法的基本原理与迭代过程。每一次迭代，模型都会沿着损失函数梯度的反方向更新参数，逐步逼近最优解。然而，有一个关键的超参数直接影响着这个更新过程的效率与最终效果，那就是——学习率（Learning Rate）。
什么是梯度下降？和机器学习有何关系？
梯度下降可能停在某个局部低点，也可能在平坦区域移动得非常缓慢。因此实际中还会使用：动量法；AdaGrad；RMSProp；Adam；这些方法本质上仍然是梯度下降，只是在“往哪个方向走”和“每一步走多远”上进行了改进。