Adam算法是在2014年提出的一种基于一阶梯度的优化算法，它结合了 动量 （Momentum）和 RMSprop （Root Mean Square Propagation）的思想， 自适应地调整每个参数的学习率。 Adam最先于2014年提出，其核心是一个简单而直观的想法：当我们知道某些参数确实需要比其他参数移动地更快时，为什么要对每个参数都使用相同的学习速率呢？ AdamW目前是大语言模型训练的默认优化器，而大部分资料对Adam跟AdamW区别的介绍都不是很明确，在此梳理一下Adam与AdamW的计算流程，明确一下二者的区别。
Adam Pearce - WWE News, Rumors, & Updates | FOX Sports
Adam自从在ICLR2015上发表以来（ Adam: A Method for Stochastic Optimization ），到2022年就已经收获了超过10万次引用，正在成为深度学习时代最有影响力的几个工作之一。
Adam优化器凭借其独特的设计和出色的性能，已成为深度学习领域不可或缺的工具。 深入理解其原理和性质，能帮助我们更好地运用它提升模型训练效果，推动深度学习技术不断发展。
如果想使训练深层网络模型快速收敛或所构建的神经网络较为复杂，则应该使用Adam或其他自适应学习速率的方法，因为这些方法的实际效果更优。 Adam Optimizer应该是最常用的优化算法，并且其已经在大量的深度神经网络实验上验证了其有效性，下面我将一步一步拆解，介绍Adam Optimizer的来龙去脉。 Adam，这个名字在许多获奖的 Kaggle 竞赛中广为人知。 参与者尝试使用几种优化器（如 SGD、Adagrad、Adam 或 AdamW）进行实验是常见的做法，但真正理解它们的工作原理是另一回事。
