最优化技术——阅读报告
梯度下降——从批量下降到Nesterov加速法
如今,在神经网络魔性的训练过程中梯度下降被广泛的使用,它主要用于权重的更新,即对参数向某一方向进行更新和调整,来最小化损失函数。其主要原理是:
通过寻找最小值,控制方差,更新模型参数,最终使模型收敛。
什么是梯度?梯度是一个向量。函数在各个方向的斜
...
就当是一场梦,醒了很久还是很感动