JN江南体育官方网站-神经网络优化方法有哪些,神经网络优化方法论文

JN江南体育官方网站

参数更新这事咋整

咱们在弄参数更新时，这事其实挺麻烦的。参数更新可不是随随便便那么搞就行，得多注意思考一会儿。就说这个y轴方向上的梯度，我得好好想想才能说完整它到底是怎么个情况的。

在随机梯度下降法子里边，它是从一个给定地方开始的。那就先得说下起始点这事了。咱重新选取这么一个起始点，完了之后每次搞迭代动作的时候。这里特别关键，是有一个严格的动作要求的：只对一个样本，特别注意，仅有这一个样本做梯度下降。这个要求在咱们更新参数的时候可不能忘 这是重点，得时时刻刻得记牢了。但说起来又麻烦事来了

为啥有时会远离最小值

每次做着事情大部分情况下JN江南体育官方网站，咱都是会慢慢一步步或者多步向着全局最小值方向慢慢靠近的么 但是有的时候，就出现令人意想不到情况了，你不仅不靠近那个最小值，反正还朝相反的方向，距离最小值直接远去哈 这多烦人和郁闷的。为啥会的，我来慢慢分析给你们听。

那就关键在于这个被选的单个数据样本了。恰好所选这个单个样本，是朝着错误方向呢方向反方向。让原本向前靠近，反倒是向反方向走了，得亏这只是偶然性而且这种偶然性不太常见。总的来说很多时候都是慢慢往最小值这个大体靠近的 这种偶然犯错还是小情况。

这样就发现了问题：随机梯度下降它是带非常多干扰因子这类不稳定的，咱们称为噪声的一些类似概念，但尽管这样，就平常和大多时间普遍现象，平均意思下来分析还是能最终慢慢到达那个最小值的 最后在大致位置上停下，但有时候，也确实还会有计算不对或者数据带一定偏离方向，那必然又朝着偏移远离最小值那个方向波动一下。毕竟不会总是精准毫无差错一步步地走，

普通梯度下降啥问题

说完这个说咱们另外一个常见情况，就是这里还涉及一些普通梯度下降下它面临另外一系列不同麻烦事来着！它相对比较中规中矩做法和随机梯度下降有点子差别。

说遇到某些复杂比较讨厌情况可就麻烦来了 第一个当出现了学习率过大时 这下问题一大堆。咱们系统直接出现比较大摆动 ，为啥会摆动很大就如同物体因为惯性运动产生大幅度震荡原理类似这样 这里误差同时又很大呢 摆动越来越厉害，偏离原先原本路线范围很严重。其实呢这里就和整体选择的这种技术应用有关

按照目前市场上的整体行业趋势来说 咱们在各种算法应用时确实有一定的参考方向和做法思路 所以对于这种梯度下降无论是普通过是随机 在选择做法里最好考量目前政策导向 有的技术甚至该抛弃就要抛弃，抛弃老思想做法 对比其他国际上好算法技术要学会改进和转化才能更好发展，咱不能原地打转犯愚蠢的各种相关错误呢

JN江南体育官方网站