-
梯度下降法
鎖定
- 中文名
- 梯度下降法
- 外文名
- Gradient descent
梯度下降法簡介
梯度下降法(英語:Gradient descent)是一個一階最優化算法,通常也稱為最速下降法。 要使用梯度下降法找到一個函數的局部極小值,必須向函數上當前點對應梯度(或者是近似梯度)的反方向的規定步長距離點進行迭代搜索。如果相反地向梯度正方向迭代進行搜索,則會接近函數的局部極大值點;這個過程則被稱為梯度上升法。
[1]
梯度下降法描述
因而,如果
對於
為一個夠小數值時成立,那麼
。
考慮到這一點,我們可以從函數F的局部極小值的初始估計
出發,並考慮如下序列
使得
右側的圖片示例了這一過程,這裏假設F定義在平面上,並且函數圖像是一個碗形。藍色的曲線是等高線(水平集),即函數F為常數的集合構成的曲線。紅色的箭頭指向該點梯度的反方向。(一點處的梯度方向與通過該點的等高線垂直)。沿着梯度下降方向,將最終到達碗底,即函數F值最小的點。
[1]
梯度下降法參閲
- 隨機梯度下降法
- 詞條統計
-
- 瀏覽次數:次
- 編輯次數:2次歷史版本
- 最近更新: 轻飏微笑