制約函數法

制約函數法(constrained function method )亦稱序列無約束極小化技術.是將求解約束非線性規劃問題轉化為求解一系列無約束最優化問題的方法。

根據逐次沿可行方向求可行解點的迭代思想構造一點列{k}，使其滿足某種給定要求的算法稱為可行方向法。假設已知可行解為f(k),若能找到一個向量與步長數λk>0,使,而當0≤λ≤λk時，線段f(k)+λ屬於約束集，則 稱為約束集在f(k)處的一個可行方向。可行方向法的關鍵在於適當選取, 點列{f(k)}符合一般迭代法的要求。對線性約束的情形，當ƒ(f)為可微凸函數時有三種較為有效的求的算法:G.藻滕代克於1960年提出的可行方向法, 取=y(k)- f(k)，其中y(k)為ƒ(f)在 f(k)處的線性近似函數 在線性約束下達到最小值的最優解。J.B.羅森於1960年提出的梯度投影法,運用在f(k)處投影矩陣pk的公式,取最速下降方向－ƒ(f(k))在 f(k)所處的約束邊界面上的投影方向－pkƒ(f(k))為,從而避免了每迭代一次就要解一個線性規劃的手續。P.沃爾夫於1963年提出的既約梯度法，他應用消去基變量的方法和ƒ(f)的既約梯度的概念,構造出。 這三種方法所產生的點列{f(k)}雖然可以使函數值序列{ƒ(f(k)}單調下降,但是它卻不一定收斂於最優解。因此,後來陸續有不少研究工作,對原有方法進行種種修正,如採取攝動和轉軸變換等技巧，而得出具有收斂性的各種新方法。1969年D.戈德福布結合梯度投影法與變尺度法提出了一種可行方向法，對二次凸規劃是有限步收斂的。這些方法都可以推廣用於處理非線性約束的情形。但是，算法程序都比較複雜。J.阿巴迪和J.卡彭特爾於1969年將既約梯度法加以推廣,提出了廣義既約梯度法(GRG法)用來求解具有非線性約束的最優化問題。實際計算的效果説明，廣義既約梯度法是一種很好的算法。

上述線性近似型算法的收斂速度，一般都不高於超線性的。對二階可微的函數ƒ(f)，在f(k)處若用二次函數·來近似，進而對可微函數ƒ(f)又用種種變尺度矩陣Hk去代替近似式中的矩陣2ƒ（f(k)）,將約束問題的求解化為求一系列二次規劃的解，這類方法統稱為序貫二次規劃法，1963年R.B.威爾森對二階可微函數ƒ(f)，gi(f)(i=1,2,…,m)提出將拉格朗日函數 在已知點（f(k)，u(k)）處用二次近似函數來逼近，而對約束仍用線性近似函數逼近，並證明了在最優解附近，點列{f(k)}是二階收斂的。若用二次函數在f(k)處逼近目標函數ƒ(f),其中Hk是正定函數,同時象無約束最優化方法中的變尺度算法一樣，利用計算過程中得到的信息和變尺度公式來更新Hk，這種逐次二次規劃算法也稱為約束變尺度算法。它是求解帶非線性約束的最優化問題的重要方法之一。

1943年R.庫朗對於僅帶一個約束等式g(f)=0的問題,引入參數t>0，研究函數ƒ(f)+t[g(f)]的平穩點f(t)在t→∞時與原問題的關係。對於具有不等式約束gi(f)≤0(i=1,2,…,m)的非線性規劃問題，則作函數 ；如果將ƒ(f)看成“價格”，約束看成某種“規定”，為當f違反“規定”時的罰款項，於是p(f,t)就是應支付的總代價。因此,p(f,t)被稱為罰函數，而t稱為罰因子。在適當的假設下,p(f,t)在對f不加約束的情形下的最優解f(t),當t→∞時趨於原問題的最優解。這種方法稱為罰函數法。由此就可以用逐漸加大tk的方法來求得原問題近似解f(tk)。為了克服p(f,t)的黑塞矩陣在t→∞時容易產生病態的缺點,W.I.贊格威爾於1967年提出精確罰函數E(f,t)，證明了在適當的假設下,存在t0>0,當t≥t0時E(f,t)的無約束最優解f(t)就是原問題的最優解。於是把有約束的最優化問題化為一個無約束的最優化問題。但是這種精確罰函數不是可微的，因而不便於利用一般無約束優化方法。M.R.赫斯泰尼斯和M.J.D.鮑威爾結合拉格朗日乘子法和罰函數法的特點，於1969年對約束為等式的情形提出可微的增廣拉格朗日函,並指出在適當的假設下,存在t0>0,對任意取定的t≥t0，在最優乘處，L(f,t)的無約束最優必為原問題的最優解，還給出了逐步調整u和t的辦法。以後陸續有不少工作對一般可微非線性規劃，構造了各種不同的可微增廣拉格朗日函數,並給出了算法的迭代程序。這類方法統稱為廣義乘子法。K.R.弗裏希鑑於罰函數法產生的點列 {f(tk)}是從約束集的外部來逼近在約束邊界上的最優解,於1955年提出所謂障礙,可使B(f,r)的無約束最優解f(r)在約束集內達到,而當r→0時,f(r)趨於原問題的最優解。1961年,C.W.卡羅爾提出了另一種典型的障礙函數。當r→0時,B(f,r)的黑塞矩陣也可能出現病態現象。 ^[1] 

對於不可微的凸規劃，近十多年來有人用次梯度或差分等概念來建立算法。設ƒ為Rn中的凸函數,若矢量滿足,則矢量稱為函數ƒ在點f0處的一個次梯度。不可微凸規劃的最優解在一定條件下滿足以次梯度表示的推廣的庫恩－塔克爾條件(見非線性規劃)。函數在一點的次梯度不一定是惟一的。可微函數在一點的梯度若不為零,其負梯度方向必是函數在此點的一個下降方向。然而不可微函數在一點的某些負次梯度可以不是函數的下降方向。這將導致上述可微情況的約束優化算法對於不可微凸規劃往往會失敗。不可微凸規劃的次梯度算法類的基本迭代公式，這裏t_k(k)分別是按一定規則選定的步長和點 f(k)的次梯度(或近似次梯度)。在一些適當的條件下可證明,次梯度算法產生的點列{f(k)}收斂到問題的最優解。 贊格威爾1969年提出用統一的觀點研究算法。他的基本思想是，將算法看成是一個點到集的映像。在一些假設下由上半連續的點到集映像產生的點列 {f(k)}收斂於最優解。從而統一了不少已有算法的收斂性的研究。這方面的工作還在不斷髮展。