罰函數

把非線性約束優化問題轉化為無線性優化約束問題。依據如何將目標函數和約束函數進行組合，人們導出了許多不同形式的罰函數。由於這些早期方法均需要求解一系列無約束的罰函數極小化問題，故通常稱之為序列無約束極小化方法(Sequential Unconstrained Minimization Technique)，簡稱SUMT。 ^[1] 

基本思路：通過引進一個乘法因子把約束條件連接到目標函數上，從而將有約束的最優化問題轉化為無約束條件的問題。合理的罰函數可以在當搜索到不可行點時，使目標函數值變得很大，離約束條件越遠懲罰越大。

根據約束的特點，構造某種懲罰函數，然後加到目標函數中去，將約束問題求解轉化為一系列的無約束問題。這種“懲罰策略”，對於無約束問題求解過程中的那些企圖違反約束條件的目標點給予懲罰。如圖《外罰函數法》所示：

通過上述方法，我們可以把有約束的問題化為無約束問題求解。也就是所謂的外罰函數法。

但是外罰函數的原理主要是應用了近似最優並且近似可行的，近似最優可以接受，但是近似可行在實際運用中讓人無法接受。這一點可以由內罰函數解決。

相比於外罰函數法在不可行區域加懲罰，內罰函數法在可行域邊界築起高牆，讓目標函數無法穿過，就把目標函數擋在可行域內了。

但是這種懲罰策略只適用於不等式約束問題，並要求可行域的內點集非空，否則，每個可行點都是邊界點，都加上無窮大懲罰，懲罰也就失去意義了。 ^[2] 

1）由於無約束最優化問題的解法已有許多很有效的算法，如DFP，BFGS等，所以在求解複雜得多的約束優化問題是，工程技術人員一般會採用罰函數法——SUMT外點法和內點法。

2）內點法適用於解含不等式約束問題，並且每次迭代的點都是可行點，這是設計人員所希望的。但要求初始點為可行域的內點，需要相當的工作量，同時它不能處理等式約束；外點法適於解既含等式約束又含不等式約束的優化問題，初始點可以是可行域之外的點，卻不能保證近似最優解是可行的。

3）罰函數法對於增廣的目標函數的Hessian矩陣的條件數隨罰因子增大或減小而增大，造成在求解無約束最優化問題時的困難，如何選擇罰因子往往進退維谷。如外罰函數法，欲使得無約束問題接近於原約束問題，應該選擇儘可能大的罰因子；但為了減輕求解無約束問題的困難，又應選取較小的罰因子，否則增廣矩陣病態。這也是罰函數法的固有弱點。

懲罰因子是用來權衡損失和分類間隔的權重，懲罰因子越大，表明重視損失，如果懲罰因子選取的非常大，那麼如果有分錯的樣本，對其的懲罰非常大，將導致出現硬間隔的效果。不斷增大懲罰因子的值，總能實現將樣本點完全正確的分類，但是這樣將會導致過擬合，泛化能力不夠。 ^[3] 

如果在同一個問題中，對不同的樣本點用不同的懲罰因子也是可以的。對給定正負樣本賦予不同的懲罰因子，這樣對於如果正負樣本點的數目差別比較大，可以對樣本數目比較小的樣本類別賦予較大的權重，否則此類樣本錯分的概率將增大。如果對於不同的樣本點賦予不同的懲罰因子，這樣從理論上來説，應該會有更好的分類效果，分別考慮每個樣本的懲罰因子，確定其對於錯分的影響，但是這樣對於複雜性又有所提高，需要單獨考慮每個樣本。但是對於樣本點比較少的時候，比較適合分別賦予權重，有更好的效果。

在電機優化設計中應用廣義罰函數法優化方法，既可以避免罰函數內點法因罰因子取得不當而造成的尋優困難，又保留了尋優逼近邊界的優點，通過目標函數調整和罰函數的容差迭代，可以達到快速收斂的目的。同時,廣義罰函數優化方法，還具有邊界附近進一步搜索最優點的特性。在應用中，該方法是一種實用性很強而有效的內點尋優方法。 ^[4] 

在機械領域，利用廣義罰函數優化方法編制的計算機尋優模塊與各類外點法或可行方案尋求方法結合，具有顯著的優化效果。

選擇合適的罰函數和損失函數構建廣義指數因子預測模型，能夠比較準確地進行預測，其總體預測精度較高且較為穩定。該模型實施的關鍵在於預報方程的變量選擇和係數估計，在線性迴歸模型的擬合過程中引入罰函數能夠壓縮迴歸方程係數估計，將方程中一部分自變量的係數壓縮為0，從而達到自變量選擇、降低誤差方差的目的，並保證預報方程的穩定性，從而提高預測精度．因此，應用罰函數方法來實現廣義指數因子預報方程的擬合是合理的。 ^[5]